Visão Geral

O curso de treinamento Introdução ao Apache Spark em produção foi projetado para demonstrar os fundamentos da execução do Spark em um ambiente de produção. O curso responde a questões sobre considerações específicas de hardware, bem como arquitetura e componentes internos do Spark.

O Curso Introduction to Apache Spark in Production, começa com foco na arquitetura Spark, componentes internos e considerações de hardware. A seguir, aborda trabalhos de streaming e integração do Spark com HortonWorks. O curso termina com uma lição sobre agendamento e monitoramento de trabalhos.

Objetivo

Após este Curso Introduction to Apache Spark in Production, você será capaz de:

• Aprenda sobre a arquitetura e os componentes internos do Spark, um mecanismo rápido e geral para processamento de big data com módulos integrados para streaming, SQL, aprendizado de máquina e processamento de gráficos.
• Identificar como instalar e configurar um cluster Spark de produção
• Integrar Spark com YARN
• Descubra os aspectos internos do Spark que se aplicam à execução de um cluster eficiente

Materiais

Conteúdo Programatico

• Spark Architecture
• Spark Internals
• Hardware Considerations
• Streaming Jobs
• Integrating Spark with HortonWorks
• Job Scheduling 
  • Stand-alone
  • Mesos
  • YARN
  • Fair Scheduler
• Monitoring 
  • What to monitor
  • Diagnosing job issues