Visão Geral

O Curso Real-Time Ingestion & Processing Using Kafka & Spark, se concentra na ingestão e processamento de dados usando Kafka e Spark Streaming. O curso cobre fundamentos do Kafka, arquitetura, API, Kafka Connect, Kafka Streams, processamento Spark Micro-lote e processamento estruturado de streaming.  

O Cur,so Real-Time Ingestion & Processing Using Kafka & Spark começa com os alunos adquirindo uma compreensão dos fundamentos e aspectos internos do Kafka. O curso cobre o Zookeeper, integrações e API. O curso termina com aulas sobre Spark Streaming e Kafka Streams.  

O Curso Real-Time Ingestion & Processing Using Kafka & Spark, utiliza uma mistura de palestras e exercícios práticos para reforçar o aprendizado. Os exercícios práticos relacionados às APIs Kafka serão em Java/Scala e a linguagem Scala será usada para exercícios relacionados ao Spark.

Objetivo

Após este Curso Real-Time Ingestion & Processing Using Kafka & Spark, você será capaz de:

• Aprenda o conhecimento e as habilidades necessárias para utilizar a ingestão e processamento de dados usando Kafka e Spark Streaming.
• Use Kafka Fundamentals amp Architecture Producer amp Consumer API Kafka Connect Kafka Streams
• Execute o processamento de microlotes do Spark
• Execute o processamento de streaming estruturado

Materiais

Conteúdo Programatico

• Introduction to Apache Kafka 
  • Kafka Overview
  •  
  • Salient Features of Kafka
  •  
  • Kafka Use cases
  •  
  • Comparing Kafka with other Key tools
• Kafka Fundamentals & Internals 
  • Logical Architecture of Kafka
  •  
  • Physical Architecture of Kafka 
    • Partitions
    •  
    • Topics
    •  
    • Replicas
    •  
    • Producers & Consumers
    •  
    • Brokers
  •  
  • Roles and Responsibilities of various components
  •  
  • Replication mechanism
  •  
  • Message Delivery Semantic
  •  
  • Key Terminologies
  •  
  • Key configuration settings of Brokers, Producers, Consumers etc.
• Zookeeper 
  • Role of Zookeeper
  •  
  • Zookeeper Basic Operations
  •  
  • Apache Kafka – Zookeeper Role
• Kafka Integrations 
  • End to End Data Pipeline using Kafka
  •  
  • Kafka Connect
  •  
  • Explain Spark Components
  •  
  • Integrate Kafka with Spark
• Kafka API 
  • Overview
  •  
  • Producer API 
    • Sync Producers
    •  
    • Async Producers
    •  
    • Message Acknowledgement
    •  
    • Batching Messages
    •  
    • Keyed and Non-Keyed Messages
    •  
    • Compression
    •  
    • Batching
  •  
  • Consumer API
• Spark Streaming 
  • Analyzing streaming data using Spark
  •  
  • Stateless Streaming
  •  
  • Stateful Streaming
  •  
  • Structured Streaming
  •  
  • Kafka Streams
  •  
  • Overview
  •  
  • What is Kafka Streams
  •  
  • Why Kafka Streams