Visão Geral

Curso Kafka Foundation do Apache Kafka o conduz pelas etapas necessárias para configurar e implantar o Kafka em um ambiente comercial para que você possa se beneficiar do gerenciamento escalonável de fluxo de dados de alta velocidade, enfileiramento de mensagens, armazenamento e clustering.

O Kafka pode ser implementado junto com uma ampla variedade de arquiteturas de aplicativos Python, Spring Boot, C #, Spark, Java - estamos felizes em personalizar o treinamento Kafka para atender às suas necessidades de negócios.

O Apache Kafka é um sistema de mensageria distribuído, que é usado principalmente para lidar com grandes volumes de dados em tempo real. Ele é usado como uma plataforma para a ingestão de dados em tempo real, streaming de dados e processamento de dados em tempo real.

A principal função do Kafka é permitir que as aplicações enviem e recebam streams de dados em tempo real com alta vazão e baixa latência. Ele é usado para coletar dados de diferentes fontes, como sensores, aplicativos e servidores, e enviá-los para diferentes destinos, como bancos de dados, sistemas de processamento de dados em tempo real e aplicações analíticas.

O Kafka é altamente escalável, tolerante a falhas e tem um desempenho muito rápido, o que o torna uma opção popular para lidar com grandes volumes de dados em tempo real em diferentes setores, como finanças, comércio eletrônico, mídia social, saúde e muito mais. Ele é amplamente utilizado em arquiteturas de microsserviços e de dados em tempo real, bem como em sistemas de streaming de dados em larga escala.

Qual vantagem de se aprender o kafka?

Aprender o Apache Kafka pode trazer várias vantagens para profissionais de diferentes áreas, especialmente aqueles envolvidos com dados e tecnologia. Algumas das principais vantagens de aprender o Kafka incluem:

1. Lidar com grandes volumes de dados em tempo real: O Kafka permite lidar com grandes volumes de dados em tempo real, o que pode ser útil para diversas aplicações, desde o processamento de transações financeiras até o monitoramento de sensores em tempo real.

2. Arquitetura distribuída: O Kafka foi projetado para ser uma arquitetura distribuída, permitindo que ele seja escalável e tolerante a falhas. Isso torna o Kafka uma opção popular para empresas que precisam lidar com grande volume de dados e precisam garantir alta disponibilidade.

3. Integração com outras ferramentas: O Kafka pode ser facilmente integrado com outras ferramentas e tecnologias, como Hadoop, Spark e Storm, para processamento de dados em tempo real, além de bancos de dados e aplicativos.

4. Aumento de oportunidades de trabalho: Com a crescente demanda por profissionais qualificados em dados e tecnologia, aprender o Kafka pode aumentar suas oportunidades de trabalho em diferentes setores, incluindo finanças, varejo, mídia, saúde e muito mais.

5. Comunidade ativa: O Kafka tem uma comunidade ativa de usuários e desenvolvedores, o que significa que há muitos recursos disponíveis para ajudar você a aprender e aprimorar suas habilidades no Kafka.

Em resumo, aprender o Kafka pode trazer muitas vantagens para profissionais que desejam lidar com grandes volumes de dados em tempo real e se manter atualizados em tecnologia de dados.

Onde o Kafka e Usado?

O Apache Kafka é usado em uma ampla variedade de aplicações em diferentes setores, como:

1. Finanças: O Kafka é usado em instituições financeiras para lidar com grandes volumes de dados em tempo real, processar transações financeiras e monitorar riscos.

2. Varejo: O Kafka é usado em empresas de varejo para gerenciar estoques, monitorar o comportamento do cliente e personalizar experiências de compra.

3. Mídia: O Kafka é usado em empresas de mídia para coletar dados de redes sociais e outros canais, para analisar o comportamento do usuário e personalizar conteúdo.

4. Saúde: O Kafka é usado em aplicações de saúde para monitorar a saúde dos pacientes em tempo real, coletar dados de sensores médicos e processar grandes volumes de dados de pacientes.

5. IoT: O Kafka é usado em aplicações de Internet das Coisas (IoT) para coletar dados de sensores, dispositivos e equipamentos e enviar esses dados para outros sistemas.

6. Telecomunicações: O Kafka é usado em empresas de telecomunicações para coletar e processar dados de chamadas e para monitorar a qualidade da rede.

7. Transporte: O Kafka é usado em empresas de transporte para monitorar a frota de veículos em tempo real e otimizar rotas.

Esses são apenas alguns exemplos de como o Kafka é usado em diferentes setores. Em resumo, o Kafka é amplamente utilizado em aplicações que precisam lidar com grandes volumes de dados em tempo real e em ambientes distribuídos.

Objetivo

Após realizar este Curso Kafka Foundation, você será capaz de:

• Saiba mais sobre uma das plataformas de streaming distribuídas mais populares
• Corretores, consumidores, produtores e o tratador
• Tópicos, partições e o registro Kafka
• Semântica de entrega de mensagens
• Conectores e Kafka Connect
• Processadores Streams
• Administração e configuração básicas de um cluster Kafka / Zookeeper

Publico Alvo

Este curso é direcionado a administradores de sistemas e desenvolvedores de software que precisam configurar o Kafka pela primeira vez.

Pre-Requisitos

Alguma experiência de trabalho com linha de comando e Linux seria útil, e qualquer exposição à programação em uma linguagem como Java, Python ou C # seria altamente benéfica.

Informações Gerais

• Carga horaria, 24h
• Se noturno este curso e ministrado de segunda-feira a sexta-feira das 19h às 23h, total de 6 noites,
• Se aos sábados este curso e ministrado das 09h às 18h, total de 3 sábados

Formato de entrega:

• On-line ao vivo via Microsoft Teams, na presença de um instrutor/consultor especialista em segurança da informação, Kafka Integration, entre outros.

Materiais

Conteúdo Programatico

Overview

1. Use Cases
2. Ecosystem

Kafka Message

1. How does a Kafka message look like
2. Kafka Key
3. Body
4. Headers

Producer API

1. Sending messages to Kafka
2. High Level overview
3. Using the API
4. Buffer Pool
5. Discussion on thread safety

Consumer API

1. High Level
2. Using the API
3. Polling for messages
4. Discussion on why it is not thread safe

Consumer groups

1. Discussions of Kafka offset
2. how do we store offsets?
3. Multiple instances of the same service working together
4. Starting again from where we finished
5. auto reset strategy

Configuration

1. Broker
2. Consumer
3. Producer

Zookeeper

1. What is Zookeeper
2. What does it contain?

Schema registry and Avro

1. Idempotent producer and Transactions
2. What does it mean to be idempotent
3. How does it work
4. Transactions in Kafka
5. Zombie fencing

Kafka Streams (Java only)

1. Kafka SQL and KSQL
2. Using Kafka with SQL syntax
3. How it uses Kafka streams underneath the hood
4. KSQL Server and CLI
5. Creating Tables vs Streams
6. Persisted vs non-persisted queries

Authentication and authorisation

1. How to connect to Kafka
2. ACLs for authorisation
3. Using ACLs with kafka streams
4. Administring ACLs through CLI

Design Points

1. Persistence on disk
2. Producer design considerations
3. Consumer Design consideration
4. Message delivery
5. At least once, at most once and exactly once semantics
6. Replciation
7. Log Compaction
8. Hardware considerations
9. Installation and deployment recommendations
10. Desgin patterns in a Kafka System