Visão Geral

O curso ksqlDB Fundamentals apresenta os conceitos essenciais, a arquitetura e o uso prático do ksqlDB, o banco de dados orientado a streams da Confluent, que permite processar dados em tempo real utilizando SQL diretamente sobre tópicos do Apache Kafka.
Durante o curso, os participantes aprenderão a criar streams, tables, consultas persistentes, transformar dados, realizar joins, construir pipelines de eventos em real-time e aplicar boas práticas de mercado.
O treinamento é totalmente prático, com laboratório individual para cada aluno.

Objetivo

Após realizar este curso ksqlDB Fundamentals, você será capaz de:

• Entender os conceitos fundamentais de stream processing e do ksqlDB
• Criar e consultar Streams e Tables
• Construir consultas persistentes para processar dados em tempo real
• Efetuar transformações, agregações e joins entre fluxos de dados
• Criar materialized views
• Interagir com o ksqlDB via console e via API
• Projetar pipelines de streaming utilizando boas práticas
• Integrar o ksqlDB ao Apache Kafka e a outros sistemas downstream

Publico Alvo

• Engenheiros de Dados
• Desenvolvedores
• Arquitetos de software
• Administradores de Apache Kafka
• Analistas de dados que querem trabalhar com streaming
• Profissionais que constroem pipelines e integrações de dados

Pre-Requisitos

• Conhecimento básico de Apache Kafka
• Noções de SQL
• Noções de Docker (desejável)

Materiais

Conteúdo Programatico

1. Introduction to ksqlDB

1. What is ksqlDB
2. Why ksqlDB: Key features and benefits
3. Positioning: Kafka Streams vs. ksqlDB
4. Stream processing concepts recap

2. ksqlDB Architecture

1. ksqlDB Server
2. ksqlDB CLI and UI
3. Persistent and transient queries
4. Materialized views
5. ksqlDB and Kafka internal topics

3. Installing and Accessing ksqlDB

1. Running ksqlDB with Docker
2. Connecting ksqlDB to Kafka
3. Using the ksqlDB CLI
4. Using the ksqlDB Web UI

4. Streams and Tables

1. Understanding Streams
2. Understanding Tables
3. CREATE STREAM
4. CREATE TABLE
5. Key concepts: keys, partitions, value formats

5. Querying Data

1. SELECT statements
2. Pull queries
3. Push queries
4. Filtering, projecting, and transforming data

6. Persistent Streaming Queries

1. Creating persistent queries
2. Stream-to-stream operations
3. Stream-to-table operations
4. Table-to-table operations

7. Transformations and Aggregations

1. Windowing: tumbling, hopping, and session windows
2. Grouping and aggregating
3. Count, sum, avg, min, max
4. Creating aggregated materialized views

8. Joins in ksqlDB

1. Stream-stream joins
2. Stream-table joins
3. Table-table joins
4. Time-based joins and constraints

9. Serialization, Schemas, and Formats

1. Avro, JSON, Protobuf
2. Schema Registry integration
3. Schema evolution best practices

10. Error Handling and Troubleshooting

1. Handling serialization issues
2. Inspecting internal topics
3. Monitoring persistent queries
4. Dealing with failures and restarts

11. Interacting Programmatically

1. ksqlDB REST API
2. Integrating applications with ksqlDB
3. Querying materialized views via API

12. Real-World Use Cases

1. Fraud detection
2. Real-time ETL
3. Monitoring and observability pipelines
4. IoT data processing
5. Customer analytics in real time

13. Hands-on Labs

1. Deploying ksqlDB + Kafka environment
2. Creating streams and tables
3. Filtering and transforming event data
4. Building windowed aggregations
5. Implementing stream-stream join pipelines
6. Exposing materialized views through API

14. Best Practices

1. Data modeling strategies for streaming
2. Choosing keys and partitions
3. Designing pipelines for high throughput
4. Operational guidelines for production