Visão Geral

O curso Apache NiFi com PostgreSQL apresenta uma abordagem prática e completa sobre como integrar, processar e transferir dados entre sistemas utilizando o Apache NiFi com bancos de dados PostgreSQL.
Durante o curso, o participante aprenderá a criar fluxos de dados (dataflows) eficientes, configurando processadores para extração (ingestão), transformação e carga (ETL) de dados entre PostgreSQL e outros sistemas, tanto em modo batch quanto em tempo real.

Este treinamento é ideal para profissionais que desejam implementar pipelines de dados automatizados, integrações de sistemas e processos de ingestão e replicação de dados com confiabilidade e rastreabilidade.

Objetivo

Após realizar o curso Apache NiFi com PostgreSQL, você será capaz de:

• Entender a arquitetura e os componentes principais do Apache NiFi.
• Configurar conexões com bancos de dados PostgreSQL.
• Criar fluxos de ingestão, transformação e exportação de dados.
• Automatizar integrações de dados com alto desempenho e confiabilidade.
• Monitorar e otimizar fluxos em execução.
• Implementar segurança e boas práticas em pipelines de dados.

Publico Alvo

• Engenheiros e analistas de dados.
• Desenvolvedores que atuam com integração de sistemas e ETL.
• Profissionais de DevOps e arquitetura de dados.
• Analistas de BI e administradores de bancos de dados que desejam automatizar fluxos de dados.

Pre-Requisitos

• Conhecimento básico de bancos de dados relacionais (PostgreSQL).
• Noções de SQL e ETL (Extract, Transform, Load).
• Familiaridade com conceitos de integração de dados e sistemas distribuídos.
• Computador com Apache NiFi e PostgreSQL instalados.

Materiais

Conteúdo Programatico

Módulo 1: Introdução ao Apache NiFi

1. O que é o Apache NiFi e seus principais casos de uso
2. Arquitetura e componentes principais
3. Conceitos de FlowFiles, Processors, Connections e Provenance
4. Instalação e configuração inicial do NiFi

Módulo 2: Conhecendo o PostgreSQL

1. Revisão dos conceitos básicos do PostgreSQL
2. Estrutura de tabelas, bancos e schemas
3. Criação de banco e permissões de acesso
4. Configuração de conectividade para integração com o NiFi

Módulo 3: Integração NiFi e PostgreSQL

1. Configuração do Database Connection Pooling Service
2. Conectando o NiFi ao PostgreSQL
3. Processadores essenciais:
   1. ExecuteSQL
   2. QueryDatabaseTable
   3. PutDatabaseRecord
   4. ConvertRecord
4. Fluxo prático: extração de dados do PostgreSQL e gravação em arquivo CSV

Módulo 4: Pipeline de Carga e Transformação

1. Leitura de dados externos e carga no PostgreSQL
2. Uso de processadores para transformação de dados (UpdateRecord, ReplaceText, AttributesToJson)
3. Validação e tratamento de dados com NiFi Expression Language
4. Exercício prático: pipeline completo de ingestão e transformação

Módulo 5: Automação e Monitoramento

1. Agendamento e execução contínua de fluxos
2. Controle de erros e redirecionamento de falhas
3. Monitoramento com Data Provenance e Bulletins
4. Estratégias para versionamento e backup de fluxos

Módulo 6: Casos Práticos de Integração

1. Integração PostgreSQL ↔ CSV
2. Integração PostgreSQL ↔ APIs REST (GetHTTP e PostHTTP)
3. Integração PostgreSQL ↔ outro banco (JDBC-to-JDBC)
4. Criação de pipelines híbridos (dados locais e nuvem)

Módulo 7: Segurança e Boas Práticas

1. Controle de acesso e autenticação no NiFi
2. Configuração de SSL/TLS para conexões seguras
3. Melhores práticas de performance e escalabilidade
4. Estruturação de fluxos reutilizáveis e modulares

Módulo 8: Projeto Prático Final

1. Construção de um fluxo completo de ETL com NiFi e PostgreSQL
2. Extração, transformação e carga automatizada de dados
3. Testes de desempenho e monitoramento do pipeline