Visão Geral

O curso Apache NiFi for Data Engineering capacita profissionais a projetar, desenvolver e operar pipelines de dados modernos utilizando o Apache NiFi. O treinamento aborda conceitos fundamentais de engenharia de dados, ingestão e movimentação de dados em tempo real, integração entre sistemas, automação de fluxos de dados e governança de pipelines.

Durante o curso, os participantes aprenderão a construir DataFlows escaláveis, integrar diversas fontes de dados (bancos SQL, NoSQL, APIs, arquivos, streams e Data Lakes), aplicar transformações e implementar boas práticas de arquitetura de dados.

Também serão explorados recursos avançados do Apache NiFi como Data Provenance, Controller Services, Expression Language, Record Processing, integração com Hadoop e Data Lakes, além de técnicas de monitoramento, segurança e performance.

Ao final do treinamento, os alunos estarão aptos a desenvolver pipelines de dados robustos para ambientes corporativos de Big Data, Data Lake, DataOps e plataformas modernas de dados.

Objetivo

Após realizar este curso Apache NiFi for Data Engineering, você será capaz de:

• Compreender a arquitetura e funcionamento do Apache NiFi
• Projetar pipelines de ingestão e processamento de dados
• Implementar DataFlows para integração entre diferentes sistemas
• Transformar e enriquecer dados utilizando Processors
• Integrar pipelines de dados com plataformas Big Data
• Implementar monitoramento e governança de fluxos de dados
• Automatizar pipelines de dados para ambientes corporativos
• Escalar pipelines de dados em ambientes distribuídos

Publico Alvo

• Engenheiros de dados
• Profissionais de Big Data
• Arquitetos de dados
• Engenheiros de DataOps
• Profissionais de integração de dados
• Administradores de sistemas
• Profissionais de analytics e BI

Pre-Requisitos

• Conhecimentos básicos de Linux
• Noções de bancos de dados SQL
• Conhecimentos básicos de redes e protocolos de comunicação
• Familiaridade com conceitos de integração de dados
• Noções de Big Data são desejáveis

Materiais

Conteúdo Programatico

Module 1: Introduction to Data Engineering and Apache NiFi

1. Data Engineering Fundamentals
2. Modern Data Pipelines
3. Data Integration Challenges
4. Overview of Apache NiFi
5. NiFi Architecture and Core Concepts

Module 2: Apache NiFi Architecture and Components

1. NiFi Core Architecture
2. FlowFile Concept
3. Processor Architecture
4. Connections and Queues
5. Scheduling and Execution Model

Module 3: Installing and Configuring Apache NiFi

1. Installation Requirements
2. Installing NiFi on Linux and Windows
3. NiFi Configuration Files
4. Ports and Network Configuration
5. Running NiFi in Standalone Mode

Module 4: Building DataFlows

1. Creating Data Pipelines
2. Working with Processors
3. Configuring Connections and Queues
4. Flow Control and Prioritization
5. Error Handling Strategies

Module 5: Core Processors for Data Engineering

1. File Processing Processors
2. Database Integration Processors
3. Data Transformation Processors
4. Data Routing Processors
5. Logging and Monitoring Processors

Module 6: Data Transformation and Enrichment

1. Record-Oriented Processing
2. Data Format Conversion
3. Schema Management
4. Data Enrichment Strategies
5. Data Validation

Module 7: NiFi Expression Language and RecordPath

1. Expression Language Fundamentals
2. Data Manipulation with Expressions
3. Conditional Routing
4. RecordPath Queries
5. Dynamic Data Transformations

Module 8: Data Provenance and Monitoring

1. Data Provenance Concepts
2. Tracking Data Lineage
3. Monitoring Data Pipelines
4. Debugging DataFlows
5. Performance Analysis

Module 9: Integrating NiFi with Data Platforms

1. Integrating with Apache Kafka
2. Integrating with Apache Hadoop HDFS
3. Database Integration (SQL and NoSQL)
4. API and Webservice Integration
5. Data Lake Integration

Module 10: NiFi Registry and Version Control

1. NiFi Registry Architecture
2. Installing and Configuring Registry
3. Versioning DataFlows
4. Managing Flow Environments
5. Promoting Flows Between Environments

Module 11: Scaling Apache NiFi

1. NiFi Cluster Architecture
2. High Availability Concepts
3. Load Balancing Strategies
4. Distributed Data Processing
5. Scaling Data Pipelines

Module 12: Security and Governance

1. Authentication and Authorization
2. Access Policies
3. Secure Data Transmission
4. Data Governance Strategies
5. Compliance and Audit

Module 13: Deploying NiFi in Modern Environments

1. Running NiFi with Docker
2. Deploying NiFi in Kubernetes
3. Cloud Deployments
4. Infrastructure Automation
5. Observability for Data Pipelines

Module 14: Performance Tuning and Optimization

1. NiFi Performance Tuning
2. Queue Management
3. Resource Optimization
4. Monitoring System Resources
5. Best Practices for Production

Module 15: Real-World Data Engineering Pipelines

1. Building File Ingestion Pipelines
2. Streaming Data Pipelines
3. ETL and ELT Data Pipelines
4. Real-Time Data Processing
5. End-to-End Data Platform Integration