Visão Geral

O curso Apache NiFi for DataOps aborda como implementar práticas modernas de DataOps para automação, governança e operação contínua de pipelines de dados utilizando a plataforma de fluxo de dados Apache NiFi. Durante o treinamento, os participantes aprenderão a construir pipelines de ingestão e transformação de dados altamente automatizados, versionados e monitorados, permitindo integração contínua e entrega contínua (CI/CD) de fluxos de dados. O curso também explora integração com ferramentas do ecossistema de dados e automação, como Apache NiFi Registry, Apache Kafka, Apache Airflow e ambientes de Data Lake baseados em Apache Hadoop. Ao final, os alunos serão capazes de implementar práticas de DataOps para gerenciamento eficiente de pipelines de dados em ambientes corporativos.

Objetivo

Após realizar este curso Apache NiFi for DataOps, você será capaz de:

• Compreender os princípios e práticas de DataOps
• Projetar pipelines de dados automatizados utilizando Apache NiFi
• Implementar versionamento de DataFlows com NiFi Registry
• Integrar pipelines de dados com processos de CI/CD
• Monitorar e governar pipelines de dados em produção
• Implementar pipelines resilientes e escaláveis
• Automatizar deploys de DataFlows em diferentes ambientes
• Aplicar boas práticas de operação e governança de pipelines de dados

Publico Alvo

• Engenheiros de dados
• Profissionais de DataOps
• Engenheiros de DevOps
• Arquitetos de dados
• Profissionais de Big Data
• Administradores de sistemas
• Profissionais de plataformas de dados

Pre-Requisitos

• Conhecimentos básicos de Linux
• Noções de pipelines de dados
• Conhecimentos básicos de bancos de dados SQL
• Familiaridade com conceitos de DevOps
• Conhecimento básico de Apache NiFi é desejável

Materiais

Conteúdo Programatico

Module 1: Introduction to DataOps

1. DataOps Concepts and Principles
2. DataOps vs DevOps
3. Modern Data Pipeline Challenges
4. Continuous Integration and Continuous Delivery for Data
5. DataOps Architecture Overview

Module 2: Apache NiFi Architecture for DataOps

1. Overview of Apache NiFi Architecture
2. FlowFile and DataFlow Concepts
3. Processors, Connections and Queues
4. Scheduling and Flow Control
5. Error Handling and Retry Strategies

Module 3: Building Data Pipelines with NiFi

1. Designing Data Pipelines
2. Data Ingestion Patterns
3. Data Transformation Workflows
4. Routing and Data Enrichment
5. Pipeline Testing Strategies

Module 4: Version Control with NiFi Registry

1. Overview of Apache NiFi Registry
2. Installing and Configuring Registry
3. Flow Versioning
4. Managing Flow Changes
5. Promoting DataFlows Between Environments

Module 5: CI/CD for Data Pipelines

1. CI/CD Concepts for Data Pipelines
2. Integrating NiFi with Git Repositories
3. Automated Flow Deployment
4. Environment Promotion Strategies
5. Pipeline Testing and Validation

Module 6: Data Pipeline Monitoring and Observability

1. Data Provenance and Lineage
2. Monitoring DataFlows
3. Logging and Metrics
4. Pipeline Health Monitoring
5. Troubleshooting Pipelines

Module 7: Integrating NiFi with Data Platforms

1. Streaming Integration with Apache Kafka
2. Workflow Orchestration with Apache Airflow
3. Data Lake Integration with Apache Hadoop
4. API and Web Services Integration
5. Database Integration (SQL and NoSQL)

Module 8: Scaling and Operating NiFi in Production

1. NiFi Cluster Architecture
2. High Availability Strategies
3. Load Balancing
4. Resource Management
5. Operating NiFi in Production

Module 9: Security and Governance

1. Authentication and Authorization
2. Access Policies
3. Secure Data Transmission
4. Data Governance and Compliance
5. Audit and Traceability

Module 10: Automation and Infrastructure

1. Running NiFi with Docker
2. Deploying NiFi in Kubernetes
3. Infrastructure as Code Concepts
4. Automating NiFi Deployments
5. Cloud Deployment Strategies

Module 11: Performance Optimization

1. NiFi Performance Tuning
2. Queue Management
3. Processor Optimization
4. Resource Utilization
5. Monitoring System Performance

Module 12: DataOps Best Practices

1. Data Pipeline Design Best Practices
2. Operational Governance
3. Incident Management
4. Continuous Improvement
5. Real-World DataOps Scenarios