Visão Geral

Este Curso Dataflow Serverless Data Processing with Dataflow é destinado a profissionais de Big Data que desejam aprofundar sua compreensão do Dataflow para aprimorar seus aplicativos de processamento de dados. Começando com os fundamentos, este treinamento explica como o Apache Beam e o Dataflow trabalham juntos para atender às suas necessidades de processamento de dados sem o risco de dependência de fornecedor. A seção sobre desenvolvimento de pipelines aborda como converter sua lógica de negócios em aplicativos de processamento de dados que podem ser executados no Dataflow . Este treinamento culmina com foco em operações, que analisa as lições mais importantes para operar um aplicativo de dados no Dataflow, incluindo monitoramento, solução de problemas, testes e confiabilidade.

Objetivo

Após realizar o Curso Dataflow Serverless Data Processing with Dataflow, os alunos serão capazes de:

• Demonstre como o Apache Beam e o Dataflow funcionam juntos para atender às necessidades de processamento de dados da sua organização.
• Resuma os benefícios do Beam Portability Framework e ative-o nos pipelines do Dataflow.
• Habilite Shuffle e Streaming Engine, para pipelines em lote e streaming, respectivamente, para desempenho máximo.
• Habilite o agendamento flexível de recursos para um desempenho mais econômico.
• Selecione a combinação certa de permissões do IAM para seu job do Dataflow.
• Implemente as melhores práticas para um ambiente de processamento de dados seguro.
• Selecione e ajuste a E/S de sua preferência para o pipeline do Dataflow.
• Use esquemas para simplificar o código do Beam e melhorar o desempenho do pipeline.
• Desenvolva um pipeline do Beam usando SQL e DataFrames.
• Execute monitoramento, solução de problemas, testes e CI/CD em pipelines do Dataflow.

Publico Alvo

• Engenheiro de dados.
• Analistas e cientistas de dados que desejam desenvolver habilidades de engenharia de dados

Pre-Requisitos

• Construindo pipelines de dados em lote”
• “Construindo Sistemas de Análise de Streaming Resilientes

Materiais

Conteúdo Programatico

Introduction

1. Introduce the course objectives.
2. Demonstrate how Apache Beam and Dataflow work together to fulfill your organization’s data processing needs.

Beam Portability

1. Summarize the benefits of the Beam Portability Framework.
2. Customize the data processing environment of your pipeline using custom containers.
3. Review use cases for cross-language transformations.
4. Enable the Portability framework for your Dataflow pipelines.

Separating Compute and Storage with Dataflow

1. Enable Shuffle and Streaming Engine, for batch and streaming pipelines respectively, for maximum performance.
2. Enable Flexible Resource Scheduling for more cost-efficient performance.

IAM, Quotas, and Permissions

1. Select the right combination of IAM permissions for your Dataflow job.
2. Determine your capacity needs by inspecting the relevant quotas for your Dataflow jobs.

Security

1. Select your zonal data processing strategy using Dataflow, depending on your data locality needs.
2. Implement best practices for a secure data processing environment.

Beam Concepts Review

1. Review main Apache Beam concepts (Pipeline, PCollections, PTransforms, Runner, reading/writing, Utility PTransforms, side inputs), bundles and DoFn Lifecycle.

Windows, Watermarks, Triggers

1. Implement logic to handle your late data.
2. Review different types of triggers.
3. Review core streaming concepts (unbounded PCollections, windows).

Sources and Sinks

1. Write the I/O of your choice for your Dataflow pipeline.
2. Tune your source/sink transformation for maximum performance.
3. Create custom sources and sinks using SDF.

Schemas

1. Introduce schemas, which give developers a way to express structured data in their Beam pipelines.
2. Use schemas to simplify your Beam code and improve the performance of your pipeline.

State and Timers

1. Identify use cases for state and timer API implementations.
2. Select the right type of state and timers for your pipeline.

Best Practices

1. Implement best practices for Dataflow pipelines.

Dataflow SQL and DataFrames

1. Develop a Beam pipeline using SQL and DataFrames.

Beam Notebooks

1. Prototype your pipeline in Python using Beam notebooks.
2. Use Beam magics to control the behavior of source recording in your notebook.
3. Launch a job to Dataflow from a notebook.

Monitoring

1. Navigate the Dataflow Job Details UI.
2. Interpret Job Metrics charts to diagnose pipeline regressions.
3. Set alerts on Dataflow jobs using Cloud Monitoring.

Logging and Error Reporting

1. Use the Dataflow logs and diagnostics widgets to troubleshoot pipeline issues.

Troubleshooting and Debug

1. Use a structured approach to debug your Dataflow pipelines.
2. Examine common causes for pipeline failures.

Performance

1. Understand performance considerations for pipelines.
2. Consider how the shape of your data can affect pipeline performance.

Testing and CI/CD

1. Testing approaches for your Dataflow pipeline.
2. Review frameworks and features available to streamline your CI/CD workflow for Dataflow pipelines.

Reliability

1. Implement reliability best practices for your Dataflow pipelines.

Flex Templates

1. Using flex templates to standardize and reuse Dataflow pipeline code.