Curso

Curso Técnicas de integração de dados ETL

0 Avaliação

Descrição

Visão Geral:

• O processo de Extração, Transformação e Carregamento (Extract, Transform, Load – ETL) é um processo que envolve: Extração de dados de fontes externas. Transformação dos dados para atender às necessidades de negócios.
• A integração de dados está se tornando cada vez mais complexa à medida que novas expectativas e tecnologias mudam a face do data warehousing e business intelligence.
• O design dos sistemas de integração de dados foi comparativamente simples quando o extrato, a transformação e a carga (ETL) eram a única opção. No mundo de hoje, a demanda por dados em tempo real e em tempo certo aumenta as expectativas, enquanto os scorecards e os painéis aumentam a visibilidade. Simultaneamente, a integração de informações empresariais (EII), a integração de aplicativos corporativos (EAI), o gerenciamento de dados mestre (MDM) e as tecnologias de integração de dados de clientes (CDI) expandem o leque de possibilidades.
• Este curso ensina técnicas e habilidades para construir sistemas de integração de dados que possam atender às necessidandes atuais e evoluir para atender às demandas do futuro. Começar com os requisitos certos, usar as tecnologias certas e projetar para a adaptabilidade são temas centrais ao longo do curso.
Objetivo: Curso Técnicas de integração de dados ETL
• Técnicas de análise para capturar requisitos de integração de dados, incluindo aqueles para dados de origem, consolidação de dados, qualidade de dados, granularidade de dados, moeda de dados e dados históricos
• Como a sopa do alfabeto de tecnologias de integração – ETL, EII, EAI, MDM e CDI – se encaixa na arquitetura geral de integração de dados
• Técnicas de design para o mainstream da integração de dados, incluindo mapeamento de origem para destino, captura de dados de origem, transformação e limpeza de dados e carregamento de banco de dados
• Técnicas para enriquecer o design de integração de dados com processos de programação automatizada, monitoramento de execução, captura de metadados, reinício e recuperação e mais
• Dicas para projetar os problemas complexos de integração de dados, incluindo a detecção de alterações de dados, a identificação de defeitos de qualidade de dados, o gerenciamento de dependências complexas de agendamento, a satisfação de demandas de dados em tempo real e mais

Formato de Entrega:

• Presencial, em sala de aula com a presença de um instrutor
• Ou online ao vivo em tempo real para todo Brasil

Carga Horária:

• 16 horas:
• Noturno de Segunda a quinta das 19:00hs as 23:00hs.
• Aos Sábados das 09:00hr as 18:00hs

Público Alvo:

• Arquitetos de business intelligence e data warehousing
• Projetores e desenvolvedores de processos de integração de dados
• Programa de inteligência de negócios e data warehousing e gerentes de projeto

Conteúdo Programático:

  • Data Integration Concepts
  • The Need for Data Integration
  • Why We Integrate Data
  • A Projects Perspective
  • The Challenges of Data Integration
  • Understanding Data Sources
  • Choosing the Right Data Sources
  • Data Quality
  • Data Availability

Data Integration Architectures

  • Integration Hub
  • Integration Bus
  • Integration Services
  • Data Integration Projects
  • Kinds of Projects
  • Project Activities
  • Data Integration Technologies
  • Extract-Transform-Load (ETL)
  • Enterprise Information Integration (EII)
  • Enterprise Application Integration (EAI)
  • Master Data Management (MDM) and More
  • Requirements Analysis for Data Integration

Integration Requirements Concepts

  • Overview

Source Data Requirements

  • An Overview
  • Kinds of Data Sources
  • Evaluating Data Sources
  • Source Data Analysis and Profiling
  • Choosing Data Sources

Data Unification Requirements

  • Subject Orientation
  • Entity Consolidation
  • Identity Consolidation
  • Relationship Consolidation
  • Attributes and Values Consolidation

Data Aggregation and Summary Requirements

  • Levels of Detail

Data Quality Requirements

  • Data Correctness
  • Timeliness
  • Data Integrity

Data Capture Requirements

  • Frequency of Data Capture
  • Collecting Historical Data
  • Level of Detail

Audit, Balance and Control Requirements

  • ABC’s of Data Integration

Metadata Capture Requirements

  • Data About Integration Processes
  • Service Level Requirements
  • Meeting Expectations

Data Integration Functional Design

  • Functional Design Concepts
  • Overview

Source/Target Mapping

  • Mapping Techniques
  • Entity Mapping
  • Data Store Mapping
  • Data Element Mapping
  • The Full Set of Data Elements

Data Capture Design and Specification

  • An Overview
  • Kinds of Data
  • Push vs. Pull
  • All Data vs. Changed Data
  • Changed Data Detection
  • Data Extraction
  • Data Replication
  • Transaction Logging
  • Messaging
  • Storing Captured Data

Data Transformation Design and Specification

  • Kinds of Transformations
  • Data Selection and Filtering
  • Conversion and Translation
  • Derivation and Summarization
  • Identifying Transformations
  • Specifying Transformation Logic

Data Cleansing Design and Specification

  • Detecting Data Quality Defects
  • Repairing Data Quality Defects
  • Quality Metadata and the ABCs of Cleansing

Identity and Key Management

  • De-Duplication
  • Surrogate Key Assignment

Design for Integrated Data Delivery

  • Choosing the Right Delivery System

Data Integration Process Design

  • Requirements – Driven Processing
  • Data Integration Technical Design

Technical Design Concepts

  • Overview
  • Comprehensive Processing Design

Data Flow Design

  • Moving Data through the Integration Pipeline
  • Data Capture and Data Staging
  • Transformation Processes
  • Transformation Sequence and Dependencies
  • End-to-End Data Flow

Work Flow Design

  • Extending Data Flow with Events
  • Service Level Design
  • Performance and More

Process Management Design

  • Metadata Capture and Event Logging
  • Balancing and Audits
  • Error and Exception Handling
    Communication
  • Construction, Deployment, and Operation
  • Construction, Deployment, & Operations Concepts
  • Overview

Building Data Integration Systems

  • Tools and Technology
  • Standards, Frameworks, Templates, and Reuse
  • System Management and Data Integration
  • System Testing and Data Integration

Implementing Data Integration Systems

  • One-Time Data Consolidation
  • Ongoing Data Consolidation

Operating Data Integration Systems

  • Integration System Operations
  • Customer and User Support
  • Change Management
  • Summary and Conclusion
  • Best Practices in Data Integration
  • Learned through Experience

References and Resources

  • For More Information

Appendix A

  • Basis of Course Examples

Scenario

  • Overview of an Acquisition

E-Max Systems

  • E-Max HRMS and Payroll
  • E-Max HR and Payroll Data

PlayNation Systems

  • PlayNation HR and Payroll
  • PlayNation HR and Payroll Data

E-Max Database

  • Data Elements Listing
  • E-Max Flat Files
  • Data Elements Listing

PlayNation Database Tables

  • Data Elements Listing

PlayNation Flat Files

  • File Listing
  • Appendix B
  • Bibliography and References
  • TDWI Data Integration Technique
  • Exercises
  • Exercise 1: Integration Options
  • Exercise Instructions
  • Worksheet

Exercise 2: Data Unification

  • Exercise Instructions
  • Data Descriptions
  • Worksheet 1 of 2
  • Worksheet 2 of 2

Exercise 3: Identify and Key Management

  • Exercise Instructions
  • Worksheet

Exercise 4: Data Flow Design

  • Exercise Instructions and Workspace
  • Worksheet

Entre em Contato Conosco

Preencha os campos abaixo que responderemos rapidamente

Sobre o Professor

  • suporte