Visão Geral

• O processo de Extração, Transformação e Carregamento (Extract, Transform, Load – ETL) é um processo que envolve: Extração de dados de fontes externas. Transformação dos dados para atender às necessidades de negócios.
• A integração de dados está se tornando cada vez mais complexa à medida que novas expectativas e tecnologias mudam a face do data warehousing e business intelligence.
• O design dos sistemas de integração de dados foi comparativamente simples quando o extrato, a transformação e a carga (ETL) eram a única opção. No mundo de hoje, a demanda por dados em tempo real e em tempo certo aumenta as expectativas, enquanto os scorecards e os painéis aumentam a visibilidade. Simultaneamente, a integração de informações empresariais (EII), a integração de aplicativos corporativos (EAI), o gerenciamento de dados mestre (MDM) e as tecnologias de integração de dados de clientes (CDI) expandem o leque de possibilidades.
• Este curso ensina técnicas e habilidades para construir sistemas de integração de dados que possam atender às necessidandes atuais e evoluir para atender às demandas do futuro. Começar com os requisitos certos, usar as tecnologias certas e projetar para a adaptabilidade são temas centrais ao longo do curso.
• Objetivo: Curso Técnicas de integração de dados ETL
• Técnicas de análise para capturar requisitos de integração de dados, incluindo aqueles para dados de origem, consolidação de dados, qualidade de dados, granularidade de dados, moeda de dados e dados históricos
• Como a sopa do alfabeto de tecnologias de integração – ETL, EII, EAI, MDM e CDI – se encaixa na arquitetura geral de integração de dados
• Técnicas de design para o mainstream da integração de dados, incluindo mapeamento de origem para destino, captura de dados de origem, transformação e limpeza de dados e carregamento de banco de dados
• Técnicas para enriquecer o design de integração de dados com processos de programação automatizada, monitoramento de execução, captura de metadados, reinício e recuperação e mais
• Dicas para projetar os problemas complexos de integração de dados, incluindo a detecção de alterações de dados, a identificação de defeitos de qualidade de dados, o gerenciamento de dependências complexas de agendamento, a satisfação de demandas de dados em tempo real e mais

Publico Alvo

• Arquitetos de business intelligence e data warehousing
• Projetores e desenvolvedores de processos de integração de dados
• Programa de inteligência de negócios e data warehousing e gerentes de projeto

Materiais

Inglês

Conteúdo Programatico

MODULO I:

• Data Integration Concepts
• The Need for Data Integration
• Why We Integrate Data
• A Projects Perspective
• The Challenges of Data Integration
• Understanding Data Sources
• Choosing the Right Data Sources
• Data Quality
• Data Availability

Data Integration Architectures

• Integration Hub
• Integration Bus
• Integration Services
• Data Integration Projects
• Kinds of Projects
• Project Activities
• Data Integration Technologies
• Extract-Transform-Load (ETL)
• Enterprise Information Integration (EII)
• Enterprise Application Integration (EAI)
• Master Data Management (MDM) and More

MODULO II

• Requirements Analysis for Data Integration

Integration Requirements Concepts

• Overview

Source Data Requirements

• An Overview
• Kinds of Data Sources
• Evaluating Data Sources
• Source Data Analysis and Profiling
• Choosing Data Sources

Data Unification Requirements

• Subject Orientation
• Entity Consolidation
• Identity Consolidation
• Relationship Consolidation
• Attributes and Values Consolidation

Data Aggregation and Summary Requirements

• Levels of Detail

Data Quality Requirements

• Data Correctness
• Timeliness
• Data Integrity

Data Capture Requirements

• Frequency of Data Capture
• Collecting Historical Data
• Level of Detail

Audit, Balance and Control Requirements

• ABC’s of Data Integration

Metadata Capture Requirements

• Data About Integration Processes
• Service Level Requirements
• Meeting Expectations

MODULO III

Data Integration Functional Design

• Functional Design Concepts
• Overview

Source/Target Mapping

• Mapping Techniques
• Entity Mapping
• Data Store Mapping
• Data Element Mapping
• The Full Set of Data Elements

Data Capture Design and Specification

• An Overview
• Kinds of Data
• Push vs. Pull
• All Data vs. Changed Data
• Changed Data Detection
• Data Extraction
• Data Replication
• Transaction Logging
• Messaging
• Storing Captured Data

Data Transformation Design and Specification

• Kinds of Transformations
• Data Selection and Filtering
• Conversion and Translation
• Derivation and Summarization
• Identifying Transformations
• Specifying Transformation Logic

Data Cleansing Design and Specification

• Detecting Data Quality Defects
• Repairing Data Quality Defects
• Quality Metadata and the ABCs of Cleansing

Identity and Key Management

• De-Duplication
• Surrogate Key Assignment

Design for Integrated Data Delivery

• Choosing the Right Delivery System

Data Integration Process Design

• Requirements – Driven Processing

MODULO IV

• Data Integration Technical Design

Technical Design Concepts

• Overview
• Comprehensive Processing Design

Data Flow Design

• Moving Data through the Integration Pipeline
• Data Capture and Data Staging
• Transformation Processes
• Transformation Sequence and Dependencies
• End-to-End Data Flow

Work Flow Design

• Extending Data Flow with Events
• Service Level Design
• Performance and More

Process Management Design

• Metadata Capture and Event Logging
• Balancing and Audits
• Error and Exception Handling
  Communication

MODULO V

• Construction, Deployment, and Operation
• Construction, Deployment, & Operations Concepts
• Overview

Building Data Integration Systems

• Tools and Technology
• Standards, Frameworks, Templates, and Reuse
• System Management and Data Integration
• System Testing and Data Integration

Implementing Data Integration Systems

• One-Time Data Consolidation
• Ongoing Data Consolidation

Operating Data Integration Systems

• Integration System Operations
• Customer and User Support
• Change Management

MODULO VI

• Summary and Conclusion
• Best Practices in Data Integration
• Learned through Experience

References and Resources

• For More Information

Appendix A

• Basis of Course Examples

Scenario

• Overview of an Acquisition

E-Max Systems

• E-Max HRMS and Payroll
• E-Max HR and Payroll Data

PlayNation Systems

• PlayNation HR and Payroll
• PlayNation HR and Payroll Data

E-Max Database

• Data Elements Listing
• E-Max Flat Files
• Data Elements Listing

PlayNation Database Tables

• Data Elements Listing

PlayNation Flat Files

• File Listing
• Appendix B
• Bibliography and References
• TDWI Data Integration Technique
• Exercises
• Exercise 1: Integration Options
• Exercise Instructions
• Worksheet

Exercise 2: Data Unification

• Exercise Instructions
• Data Descriptions
• Worksheet 1 of 2
• Worksheet 2 of 2

Exercise 3: Identify and Key Management

• Exercise Instructions
• Worksheet

Exercise 4: Data Flow Design

• Exercise Instructions and Workspace
• Worksheet