Visão Geral

Este Curso Logstash and Beats Integration with Elasticsearch, aborda de forma prática como integrar Logstash e Beats com o Elasticsearch, formando uma base sólida para ingestão, processamento e análise de dados dentro do Elastic Stack.
Os participantes aprenderão como coletar, transformar e enviar dados de diversas fontes utilizando Logstash pipelines e Beats agents, além de entender o fluxo completo de dados até o armazenamento e visualização no Elasticsearch e Kibana.
Ao final, o aluno dominará o processo de construção de pipelines de dados escaláveis, automatizados e altamente eficientes para observabilidade, monitoramento e análise operacional.

Objetivo

Após realizar este curso Logstash and Beats Integration with Elasticsearch, você será capaz de:

• Instalar e configurar Logstash e Beats;
• Construir pipelines de ingestão de dados com Logstash;
• Coletar dados de servidores, aplicações e containers usando Beats;
• Enviar e indexar dados de forma eficiente no Elasticsearch;
• Projetar uma arquitetura completa de observabilidade com Elastic Stack.

Publico Alvo

• Administradores de sistemas e engenheiros DevOps que utilizam Elasticsearch em ambientes de produção;
• Analistas e engenheiros de dados que desejam dominar pipelines de coleta e processamento de dados;
• Profissionais de monitoramento, observabilidade e segurança (SIEM);
• Desenvolvedores que buscam integrar logs e métricas em soluções baseadas no Elastic Stack.

Pre-Requisitos

• Conhecimento básico de Elasticsearch e Kibana;
• Familiaridade com sistemas Linux e linha de comando;
• Noções básicas de formatos JSON e conceitos de rede.

Materiais

Conteúdo Programatico

Module 1: Introduction to Elastic Stack Data Ingestion

1. Overview of Elastic Stack architecture
2. Role of Logstash and Beats in data pipelines
3. Understanding data flow from source to Elasticsearch
4. Common use cases: logs, metrics, and monitoring

Module 2: Installing and Configuring Logstash

1. Logstash installation and configuration
2. Structure of configuration files and pipelines
3. Input, filter, and output plugins overview
4. Managing and running Logstash as a service
5. Testing and debugging pipelines

Module 3: Building Logstash Pipelines

1. Input plugins (File, Beats, Syslog, HTTP, JDBC)
2. Filter plugins (Grok, Date, Mutate, JSON, GeoIP)
3. Output plugins (Elasticsearch, File, Stdout)
4. Creating conditional logic in pipelines
5. Best practices for performance and scalability

Module 4: Introduction to Beats

1. Overview of Beats family: Filebeat, Metricbeat, Packetbeat, Heartbeat, Winlogbeat, Auditbeat
2. Architecture and data flow of Beats
3. Installing and configuring Filebeat and Metricbeat
4. Managing modules and input configurations
5. Sending data directly to Elasticsearch or via Logstash

Module 5: Integrating Beats with Logstash and Elasticsearch

1. Configuring Beats output to Logstash
2. Processing Beats data through Logstash filters
3. Indexing data into Elasticsearch
4. Creating index templates and managing mappings
5. Visualizing Beats data in Kibana

Module 6: Monitoring and Troubleshooting Pipelines

1. Monitoring Logstash pipelines performance
2. Using X-Pack Monitoring for Logstash and Beats
3. Troubleshooting connection and data flow issues
4. Handling large-scale data ingestion scenarios

Module 7: Real-World Use Cases and Automation

1. Log ingestion from multiple servers
2. Centralized monitoring for applications and containers
3. Integration with Docker and Kubernetes environments
4. Automating data pipelines deployment

Module 8: Final Project

1. Building an end-to-end Elastic data pipeline
2. Collecting, parsing, enriching, and indexing data
3. Creating a real-time analytics dashboard in Kibana