Visão Geral

Nosso Curso Web Scraping with Python, ministrado por instrutor experiente, lhe dará as habilidades para criar scripts automatizados para obter dados da web, com base nos critérios necessários para construir relatórios valiosos em fontes relevantes.

Alguns dos principais casos de uso de Web Scraping incluem:

Monitoramento da concorrência : extração de detalhes de produtos e serviços, como preço, imagens e outros conteúdos, observando as mudanças ao longo do tempo.

Acompanhamento de políticas : extração de circulares de sociedades comerciais e outras organizações, filtrando palavras-chave específicas de interesse.

Coleta de dados de várias fontes : coleta, agregação e análise de dados sobre um conjunto de produtos ou serviços (por exemplo, imóveis) de vários sites, a fim de obter insights mais ricos sobre os itens específicos.

Rastreamento de reputação online : análise de opiniões sobre produtos ou marcas, a partir de análises online ou postagens em blogs.

Coleta de dados para treinamento de sistemas de Aprendizado de Máquina .

Você se beneficiará de extensos laboratórios práticos, ministrados por um especialista em ciência de dados que lhe dará conhecimento suficiente de Python para dar o pontapé inicial em seu projeto.

Objetivo

Após realizar est Curso Web Scraping with Python você será capaz de:

• Python refresher / primer - apenas o suficiente para fazer o que você precisa fazer
• Visão geral de Web Scraping
• Aquisição de dados
• Extração de dados
• Processamento e limpeza de dados
• Armazenamento de dados: bancos de dados relacionais

Publico Alvo

Analistas de dados, analistas de negócios, pesquisadores, desenvolvedores de software que precisam adquirir dados de fontes da web, manipular, limpar e moldar esses dados para suas necessidades comerciais personalizadas.

Pre-Requisitos

Os delegados devem ter alguma experiência em análise de dados usando ferramentas como Excel, Tableau, Power BI ou bancos de dados SQL convencionais. Qualquer experiência existente com a linguagem Python (ou similar) seria muito útil.

Materiais

Conteúdo Programatico

Python Refresher

1. Data structures
2. Control flow statements
3. Working with files in different formats (CSV, JSON, ...)

Overview on Web Scraping

1. What is Web Scraping?
2. Web Crawling vs. Web Scraping
3. Uses Cases of Web Scraping
4. Components of a Web Scraper
5. Alternatives to Web Scraping: Using Web APIs

Data Acquisition

1. Simple web client using Requests
2. Building a crawler using Scrapy
3. Simulating user clicks and browser interactions using Selenium
4. Handling JavaScript/AJAX in dynamic web pages
5. Automatic form submission

Data Extraction

1. Data formats: HTML, XML, JSON
2. Extracting data from HTML tables using pandas
3. Ad-hoc parsing of HTML documents using BeautifulSoup

Data Processing and Cleaning

1. Preparing your data for downstream analysis and computation
2. Handling missing data and duplicate data
3. String manipulation and pattern matching
4. Overview on Natural Language Processing tools for dealing with text data

Data Storage: Relational Databases

1. Connecting to SQL databases using SQLAlchemy
2. Inserting data into SQL databases
3. Reading data from SQL databases
4. Overview on alternatives to SQL databases: file formats, NoSQL databases