Visão Geral

Curso Introduction to Graph Computing, Muitos problemas do mundo real podem ser descritos em termos de gráficos. Por exemplo, o grafo da Web, o grafo da rede social, o grafo da rede ferroviária e o grafo da linguagem. Esses gráficos tendem a ser extremamente grandes; processá-los requer um conjunto especializado de ferramentas e processos -- essas ferramentas e processos podem ser referidos como Graph Computing (também conhecido como Graph Analytics).

Neste Curso Introduction to Graph Computing on-line ao vivo conduzido via Microsoft Teams, por instrutor, os participantes aprenderão sobre as ofertas de tecnologia e as abordagens de implementação para o processamento de dados gráficos. O objetivo é identificar objetos do mundo real, suas características e relacionamentos, então modelar esses relacionamentos e processá-los como dados usando uma abordagem de Graph Computing (também conhecida como Graph Analytics e Distributed Graph Processing). Começamos com uma visão geral ampla e nos concentramos em ferramentas específicas à medida que passamos por uma série de estudos de caso, exercícios práticos e implementações ao vivo.

Objetivo

Após realizar este Curso Introduction to Graph Computing, você será capaz de:

• Entenda como os dados do gráfico são persistidos e percorridos.
• Selecione a melhor estrutura para uma determinada tarefa (desde bancos de dados gráficos até estruturas de processamento em lote).
• Implemente Hadoop, Spark, GraphX ​​e Pregel para realizar computação gráfica em muitas máquinas em paralelo.
• Visualize problemas de big data do mundo real em termos de gráficos, processos e percursos.

Materiais

Conteúdo Programatico

Introduction

1. Graph databases and libraries

Understanding Graph Data

1. The graph as a data structure
2. Using vertices (dots) and edges (lines) to model real-world scenarios

Using Graph Databases to Model, Persist and Process Graph Data

1. Local graph algorithms/traversals
2. neo4j, OrientDB and Titan

Exercise: Modeling Graph Data with neo4j

1. Whiteboard data modeling

Beyond Graph Databases: Graph Computing

1. Understanding the property graph
2. Graph modeling different scenarios (software graph, discussion graph, concept graph)

Solving Real-World Problems with Traversals

1. Algorithmic/directed walk over the graph
2. Determining circular cependencies

Case Study: Ranking Discussion Contributors

1. Ranking by number and depth of contributed discussions
2. A note on sentiment and concept analysis

Graph Computing: Local, In-Memory Graph toolkits

1. Graph analysis and visualization
2. JUNG, NetworkX, and iGraph

Exercise: Modeling Graph Data with NetworkX

1. Using NetworkX to model a complex system

Graph Computing: Batch Processing Graph Frameworks

1. Leveraging Hadoop for storage (HDFS) and processing (MapReduce)
2. Overview of iterative algorithms
3. Hama, Giraph, and GraphLab

Graph Computing: Graph-Parallel Computation

1. Unifying ETL, exploratory analysis, and iterative graph computation within a single system
2. GraphX

Setup and Installation

1. Hadoop and Spark

GraphX Operators

1. Property, structural, join, neighborhood aggregation, caching and uncaching

Iterating with Pregel API

1. Passing arguments for sending, receiving and computing

Building a Graph

1. Using vertices and edges in an RDD or on disk

Designing Scalable Algorithms

1. GraphX Optimization

Accessing Additional Algorithms

1. PageRank, Connected Components, Triangle Counting

Exercis: Page Rank and Top Users

1. Building and processing graph data using text files as input

Deploying to Production

1. Closing Remarks