Visão Geral

As aplicações para processamento de linguagem natural (PNL) e IA generativa explodiram na última década. Com a proliferação de aplicações como chatbots e assistentes virtuais inteligentes, as organizações estão a infundir nos seus negócios experiências homem-máquina mais interativas. É essencial compreender como os grandes modelos de linguagem (LLMs) baseados em transformadores podem ser usados ​​para manipular, analisar e gerar dados baseados em texto. LLMs pré-treinados modernos podem encapsular as nuances, o contexto e a sofisticação da linguagem, assim como os humanos fazem. Quando ajustados e implantados corretamente, os desenvolvedores podem usar esses LLMs para criar aplicativos de PNL poderosos que fornecem interações homem-computador naturais e contínuas em chatbots, agentes de voz de IA e muito mais. LLMs baseados em transformadores, como Representações de codificador bidirecional de transformadores (BERT), revolucionaram a PNL, oferecendo precisão comparável às linhas de base humanas em benchmarks como SQuAD para resposta a perguntas, reconhecimento de entidade, reconhecimento de intenção, análise de sentimento e muito mais.

Objetivo

Após concluir este Curso Building Transformer-Based Natural Language Processing Applications Training, você será capaz de:

• Como os transformadores são usados ​​como blocos de construção básicos de LLMs modernos para aplicações de PNL
• Como a autosupervisão melhora a arquitetura do transformador em BERT, Megatron e outras variantes de LLM para resultados superiores de PNL
• Como aproveitar modelos LLM modernos e pré-treinados para resolver múltiplas tarefas de PNL, como classificação de texto, reconhecimento de entidade nomeada (NER) e resposta a perguntas
• Aproveite modelos de PNL modernos e pré-treinados para resolver diversas tarefas, como classificação de texto, NER e resposta a perguntas
• Gerencie desafios de inferência e implante modelos refinados para aplicações ativas

Pre-Requisitos

• Experiência com codificação Python e uso de funções e parâmetros de biblioteca
• Compreensão fundamental de uma estrutura de aprendizado profundo, como TensorFlow, PyTorch ou Keras
• Compreensão básica de redes neurais

Materiais

Conteúdo Programatico

• Introduction
• Introduction to Transformers
• Self-Supervision, BERT, and Beyond
• Inference and Deployment for NLP
• Final Review