PyTorch em Habana Gaudi: Migração e Treinamento

Índice

• 👋 Boas-Vindas ao Webinar
• 🔥 Parte 1: Framework PyTorch e Migração de Modelos
• 🛠️ Configurando o Ambiente com Habana Gaudi
• ⚙️ Pilha de Software Habana Gaudi
• 🔄 Mudanças nos Scripts para Migrar Modelos PyTorch
• 🏃‍♂️ Demonstração de Migração em Tempo Real
• 🔍 Análise de Desempenho com TensorBoard
• 📈 Treinamento Distribuído com PyTorch
• 🔄 Migração de Ordenação de Pesos em Convoluções
• 🧠 Habilitando a Função de Permuta
• 🧪 Profilagem com SYNAPSE AI Profiler
• 🚀 Aceleração de Desempenho com Synapse AI
• ❓ Perguntas e Respostas
• 🔊 Destaques
• 📚 Recursos

👋 Boas-Vindas ao Webinar

Bom dia! Muito obrigado por se juntar a nós hoje. Meu nome é Pauline Es Salu e serei a moderadora deste webinar ao vivo. Esta é a parte três de nossa série de webinars em quatro partes. Se você não assistiu às sessões anteriores, as gravações estão disponíveis no site de registro e sob demanda. Por favor, assista a elas. Estamos muito animados por tê-lo aqui e, como sempre, damos as boas-vindas a todos os feedbacks e comentários para nos ajudar a melhorar futuros webinars.

🔥 Parte 1: Framework PyTorch e Migração de Modelos

Hoje, começaremos com a primeira parte, que abordará o framework PyTorch e como migrar modelos. Esta seção será apresentada por Mohit di Pujari de nossa equipe de engenharia de aplicativos e Harish Subramani e Hawkins, ambos da nossa equipe de engenharia de aplicativos de campo.

🛠️ Configurando o Ambiente com Habana Gaudi

Nesta parte, entenderemos como configurar o ambiente usando Habana Gaudi. Exploraremos os detalhes da configuração do Amazon EC2 DL1 instance com o processador Habana Gaudi.

⚙️ Pilha de Software Habana Gaudi

Será apresentada uma visão geral da pilha de software Habana Gaudi, destacando as camadas de aplicativos e estrutura de framework PyTorch personalizado.

🔄 Mudanças nos Scripts para Migrar Modelos PyTorch

Aqui, entenderemos as mudanças necessárias nos scripts para migrar modelos PyTorch para o processador Gaudi. Será discutida a importância da função load Habana module.

🏃‍♂️ Demonstração de Migração em Tempo Real

Uma demonstração prática será realizada em tempo real, mostrando como as mudanças nos scripts são implementadas. Isso incluirá uma análise detalhada das etapas envolvidas.

🔍 Análise de Desempenho com TensorBoard

A próxima parte do webinar será focada na análise de desempenho usando TensorBoard. Serão discutidos os métodos para rastrear e visualizar perdas e precisão durante o treinamento.

📈 Treinamento Distribuído com PyTorch

Aqui, exploraremos como realizar o treinamento distribuído com PyTorch. Isso incluirá uma introdução às bibliotecas e APIs para treinamento distribuído.

🔄 Migração de Ordenação de Pesos em Convoluções

Será discutida a migração de ordenação de pesos em convoluções, abordando a importância da ordem de pesos na eficácia do modelo.

🧠 Habilitando a Função de Permuta

Nesta parte, aprenderemos como habilitar a função de permuta para otimizar o processamento de dados e operações de rede neural.

🧪 Profilagem com Synapse AI Profiler

Em seguida, exploraremos como realizar a profilagem usando o Synapse AI Profiler. Serão discutidos os métodos para analisar a execução do modelo e identificar áreas de melhoria.

🚀 Aceleração de Desempenho com Synapse AI

Finalmente, aprenderemos como acelerar o desempenho do modelo utilizando o Synapse AI. Serão discutidas as práticas recomendadas para otim