Q&A con Videos de YouTube: LangChain y OpenAI para Resúmenes

Bienvenido a este artículo, donde exploraremos cómo construir un sistema de preguntas y respuestas (Q&A) para videos de YouTube utilizando tecnologías de vanguardia como LangChain, OpenAI Whisper y ChromaDB. Este sistema te permitirá interactuar de manera eficiente con el contenido de los videos, ya sea para resumir podcasts extensos, extraer información clave de conferencias o tutoriales, e incluso encontrar los timestamps exactos de los temas que te interesan. La idea principal es transformar la información de los videos en datos accesibles y fáciles de analizar, optimizando tu tiempo y mejorando tu experiencia de aprendizaje.

¿Qué es un Sistema de Q&A para Videos?

Un sistema de preguntas y respuestas (Q&A) para videos es una herramienta que permite a los usuarios interactuar con el contenido de un video de manera más eficiente. En lugar de tener que ver todo el video para encontrar la información que necesitas, puedes hacer preguntas específicas y el sistema te proporcionará las respuestas relevantes. Esto se logra mediante la transcripción del audio del video en texto, la indexación de este texto y el uso de modelos de lenguaje para responder a las preguntas.

Esta tecnología es especialmente útil para videos largos, como podcasts, conferencias y tutoriales, donde la información puede estar dispersa y difícil de encontrar.

Imagina que estás viendo un Tutorial de programación de dos horas y solo necesitas saber cómo implementar una función específica. En lugar de tener que buscar manualmente la información, puedes preguntarle al sistema: “¿Cómo implemento la función X?”. El sistema buscará en la transcripción del video la información relevante y te proporcionará la respuesta, junto con el timestamp exacto donde se Discute ese tema. Este tipo de sistemas ahorra tiempo y mejora la experiencia de aprendizaje al permitir a los usuarios acceder rápidamente a la información que necesitan.

Componentes Clave del Sistema Q&A

Para construir un sistema de Q&A efectivo, necesitamos varios componentes clave:

• Transcripción de Audio: El primer paso es convertir el audio del video en texto. Esto se puede lograr utilizando herramientas de reconocimiento de voz automáticas (ASR). Una de las herramientas más populares y precisas para esta tarea es OpenAI Whisper. Whisper es un modelo de ASR de código abierto que ofrece una Alta precisión en varios idiomas y puede manejar diferentes acentos y ruidos de fondo.
• Indexación de Texto: Una vez que tenemos la transcripción del video, necesitamos indexarla para poder buscar información de manera eficiente. Aquí es donde entra en juego ChromaDB. ChromaDB es una base de datos vectorial que permite almacenar y buscar embeddings de texto. Los embeddings son representaciones numéricas del significado de las palabras y frases, lo que permite realizar búsquedas semánticas. Esto significa que puedes buscar información incluso si no utilizas las mismas palabras que se utilizaron en la transcripción.
• Modelo de Lenguaje: El componente final es un modelo de lenguaje que pueda responder a las preguntas de los usuarios. Una de las opciones más populares es LangChain. LangChain es un framework que facilita la construcción de aplicaciones basadas en modelos de lenguaje. LangChain proporciona una serie de herramientas y abstracciones que simplifican el proceso de integrar modelos de lenguaje con diferentes fuentes de datos y herramientas.

Combinando estos componentes, podemos construir un sistema de Q&A robusto y eficiente para videos de YouTube. El sistema transcribirá el audio del video, indexará el texto transcrito en ChromaDB, y utilizará LangChain para responder a las preguntas de los usuarios.

Instalación de Bibliotecas Necesarias

El primer paso es instalar las bibliotecas necesarias para construir el sistema. Utilizaremos pip, el gestor de paquetes de Python, para instalar las siguientes bibliotecas:

• OpenAI Whisper: Para la transcripción de audio.
• PyTube: Para descargar videos de YouTube.
• LangChain: Para construir la aplicación basada en modelos de lenguaje.
• ChromaDB: Para la indexación de texto.
• OpenAI: Para acceder a los modelos de lenguaje de OpenAI.

Para instalar estas bibliotecas, puedes utilizar el siguiente comando:

pip install openai-whisper pytube langchain chromadb openai

Este comando instalará todas las bibliotecas necesarias en tu entorno de Python. Asegúrate de tener Python instalado y configurado correctamente antes de ejecutar este comando.

Extracción del Audio del Video de YouTube

Una vez que tenemos las bibliotecas instaladas, el siguiente paso es extraer el audio del video de YouTube. Para esto, utilizaremos la biblioteca PyTube. PyTube facilita la descarga de videos de YouTube y la extracción de sus componentes, como el audio.

Para extraer el audio, puedes utilizar el siguiente código:

from pytube import YouTube

youtube = YouTube('URL_DEL_VIDEO')
audio = youtube.streams.filter(only_audio=True).first()

output_path = '.' #Directorio actual
audio.download(output_path=output_path)

print("Descarga finalizada")

Reemplaza 'URL_DEL_VIDEO' con la URL del video de YouTube que deseas procesar. Este código descargará el audio del video y lo guardará en el directorio actual. Asegúrate de tener suficiente espacio en disco para guardar el audio.

Transcripción del Audio con OpenAI Whisper

El siguiente paso es transcribir el audio extraído utilizando OpenAI Whisper. Whisper convertirá el audio en texto, lo que nos permitirá indexarlo y buscar información. Para transcribir el audio, puedes utilizar el siguiente código:

import whisper

model = whisper.load_model("large")
result = model.transcribe("audio.mp4")

print(result["text"])

Reemplaza "audio.mp4" con el nombre del archivo de audio que descargaste en el paso anterior. Este código cargará el modelo Whisper y transcribirá el audio en texto. El resultado se imprimirá en la consola y también se puede guardar en un archivo para su posterior procesamiento.

Indexación del Texto con ChromaDB

Una vez que tenemos la transcripción del video, necesitamos indexarla para poder buscar información de manera eficiente. Utilizaremos ChromaDB para esto. ChromaDB es una base de datos vectorial que permite almacenar y buscar embeddings de texto.

Para indexar el texto, puedes utilizar el siguiente código:

import chromadb

client = chromadb.Client()
collection = client.create_collection("youtube_transcripts")

collection.add(
    documents=[result["text"]],
    ids=["transcription_1"]
)

Este código creará una colección en ChromaDB llamada youtube_transcripts y agregará la transcripción del video a esta colección. Ahora podemos buscar información en la transcripción utilizando ChromaDB.

Creación del Sistema de Preguntas y Respuestas con LangChain

Finalmente, utilizaremos LangChain para construir el sistema de preguntas y respuestas. LangChain facilitará la integración del modelo de lenguaje con ChromaDB y nos permitirá responder a las preguntas de los usuarios.

Para crear el sistema de Q&A, puedes utilizar el siguiente código:

from langchain.llms import OpenAI
from langchain.chains import RetrievalQA
from langchain.vectorstores import Chroma

llm = OpenAI(api_key="API_KEY") #Reemplaza API_KEY
vectorstore = Chroma(collection_name="youtube_transcripts")

qa = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=vectorstore.as_retriever())

query = "Pregunta aquí"
qa.run(query)

Reemplaza "API_KEY" con tu clave de API de OpenAI. Este código creará un modelo de lenguaje OpenAI, lo integrará con ChromaDB utilizando LangChain, y responderá a la pregunta que especifiques en la variable query.

Paso 1: Descarga y Ejecución del Script

Comienza descargando el script de Python que contiene la implementación del sistema Q&A. Asegúrate de tener instalado Python y las bibliotecas necesarias (OpenAI Whisper, PyTube, LangChain, ChromaDB, OpenAI). Ejecuta el script en tu entorno de desarrollo.

Paso 2: Ingreso de la URL del Video

Modifica el script para ingresar la URL del video de YouTube que deseas analizar. El script descargará el audio del video y lo guardará localmente.

Paso 3: Transcripción y Indexación

El script utilizará OpenAI Whisper para transcribir el audio del video en texto. Luego, indexará el texto transcrito en ChromaDB.

Paso 4: Formulación de Preguntas

Modifica el script para ingresar la pregunta que deseas hacer sobre el contenido del video. Ejecuta el script para obtener la respuesta generada por el modelo de lenguaje.

Paso 5: Análisis de Resultados

Analiza la respuesta proporcionada por el sistema Q&A. El script también te proporcionará el timestamp exacto donde se discute el tema en el video.

Costos de OpenAI

El uso de los modelos de lenguaje de OpenAI tiene un costo asociado. OpenAI ofrece diferentes planes de precios, dependiendo del modelo que utilices y de la cantidad de tokens que consumas. Asegúrate de revisar los precios de OpenAI y de configurar tu cuenta correctamente para evitar cargos inesperados.

Costo de Almacenamiento en ChromaDB

El costo de almacenamiento en ChromaDB depende de la cantidad de datos que almacenes. ChromaDB ofrece diferentes planes de precios, incluyendo una opción gratuita para proyectos pequeños. Asegúrate de revisar los precios de ChromaDB y de elegir el plan que mejor se adapte a tus necesidades.

Costo de Infraestructura

También debes considerar el costo de la infraestructura donde ejecutarás el sistema. Puedes ejecutar el sistema en tu propia computadora, pero esto puede requerir recursos significativos, especialmente si procesas videos largos. Alternativamente, puedes utilizar un servicio en la nube, como Google Colab o AWS, para ejecutar el sistema. Estos servicios ofrecen diferentes planes de precios, dependiendo de los recursos que necesites.

Transcripción Automática

El sistema utiliza OpenAI Whisper para transcribir automáticamente el audio del video en texto. Whisper ofrece una alta precisión en varios idiomas y puede manejar diferentes acentos y ruidos de fondo.

Indexación Semántica

El sistema utiliza ChromaDB para indexar el texto transcrito y facilitar la búsqueda semántica de información. ChromaDB permite buscar información incluso si no utilizas las mismas palabras que se utilizaron en la transcripción.

Preguntas y Respuestas

El sistema utiliza LangChain para integrar el modelo de lenguaje con ChromaDB y responder a las preguntas de los usuarios. LangChain simplifica el proceso de construir aplicaciones basadas en modelos de lenguaje.

Resúmenes y Timestamps

El sistema puede generar resúmenes concisos del video y encontrar los timestamps de los temas relevantes. Esto facilita la extracción de información clave del video.

Resumen de Podcasts

El sistema se puede utilizar para resumir podcasts largos y extraer la información más relevante. Esto ahorra tiempo y permite a los usuarios acceder rápidamente a la información que necesitan.

Análisis de Conferencias

El sistema se puede utilizar para analizar conferencias y extraer los puntos clave discutidos por los ponentes. Esto facilita la comprensión y el aprendizaje del contenido de la conferencia.

Extracción de Información de Tutoriales

El sistema se puede utilizar para extraer información específica de tutoriales largos. Esto permite a los usuarios encontrar rápidamente la información que necesitan para completar una tarea.

Análisis Inteligente de Grabaciones de Llamadas en un Call Center

Una de las aplicaciones prácticas sería resumir toneladas de grabaciones de llamadas en un centro de llamadas y realizar análisis inteligentes con ChatGPT.