Transformación de Etsy: Plataforma IA

Contenido

🎙️ Introducción

🛠️ Plataforma de Aprendizaje Automático de Etsy

🧠 Casos de Uso Principales para el Aprendizaje Automático en Etsy

💼 El Equipo de Plataforma de Aprendizaje Automático

🛒 Desafíos Únicos de Etsy

🏗️ Evolución de la Plataforma de Aprendizaje Automático de Etsy

📅 Antes de 2017: Los Inicios

🚀 Versión 1 de la Plataforma de Aprendizaje Automático

🔄 Desafíos y Limitaciones de la Versión 1

🔧 Rediseño de la Plataforma en 2020

📊 Plataforma de Aprendizaje y Prototipado

📈 Servicios en la Nube de Google

🎨 Prototipado Rápido con Vertex AI y Dataflow

🤖 Infraestructura Flexible para Entrenamiento de Modelos

🚀 Plataforma de Servicio de Modelos

🛠️ Gestión de Modelos con Arista

📦 TensorFlow Serving para Modelos TensorFlow

🐍 SelvenCore para Otros Marcos de Modelado

⚙️ Orquestación de Flujos de Trabajo

🔄 Pipelines de Vertex AI para Flujos de Trabajo de Producción

🧩 Integración con TensorFlow Extended (TFX) y Kubeflow

📊 Resultados del Rediseño de la Plataforma

📈 Desafíos y Aprendizajes

⚠️ Obstáculos y Lecciones Aprendidas

📈 Perspectivas de Crecimiento Futuro

🔍 Monitoreo de Modelos y Retroalimentación de Usuarios

📉 Desafíos en la Monitorización de Modelos

🗣️ Recolección de Retroalimentación de los Usuarios

🔮 Automatización y Futuro

🤖 Automatización en el Entrenamiento, Pruebas y Despliegue

📈 Enfrentando el Futuro con Optimismo

🤔 Preguntas Frecuentes

❓ ¿Cómo detectan el cambio en los modelos?

❓ ¿Cuál fue el proceso para convencer al equipo de ingeniería de datos de migrar de Airflow?

❓ ¿Qué capacidades tienen para aumentar las experimentaciones en entornos no TensorFlow?

Artículo

🎙️ Introducción

¡Hola a todos! Soy Rob Miles, un gerente senior de ingeniería en Etsy, y lidero el equipo de plataforma de aprendizaje automático. Junto conmigo está Kyle, uno de nuestros ingenieros, quien se especializa en el servicio de modelos. En este artículo, vamos a sumergirnos en la evolución de la plataforma de aprendizaje automático de Etsy y cómo hemos abordado varios desafíos a lo largo del tiempo.

🛠️ Plataforma de Aprendizaje Automático de Etsy

🧠 Casos de Uso Principales para el Aprendizaje Automático en Etsy

Como muchas empresas de comercio electrónico, en Etsy nos enfrentamos a desafíos únicos en cuanto a la aplicación del aprendizaje automático (AA). Nuestros principales casos de uso incluyen la mejora de la búsqueda, recomendaciones de productos y publicidad.

💼 El Equipo de Plataforma de Aprendizaje Automático

El equipo de plataforma de AA en Etsy está dividido en dos escuadrones: uno se enfoca en el servicio de modelos, mientras que el otro se concentra en el entrenamiento y prototipado.

🛒 Desafíos Únicos de Etsy

Uno de los mayores desafíos que enfrentamos en Etsy es la naturaleza única de nuestro inventario, compuesto en su mayoría por productos únicos y hechos a mano. Esto presenta desafíos significativos en términos de estructuración de datos y coincidencia entre compradores y vendedores.

🏗️ Evolución de la Plataforma de Aprendizaje Automático de Etsy

📅 Antes de 2017: Los Inicios

Antes de 2017, los modelos de AA en Etsy se creaban principalmente para mejorar las recomendaciones de productos a nuestros clientes. Sin embargo, estos modelos eran exclusivamente en lotes y requerían que los científicos de datos construyeran su infraestructura desde cero.

🚀 Versión 1 de la Plataforma de Aprendizaje Automático

En 2017, adquirimos una empresa especializada en AA para búsqueda, lo que llevó a la creación de la primera versión de nuestra plataforma. Esta versión inicial tenía ciertas características interesantes, como componentes internos y un marco flexible.

🔄 Desafíos y Limitaciones de la Versión 1

A pesar de sus ventajas, la versión 1 de la plataforma comenzó a presentar limitaciones a medida que crecía la demanda de AA en Etsy. La falta de abstracciones adecuadas, la dependencia de herramientas internas y la incapacidad para aprovechar plenamente los servicios en la nube fueron algunos de los principales desafíos.

🔧 Rediseño de la Plataforma en 2020

Ante estos desafíos, en 2020 iniciamos un proyecto para rediseñar la plataforma desde cero. Establecimos principios arquitectónicos clave, como la flexibilidad, el soporte para TensorFlow y la adopción de servicios en la nube de Google.

📊 Plataforma de Aprendizaje y Prototipado

📈 Servicios en la Nube de Google

Nuestra plataforma de entrenamiento y prototipado se basa en servicios en la nube de Google, como Vertex AI y Dataflow. Esto permite a nuestros usuarios realizar trabajos de ETL de gran tamaño y prototipado rápido en infraestructura compleja.

🎨 Prototipado Rápido con Vertex AI y Dataflow

Los usuarios pueden aprovechar Vertex AI y Dataflow para prototipar rápidamente y entrenar modelos en infraestructura más compleja, como GPUs.

🤖 Infraestructura Flexible para Entrenamiento de Modelos

Ofrecemos una infraestructura flexible para el entrenamiento de modelos, lo que permite a los usuarios utilizar cualquier marco de modelado y personalizar su código de inferencia según sus necesidades.

🚀 Plataforma de Servicio de Modelos

🛠️ Gestión de Modelos con Arista

Con nuestra interfaz de gestión de modelos,