1 Machine Learning

Es una parte pequeña muy poderosa que requiere un ecosistema integrado de datos donde se tenga la información validada, en buena calidad, una actualización de datos continuo para el análisis de la información, herramientas para administrar el procesamiento de los datos y recursos para desplegar los modelos o código. Para lo cual es necesario un servicio que permita orquestar los principios de ML.

1.1 AI Platform

Es un servicio de GCP que nos habilita una suite de Machine Learning para la construcción, despliegue y entrenamiento de modelos. Permite escalar los modelos productivos, generar entrenamiento en batch distribuidos, colocar parámetros de tuning como hiperparámetros, regulaciones y más. Dispone de autoescalamiento sin preocuparse de la parte física.

1.2 Kubeflow

Entrega una plataforma de construcción de ML a partir de kubernets. Tiene propiedad de Cloud Native, puede trabajar en múltiples nubes, pero debe permitir la ejecución de los pipelines de forma escalable y adaptable a las necesidades que se tiene. Posee una arquitectura unificado que se integra con Dataflow y con las Apis de ML para el despliegue de modelos.

1.2.1 Pipelines de Kubeflow

· Orquestación de workflows de ML, básicamente entrenamiento y evaluación

· Compartir, Reusar y Dar la capacidad a otros equipos de trabajo

· Experimentación de los modelos de manera rápida

1.2.2 Componentes de Pipeline de Kubeflow

· Portabilidad, realizar tareas repetitivas y encapsulación como microservicios

· Especificación de una secuencia de pasos

· Establecer parámetros de entrada

Cada una de estas tareas se realizan en un script de Python

1.2.3 Topología de Kubeflow

En la Figura 1 se indica la topología del pipeline de Kubeflow, donde se observa cada flujo de trabajo que inicia desde el preprocesamiento de los datos y las capas de validación, seguido por las características de ingeniería en la que se incluyen algoritmos matemáticos.

En la figura se muestran 3 entrenamientos diferentes que son comparados con la data generada. Finalmente los modelos son colocados en producción y son desplegados en un endpoint.

Para visualizar sus tareas solo se debe dar clic sobre los nodos y se desplegara funciones o acciones como las que se muestran en la Figura 2.

1.3 AI Hub

Es un repositorio donde se alojan los asset de AI y son públicos, pero a la vez se puede dar de forma privada a cada institución.

Almacenamiento

AI Hub permite almacenar diferentes tipos de assets como:

· Kubeflow

· Jupyter notebook

· Modulos de Tensorflow

· Modelos entrenados

· Máquinas virtuales con imágenes ya generadas

En la Figura 3 se muestra la presentación al ingresar en AI Hub el cual, al desplegarse, puede ejecutarse en nuestro proyecto.

Autores:

  • Gabriel Guerra
  • Paulette Parra
  • Diego Paz
  • Pablo Zuñiga

Conoce más:

Registrate en el programa de Machine Learning AWS.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store