Un nuevo método de aprendizaje profundo puede crear objetos realistas para entornos virtuales que se pueden utilizar para entrenar robots. Los investigadores utilizaron la supercomputadora Maverick2 de TACC para el entrenamiento y logró producir nubes de puntos de colores con detalles finos en múltiples resoluciones.
Para navegar en entornos construidos, los robots deben poder detectar y tomar decisiones sobre cómo interactuar con su ubicación.
Años atrás, William Beksi profesor asistente en el Departamento de Ciencias de la Computación e Ingeniería, desde su laboratorio de Visión Robótica, realizó unas pruebas en iRobot, el mayor productor mundial de robots de consumo (principalmente a través de su aspiradora robótica Roomba). Su intención era utilizar la máquina y el aprendizaje profundo para entrenar a los robots de la compañía para que aprendieran sobre los objetos, pero hacerlo requería un gran conjunto de datos de imágenes.
De las millones de imágenes, ninguna fue tomada por un robot aspiradora, así que los esfuerzos para entrenar usando imágenes con perspectivas centradas en el ser humano fracasaron.
Ahora Beksi, se centró en la visión por computadora y los sistemas ciberfísicos.
“En particular, estoy interesado en desarrollar algoritmos que permitan a las máquinas aprender de sus interacciones con el mundo físico y adquirir de manera autónoma las habilidades necesarias para ejecutar tareas de alto nivel”, dijo.
Esta vez exploró la solución no manual, de enseñar a los robots con aprendizaje profundo, específicamente con el método de redes generativas adversarias, o GAN. Una vez entrenada esta red, la misma permitiría la creación de un número infinito de posibles habitaciones o entornos al aire libre, con diferentes tipos de mobiliario interior y de jardín que pudieran ser objetos identificables con dimensiones y características reconocibles para personas y robots.
“Puede perturbar estos objetos, moverlos a nuevas posiciones, usar diferentes luces, colores y texturas, y luego convertirlos en una imagen de entrenamiento que podría usarse en un conjunto de datos”, explicó. “Este enfoque proporcionaría potencialmente datos ilimitados para entrenar a un robot”.
“Diseñar manualmente estos objetos requeriría una gran cantidad de recursos y horas de trabajo humano, mientras que, si se entrena adecuadamente, las redes generativas pueden fabricarlos en segundos”, dijo Mohammad Samiul Arshad, un estudiante graduado del grupo de Beksi involucrado en la investigación.
Los investigadores dieron un paso atrás al darse cuenta de que el alcance era muy ambicioso, así que comenzaron a generar objetos simples en entornos.
Así Beksi y Arshad presentaron PCGAN, la primera red adversarial generativa condicional para generar densas nubes de puntos de colores en un modo no supervisado, en la Conferencia Internacional sobre Visión 3D (3DV) en noviembre de 2020.
La red creada por los investigadores es capaz de aprender un conjunto de entrenamiento, tomando algunos aspectos de ShapeNetCore, una base de datos de modelos CAD) e imitar una distribución de datos 3D para producir nubes de puntos coloreadas con detalles finos en múltiples resoluciones.
“Hubo algún trabajo que podría generar objetos sintéticos a partir de estos conjuntos de datos de modelos CAD”, dijo. “Pero nadie todavía podía manejar el color”.
Con la herramienta, los investigadores pudieron acceder a un número casi infinito de variaciones de sillas, mesas, sofás, aviones y motocicletas.
“Nuestro modelo primero aprende la estructura básica de un objeto a bajas resoluciones y gradualmente se construye hacia detalles de alto nivel”, explicó. “La relación entre las partes del objeto y sus colores (por ejemplo, las patas de la silla o la mesa son del mismo color mientras que el asiento o la parte superior contrastan) también se aprende a través de la red. Estamos comenzando con algo pequeño, trabajando con objetos y construir una jerarquía para generar una escena sintética completa que sería extremadamente útil para la robótica”.
Generaron 5.000 muestras aleatorias para cada clase y realizaron diferentes evaluaciones. Según los resultados, PCGAN es capaz de sintetizar nubes de puntos de alta calidad para una variedad dispar de clases de objetos.