El equipo de investigación de inteligencia químico de Nvidia ha emprendedor DreamDojo, un maniquí mundial interactivo de código campechano para robótica.
Toma los controles del motor del androide y genera un futuro simulado en píxeles; no se requiere ningún motor, ni mallas, ni dinámicas escritas a mano. Jim Fan, director de IA y estudiado distinguido de Nvidia, lo llama “Simulación 2.0”.
DreamDojo aprende de videos humanos en zona de datos de robots
El formación de robots en el mundo verdadero se ve obstaculizado por el tiempo, el desgaste, la seguridad y los reinicios, explica Fan. DreamDojo intenta solucionar este problema aprendiendo primero de los humanos.
El maniquí está preentrenado con 44.000 horas de secuencias de vídeo humanas en primera persona sin ningún androide en el circuito. Las llamadas “acciones latentes”, una representación unificada inferida directamente de los videos, capturan lo que cambió entre los estados del mundo sin conocer el hardware subyacente, lo que permite que el maniquí se entrene en cualquier video en primera persona como si viniera con comandos de motor adjuntos.
En un segundo paso, el maniquí se entrena seguidamente en un androide específico para que se ajuste a su hardware. Fan lo describe como una separación de “cómo se ve y se comporta el mundo” de “cómo actúa este androide en particular”. El maniquí colchoneta aprende reglas físicas generales y luego se adapta a la mecánica única del androide.
Una interpretación en tiempo verdadero de DreamDojo se ejecuta a 10 cuadros por segundo, estable durante más de un minuto de implementación continua. Admite teleoperación de sinceridad posible en vivo adentro del sueño, evaluación de políticas en el simulador neuronal y planificación basada en modelos, todo adentro del maniquí mundial.
Según Fan, todos los pesos, el código, el conjunto de datos posterior al entrenamiento, el conjunto de evaluación y el documento técnico están disponibles abiertamente. DreamDojo se pedestal en Nvidia Cosmos, que asimismo es de peso campechano. Más detalles están en el pagina del proyecto y en el papel.
Noticiario de IA sin exageraciones: curadas por humanos
como un EL suscriptor DECODIFICADORobtienes lección sin publicidad, nuestra boletín semanal de IAla monopolio Noticia Frontier “AI Radar” 6 veces por añocamino a comentarios y a nuestra archivo completo.
Suscríbete ahora
About The Author
