Cuando te encuentras con una brecha Sim2Real como esta, hay dos opciones. La opción fácil es introducir una nueva recompensa, diciéndole al robotic que no haga lo malo que esté haciendo. Pero el problema es que estas recompensas son un poco como cinta adhesiva pegada al robotic: poco elegantes y sin identificar las causas fundamentales. Se acumulan y nublan el objetivo authentic de la política con muchos otros términos. Conduce a una política que podría funcionar, pero que no es comprensible y se comporta de manera impredecible cuando se compone de nuevas recompensas.
La otra opción, más difícil, es dar un paso atrás y descubrir qué tienen las simulaciones que difieren de la realidad. Agility como empresa siempre se ha centrado en comprender la intuición física detrás de lo que hacemos. Así es como diseñamos nuestro robotic, desde los actuadores hasta el software program.
Nuestro enfoque de RL no es diferente. Queremos entender el por qué y usarlo para conducir el cómo. Así que comenzamos un viaje de seis meses para descubrir por qué nuestros dedos simulados no hacen lo mismo que los dedos reales.
Resulta que hay muchas razones. Hubo suposiciones simplificadoras en la geometría de colisión, imprecisiones en cómo se propaga la energía a través de nuestros actuadores y transmisiones, e inestabilidades en cómo se resuelven las limitaciones en nuestra cinemática de cadena cerrada única (formada por las bielas unidas a nuestras placas de los dedos de los pies y al tarso). Y hemos estado estudiando, arreglando y eliminando sistemáticamente estas brechas.
El resultado neto ha sido un gran paso adelante en nuestra pila de software program RL. En lugar de un montón de funciones de recompensa acumuladas sobre todo, desde «Deja de mover el pie» hasta «Párate más derecho», tenemos un puñado de recompensas en torno a cosas como el consumo de energía y la simetría que no sólo son más simples, sino que también siguen nuestras intuiciones básicas. sobre cómo debería moverse Digit.
Invertir tiempo para comprender por qué la simulación fue diferente nos ha enseñado mucho más sobre por qué queremos que Digit se mueva de cierta manera en primer lugar. Y lo más importante, junto con la rápida NVIDIA Isaac Sim, una aplicación de referencia creada en NVIDIA Omniverse para simular robots de prueba impulsados por IA, nos ha permitido explorar el impacto de diferentes características físicas que podríamos desear en futuras generaciones de Digit.
