機器人形態的全身視覺化自我建模

Project website: https://robot-morphology.cs.columbia.edu/

物理體的內部計算模型是機器人和動物計劃和控制其行動的基本能力。這些 "自我模型 "允許機器人考慮未來多種可能行動的結果，而不需要在物理現實中進行嘗試。最近在完全資料驅動的自我建模方面的進展使機器能夠直接從任務診斷的互動資料中學習自己的前向運動學。然而，前向運動學模型只能預測形態學的有限方面，如終端效應器的位置或關節和質量的速度。一個關鍵的挑戰是對整個形態學和運動學進行建模，而事先不知道形態學的哪些方面將與未來的任務有關。在這裡，我們提出，與其直接對前向運動學進行建模，不如採用一種更有用的自我建模形式，即以機器人的狀態為條件，回答空間佔用的查詢。這種查詢驅動的自我模型在空間域中是連續的，記憶效率高，完全可分，而且運動學上有意識。在物理實驗中，我們展示了視覺自我模型如何精確到工作空間的百分之一，使機器人能夠執行各種運動規劃和控制任務。視覺自我建模還可以使機器人檢測、定位並從現實世界的損害中恢復，從而提高機器的彈性。