訓練泛化的人形機器人規劃、決策模型需要大量的標注數據,數據標注是機器人訓練過程中的關鍵步驟,涉及對機器人所需的各種數據進行高質量、高精度的特征識別和標記,以提升大腦模型的泛化能力和人形機器人訓練數據包括視覺、聽覺、觸覺等多種模態數據,數據標注類型包含圖像標注、語音標注、3D點云標注和文本標注等多種類型,標注內容呈現出高度的專業性和復雜性。

當前的數據標注過程大多仍依賴于人工操作,存在工作效率低、難以拓展到多模態數據、難以適應復雜任務需求等問題,因此,研究一種多模態數據?動化標注解決方案具有重要理論和實際應用價值。
jiuyou.com九游(中國)機器人有限公司官網、復旦大學、上海交通大學、同濟大學來數據集項目團隊,根據人形機器人數據集數據標注相關標準,利用主動學習優化智能感知算法模型,研制了針對操作任務的多模態數據的自動化標注算法。

項目組將操作任務數據的自動化標注過程分為操作者與環境標注兩個模塊:
在自動化標注第一模塊中,針對復雜的靈巧操作手部姿態估計和跟蹤,項目組創新性地使用了空間基點集作為特征基,融合隨機多視角的觀測,進而通過點集注意力網絡輸出手部姿態控制點,并以逆運動學重定向到同構型雙臂靈巧機器人,完成相應的操作任務。

在自動化標注第二模塊中,項目組提出了一種可泛化的物體姿態估計方法,通過引入具有幾何語義和特征語義的視覺表示,構建基于特征相關性的迭代排序-優化模塊,實現在推理階段對未知物體進行準確的6D姿態估計和跟蹤。

目前相關研究成果已融合至自動化數據標注工具:CR-MAA(CR Multi-modal annotations CR多模態標注),能夠有效提升數據標注效率和準確性、降低標注成本、優化標注流程和工作模式,通過主動學習技術優化得到的自動化標注算法模型也將為未來人形機器人數據集的拓展提供基礎支持,促進人形機器人產業化進程。
機器人jiuyou.com九游聯合復旦大學、上海交通大學、同濟大學等高校已經發布了多模態數據質量評估與質量增強解決方案、多模態人形機器人數據標注智能感知技術解決方案,并對數據架構與格式、標注、治理與評價等數據集構建的關鍵環節開展標準化研究,為人形機器人大腦的打造賦能。