robotics developer figure最近公開了一段演示視頻，展示了它的第一個人形機器人通過openai的生成式人工智能進行實時對話。figure表示，現在figure 01可以與人進行完整對話，能夠即時理解和回應人類互動。公司解釋稱，與openai的合作為其機器人帶來了高水平的視覺和語言智能，實現了“快速，低層次，靈巧的機器人行為”。
在視頻中，figure 01與其創作者的高級人工智能工程師corey lynch互動，lynch讓機器人在臨時廚房進行了幾項任務，包括識別蘋果，碟子和杯子。figure 01在lynch要求機器人給他一些東西吃的時候，將蘋果識別為食物。lynch然後讓figure 01將垃圾收集到籃子裡，同時向其提問，展示了機器人的多任務能力。
lynch在twitter上對figure 01項目進行了更詳細的解釋。他說，他們通過機器人的攝像頭攝取圖像，並通過設備上的麥克風捕獲的語音轉錄文本，將這些信息輸入openai訓練的大型多模型模型中。
lynch強調，figure 01的行為是學習的，以普通速度運行，並非遠程控制。他解釋說，figure 01被設計為簡潔地描述周圍環境，並且可以應用“常識”做出決策，例如推測碟子會放在架子上。它還可以將含糊的描述，例如饑餓，轉化為行動，比如提供一個蘋果，同時解釋其行為。
這次亮相在twitter上引起了熱烈的反響，許多人對figure 01的功能印象深刻，並且有不少人將其列為通往“奇點”的里程碑之一。
對於人工智能開發人員和研究人員來說，lynch提供了一些技術細節。他表示，所有行為都由神經網絡視覺運動變形器策略驅動，將像素直接映射到動作。這些網絡以10hz的速度輸入設備上的圖像，並以200hz生成24個dof動作（腕部姿勢和手指關節角度）。
figure 01的重要亮相正值政策制定者和全球領導人努力應對人工智能工具向主流社會的擴散。儘管大多數討論都集中在大型語言模型，如openai的chatgpt，google的gemini和anthropic的claude ai，但開發人員也在尋找方法，讓人工智能獲得具有人形身體的機器人外形。
figure ai和openai沒有立即回應decrypt對評論的請求。
加州大學柏克萊分校工業工程教授肯·戈德堡（ken goldberg）曾告訴decrypt：“一個是某種功利主義目標，這就是埃隆·馬斯克和其他人努力的目標。現在正在進行的很多工作，為什麼人們正在投資這些公司像figure這樣的公司，希望是這些東西可以工作並且是兼容的，尤其是在太空探索領域。”
除了figure之外，其他致力於將人工智能與機器人相結合的公司還有漢森機器人公司，他們在2016年推出了desdemona人工智能機器人。
figure ai的高級人工智能工程師corey lynch在twitter上表示：“就算是幾年前，我也會認為與一個人形機器人進行全面對話，同時規劃並執行自己完全學習過的行為，將是我們必須等待數十年才能見到的事情。顯然，很多事情已經發生了。”
由ryan ozawa編輯。
