メタの新しい極秘ロボティクスプロジェクトがついに公開！

3,746 文字

はい、メタいう会社ご存知ですよね。L3を開発して素晴らしい成果を上げた会社なんですけど、今回さらにすごいことを成し遂げはったんです。新しい研究成果を公開して、AGIを目指すという目標を支援してはるんですが、これを「Advanced Machine Intelligence」略してAMIと呼んでるんです。新しい部門がロボティクスに取り組むことになって、これがめっちゃ面白いんですわ。
私はマイクです。私はムスタファです。私たちはタッチ認識の研究をしております。メタのメタAIチームは、物理世界の理解と意味のある相互作用の能力において大きな前進を示すロボティクスとタッチ認識における最先端の開発成果を発表できることを嬉しく思います。
まずSPURについてご説明させていただきます。SPURは、どんなタッチセンサーやタスクにも対応できる初めての汎用タッチ表現システムです。これを実現するため、46万枚のタッチ画像を使って自己教師あり学習を行いました。ベンチマークテストでは、SPURはタスクやセンサー特有のモデルと比べて平均95%以上の性能向上を示しました。
SPURは視覚だけでは認識できない力や接触といった特性を測定できる事前学習済みのバックボーンを実現します。私たちの目標は、コミュニティが新しいアプリケーションに向けてこれらのモデルを構築・拡張できるようにすることです。
これは私たちをDIGIT 360へと導きました。これは人間レベルのタッチセンシング能力で世界を認識できる画期的なタッチセンサーです。オンデバイスAIを搭載し、人間や動物の反射機能にヒントを得た局所的な情報処理と意思決定を行います。針で突いたりテニスボールを曲げたりといった様々な入力に素早く反応できます。
人間の指のような性能を模倣し、多様なアプリケーションに革新的なソリューションを提供します。また、DIGIT 360はDIGIT PLEXUSと組み合わせています。これは人間の手のタッチ情報処理を模倣した具現化AIのために、ロボットのセンサー接続と相互作用を標準化するプラットフォームです。
最後に、業界をリードするGeliteとWanic Roboticsと提携し、このタッチセンシング技術の開発と商業化を進めています。私たちはコミュニティと協力してAIとロボティクスの進歩を推進したいと考えています。
ロボティクスを超えて、これらの進歩は物理世界とデジタル世界をより近づけることができます。ゲーム内でオブジェクトを拾ったり、オンラインショッピングで布地をスキャンしたりすることも想像できます。これは義肢の進歩にもつながる可能性があります。
私たちの希望は、活発なコミュニティを構築し、最終的に実世界でタッチセンシングを実用化することです。この研究は、タッチのデジタル化が何を意味するのかを理解する一歩近づいたと言えます。そして、その未来はもう手の届くところにあります。
これは実にファシナティングですね。というのも、主流のロボティクスで注目されていない分野に焦点を当てている企業を初めて見ることができたからです。ここで見られるのは、タッチ認識に焦点を当てている企業です。
一見するとそれほど重要には見えないかもしれません。産業規模での利用や応用がそれほどあるとは思えないかもしれませんが、これは私たちとロボティクスを全く新しい方法で結びつけるものの一つだと思います。
メタは常に多くの人が見過ごしている分野に焦点を当てていると私は言いたいです。このタッチ認識というのは本当にすごいことです。なぜなら、これによって次世代のロボティクスと人間の相互作用が可能になり、相互作用している対象を正確に理解できるようになるからです。
今日見られる多くのヒューマノイドは、確かに素晴らしい手を持っていて物に触れることはできますが、視覚システムを使用しない限り、実際に何に触れているのかを正確には理解できていません。このような触覚センサー領域があれば、人間の手のように、針で自分を刺したり、物を掴んだり、実際の物理世界と関わる際に重要な様々な感覚を感じ取ることができます。
ロボットアームが物を掴めるというのは素晴らしいことですが、どれくらい優しく扱うべきか、どれくらいの力を使うべきか、どれくらいの圧力や感度が必要か、あるいは例えば物がどれくらい熱いかを理解できなければ意味がありません。私たちは熱いものに触れたら即座に手を離しますが、ロボットはそうしますか？私はそれが現在組み込まれていないと思います。
メタが焦点を当てているのは凄いことです。AIに関する他の多くの分野と同様にこれにも焦点を当てており、私は本当にこれらのことにワクワクしています。
彼らのブログ記事で触れられていた一つのことで、メタがそんなことをしているとは知らなかったのですが、これは彼らがロボティクス部門を今までに見たことのないような方法で前進させようとしている兆候です。
動画の中で、彼らはいくつかの企業と提携すると話していて、その一つがPARTNERという企業でした。彼らは「知的なロボットと日常的な家事をこなせる高度なAIモデルのある未来に近づくにつれ、人間との相互作用を考慮することが重要です。そのため、私たちは人間とロボットの協力における計画と推論タスクのためのベンチマークを公開します。PARTNERは家庭での活動における人間とロボットの協力を研究するために設計されています」と述べています。
基本的に、彼らは実際の人間のパートナーと物理的なハードウェア上で社会的な具現化エージェントのトレーニングとテストを行うということです。ご存知の通り、ロボットのトレーニングは実際にはとても難しく、多くの場合シミュレーション環境で行います。
彼らはHabitat 3.0という、ロボットとヒューマノイドアバターの両方をサポートする非常にリアルなリアルタイムシミュレーターを使用します。これは家庭のような環境で人間とロボットの協力を可能にし、物理世界のシナリオをテストすることを目的としています。これは本当に素晴らしいことです。
Habitat 3.0は少し奇妙に思えるかもしれませんが、企業がこのようなシナリオに身を置く必要があるのは本質的なことです。なぜなら、ヒューマノイドロボットを大規模に展開する場合、これらのロボットが安全であることをテストし確認できるシステムが必要だからです。
これらの環境は基本的に実際の家庭に似ており、研究者たちはこのソフトウェアを使用して、実世界の主要な課題に取り組みながら、人間と同じ環境を移動し、相互作用し、支援できる具現化AIエージェントを研究することになります。これは私が本当に重要だと思うことです。
再度言いますが、メタがこの分野に参入し、人間のためのバーチャル環境でリアルな具現化エージェントを研究する分野に目を向けることは、その分野で進歩するために本当に不可欠なことになるでしょう。
この技術が可能にすることの一つに、義肢があります。多くの人は義肢のことを考えないかもしれません。なぜなら、私たちの大多数は障害を持っておらず、全ての四肢があり、健常者として幸運な立場にいるからです。
もちろん、不運にも義肢を使わなければならない人々にとって、最も役立つことの一つは、DIGIT 360を義肢に組み込むことでしょう。これにより、リアルな触覚を得ることができるからです。800万以上のタクセルで詳細な触覚情報を捉えるDIGIT 360は、これらの個人に微妙な触覚を提供できます。
これは義肢が圧力、質感、さらには物体の微細な輪郭に関する情報を直接使用者に伝えることができることを意味します。もちろん、温度検知機能も備えており、温度変化を感知・認識する能力は、安全性と温度感度を必要とするタスクの実行に不可欠です。
また、振動認識も可能で、振動を検知することで、機械の動作や手で表面をなぞった時の質感といった環境的な手がかりを解釈するのに役立ちます。そして、これは運動制御と器用さの向上をもたらします。
組み込まれたオンデバイスAIが感覚情報を処理し、リアルタイムで反応することで、人間のような即時の反応速度が可能になり、物体との相互作用時にグリップや動きを即座に調整できます。
これはまた、繊細な操作も可能にします。詳細な触覚フィードバックにより、小さな物を拾う、タイピングする、道具を扱うといった繊細なタスクを、これらの動きを正確にコントロールすることで実行する能力が向上します。
このように考えてみてください。現在、私たちは義肢やBCI（脳コンピュータインターフェース）においてそれほど驚くべき段階にはいませんが、BCIと組み合わされた時のことを想像してみてください。
DIGIT 360は神経信号を直接解釈し、神経系にセンサーフィードバックを提供することで、義肢のより自然なコントロールを可能にするでしょう。全体として、これは絶対に素晴らしいものになると思われ、これが義肢に組み込まれて個人のQOLが向上し、さらなる進歩が見られることを楽しみにしています。