Gambit Robotics が Claude でリアルタイム料理アシスタントを構築

Gambit Robotics は Claude を活用し、カメラ、サーマルセンサー、音声を組み合わせて、家庭の料理人にあらゆるレシピをリアルタイムでステップバイステップにコーチングする AI キッチンデバイスを開発しています。

Claude により、Gambit は以下を達成：

• パイプライン全体で約 97% 以上のレシピ解析成功率を達成
• コードの 90% を Claude Code で記述
• Claude を初めて統合してから数日以内に動作するプロトタイプを構築

より美味しく、より短時間で、よりストレスを少なく

‍料理は、つい過小評価しがちな日常のタスクの一つです。忙しく手を動かしてもレシピを追うのは難しく、複数の料理のタイミングを合わせるには相当な調整力が必要です。注意がそれた場合の結果は、焦げた夕食やコンロの消し忘れといった安全上の問題まで多岐にわたります。

Nicole Maffeo 氏と Eliot Horowitz 氏は、まさにこの課題に取り組むため、2025年1月に Gambit Robotics を設立しました。Maffeo 氏は金融、コンピュータビジョン、Google AI リサーチでの ML インフラの経験を持ち、Horowitz 氏は MongoDB（$MDB）の創設者兼元 CTO であり、Viam の CEO です。共同創業者たちがキッチンを選んだのは、人口統計、文化、所得レベルを横断する領域であり、モデルのトレーニングに適した環境であると同時に、ほぼすべての人にとって解決する価値のある問題だからです。

長期的には、家庭の未来はエンドツーエンドの調理が可能なロボットアームを含む、専門化された分散型ロボティクスにあると考えています。しかし、完全自動化は長期的なビジョンであり、拡張と支援に大きな短期的機会があると確信しています。「人々が主に求めているのは、料理をより簡単に、より早く、より良い結果を得るための支援であり、エンドツーエンドの自動化ではありません」と、Gambit Robotics 共同創業者の Maffeo 氏は述べています。Gambit にとっての成功とは、より短時間でより美味しい料理を実現することです。

Gambit が Claude を選んだ理由

Gambit は、コア製品に採用する AI モデルを選定する前に複数のモデルを評価しました。決め手となったのは、推論能力、コンテキスト、トーンでした。

料理には、部分的なカメラビュー、遮蔽物、温度変化、ユーザーが動作中に話すことなどが伴います。Gambit は、ハルシネーションや過度な修正をせずにその曖昧さを推論でき、調理セッション全体をメモリに保持できるモデルを必要としていました。「OCR は重要ですが、推論と拡張コンテキストはそれ以上に重要です」と Maffeo 氏は述べています。Claude は光学文字認識を使用して写真からレシピテキストを読み取ります（手書きのものを含む）が、真に際立つのはその後の処理です。「Claude の真の差別化要因は、長期的なコンテキストと自然な会話を維持しながら、複雑な現実世界の状況を推論する能力です」

また、Claude は Gambit がテストした他のモデルよりも 10～15% 多くのプロンプトルールに従い、応答時間も高速に維持しました。つまり、ハルシネーションによるステップが少なく、より一貫した出力が得られ、手動修正も少なくなりました。トーンも重要です。「Claude の応答は、ロボット的なチェックリストや冗長な解説者ではなく、隣にいる落ち着いた有能なスーシェフのような感覚です」と Maffeo 氏」は述べています。「AI が物理的な環境で人を案内するとき、その信頼感と明確さは極めて重要です」

Claude がリアルタイム料理ガイダンスを支える仕組み

Gambit のデバイスは、RGB カメラ、サーマルカメラ、マイクとスピーカーを備えたカスタムハードウェアプラットフォームを組み合わせています。Claude がこれらすべてを処理し、あらゆるソースからあらゆるレシピをリアルタイムでユーザーにガイドします。

典型的なセッションでの処理内容：

• Claude は写真、URL、音声入力からレシピを読み取り、材料、手順、時間、温度を抽出します
• レシピを準備手順、調理手順、タンパク質、ソース、付け合わせなどのコンポーネントに構造化します
• コンロ全体にわたるアクション（追加、かき混ぜ、裏返し、火力を下げる、取り出す）のリアルタイムタイムラインを構築します
• セッション全体を通じてフルコンテキストを維持します：レシピ、前のステップ、経過時間、ユーザーの好み、直前に起きたこと
• ビジョンとサーマルデータを使用してコンロを監視し、実際の状況に基づいてガイダンスを調整します
• 不明確な場合は、推測せずに一時停止するか質問します
• ユーザーが材料を変更したり、焼き加減の好みを変えたり、順番通りに進めなかった場合でも、Claude は最初からやり直すことなく計画を更新します

ユーザーは、刻んだ野菜などの準備作業をデバイスに見せることもでき、Claude は次のステップに進む準備ができているかどうかを評価します。時間の経過とともに、システムはユーザーの実際の調理方法に合わせてレシピをパーソナライズします。

Claude Code が Gambit の開発を加速する方法

Claude Code は Gambit のコードベースの 90% を記述しています。エンジニアリング作業の大半は複雑なステートフルロジックを含み、ワークストリーム間でコンテキストを正確に保つことが最も困難な部分です。チームは異なるチケットに対して複数のコンテキストウィンドウを並行して実行し、Claude はカスタムチェックとツールで出力をレビューしながら、各スレッドの一貫性を維持します。

「Claude Code は開発速度を飛躍的に向上させました」と Maffeo 氏は述べています。Plan モードは特に有用で、タスクに戻る際のコンテキスト再構築を支援し、立ち上がり時間を短縮し、機能のリリースやバグ修正を容易にしています。

そのスピードは早い段階から発揮されました。Gambit は Claude を統合してから数日以内に動作するプロトタイプを完成させました。「Claude により、アイデアから動作する機能へ驚くほど速く移行できました」と Maffeo 氏は述べています。「その反復速度により、テスト、調整、仮説の検証をほぼ即座に行うことができ、エンボディド・リアルタイムシステムを構築する上で極めて重要でした」

ユーザーとテスターの声

複数のプロトタイプで 6 か月間テストした結果、最も一貫したユーザーフィードバックは、Gambit のリアルタイムかつレシピ固有のガイダンスが他と一線を画しているという点でした。ユーザーが速く進めても、遅く進めても、順番通りでなくても、システムは自然に適応します。パーソナライゼーションと長期コンテキストを組み合わせることで、適応型料理ガイダンスの強力なエンジンとなっています。

Gambit の今後の展望

Gambit は既にシンプルなステップバイステップの指示を超え、タイミング、火力、調整をバックグラウンドで処理しながら、ユーザーと自然にやり取りしています。Claude のビジョン、コンテキストウィンドウ、速度が向上し続けるにつれて、そのバックグラウンドオーケストレーションはますますシームレスになり、Gambit はニーズを予測し、変化する条件に適応し、人々の実際の調理方法に同期し続けることができます。

「より優れたビジョンとより長いコンテキストウィンドウにより、その瞬間に何が起きているかだけでなく、ユーザーが時間をかけてどう料理するかも理解できるようになります」と Maffeo 氏は述べています。「速度の向上によりインタラクションがより自然に感じられ、Gambit はユーザーが調理する間、常に同期し続けられます」

Gambit は、ハードウェアを AI の次の大きな波と見ています。モデルがより安価で高性能になるにつれて、それを取り巻く物理的なデバイスの重要性が増しています。「現実世界で動作するハードウェアを構築するなら、不確実性の下で推論し、長期的なコンテキストを維持し、人間と明確にコミュニケーションできるモデルが必要です」と Maffeo 氏は述べています。「そこが Claude の際立つところです」

‍

‍