ABC株式会社は、映像からAIに判断させてデバイスを制御する VLM（Vision Language Model）技術を活用した、自動いちご自動受粉・収穫ロボットの研究開発プロジェクトを開始しました。
本プロジェクトでは、Tenstorrent社のAIアクセラレータ「Blackhole p100a」を用いてAI部分をローカルLLMで動作させる安価なハードウェア構成を採用し、2028年までにAI農業ロボットの量産体制構築を目指す。
背景：ゲームで培った「映像→AI判断→操作」を農業へ応用
ABCは、AIがレトロゲームをプレイするeスポーツ事業「Prompt League X」において、ゲーム映像からAIに状況を認識させ、コントローラーを操作する「ビジョン部分（映像からのAI制御）」の開発を担当している。
この取り組みで構築した「ゲームの映像入力 → AIによる理解・判断 → ゲームのコントローラー操作」というパイプラインを、次のステップとして現実世界のロボットアームに適用し、いちごの自動受粉・自動収穫へ展開する。
プロジェクト概要：VLM基盤「Cultiva」とロボットアーム
本プロジェクトの中心となるのが、自社開発した、映像からのAI認知とLLM制御を統合した VLM 基盤「Cultiva」である。もともとはいちごハウス内をドローン撮影し、うどんこ病などの病気の検出と出荷時期の予想のために開発されたソフトウェアである。
このソフトウェアを活用し以下のような技術を研究している。
- ロボットアームに搭載したカメラで、いちごや花の映像を取得
- VLM/LLM が、果実・花の認識、成熟度や受粉状況の判断を実施
- 判断結果に基づいて、ロボットアームの軌道や把持動作を自動生成
現在は、比較的安価な市販ロボットアームを用いたPoC（実証実験）を進めており、収穫動作の安定性や再現性を検証している。
コンピューティング基盤：Blackhole p100aによるローカルLLMを使用してAI認知・制御部分は、クラウドではなく現場側で完結するローカル実行を前提としている。
Tenstorrent社のAIアクセラレータ「Blackhole p100a」を用いることで、
- LLM/VLM をローカルで実行し、通信に依存しない動作を実現
- 現場の映像データを外部クラウドへ送信せずに処理
- 量産時のハードウェアコストを意識した構成を検討
といった、量産を見据えた安価かつ実運用向きのアーキテクチャを採用し、AIソフトウェアとハードウェアを一体として設計することで、安価かつ再現性の高いAI農業ロボットの量産を実現していく。
今後の協業方針
今後ABCは、以下のようなパートナーとの協業を順次進めていく。
- ロボットアーム・エンドエフェクタメーカー
- カメラ・センサーメーカー
- 農業分野での実証フィールドを持つ事業者
