この技術は合わせて、LiDARの取得データのみで、精度98.9％での物体認識を実現するとともに、耐環境性能および計測範囲の柔軟性を大幅に高めることに成功。これらは全て世界初の技術となり、LiDARのポテンシャルを大幅に向上するとしている。
- Advertisement -
近年、LiDARは自動運転としての用途に加え、カメラと併用して「空間のデジタルツイン」を構築し、空間上のあらゆるモビリティの自動化や、製造や物流ラインの全体最適化など、あらゆる産業の効率化につなげる取り組みが進められているが、カメラとLiDARの取得データの活用において、両データの空間的・時間的なずれによる認識精度の劣化が大きな課題となっているという。
東芝は、LiDARのみで得られる2次元データと3次元データを高精度に融合する「2D・3DフュージョンAI」を開発し、カメラを用いず物体を世界最高精度の98.9％で認識し、99.9％で追跡することに成功した。これにより、「空間のデジタルツイン」の構築において、従来必要だった大量のカメラの設置が不要になることも見込めるとしている。
さらに、「雨・霧除去アルゴリズム」を開発し、猛烈な雨・濃霧環境下での検知距離を2倍以上改善し、80mm/hの猛烈な雨環境で40mの距離計測ができることを確認したという。また、「計測範囲可変技術」により、従来技術に比べ計測距離を350mまで伸長しつつ、約6倍の画角で120mの計測距離を実現した。
- Advertisement -
開発のポイント
- 世界最高精度の99.9％で、車両や人といった物体を追跡
- LiDARの取得データのみで、世界最高精度の98.9％で物体を認識
- 雨・霧を除去するアルゴリズムの開発により、猛烈な雨や濃霧環境下での検知距離を2倍以上改善
- 計測範囲可変技術を開発し、従来技術に比べ計測距離を350mまで伸長、6倍の広画角化を実現
開発の背景
デジタルツインはシミュレーションの一種だが、従来のシミュレーションと異なり、実世界の変化にリアルタイムに連動することが大きな特長だ。例えば、機械の摩耗や破損などは、あらかじめ想定した条件のバーチャルモデルで行う従来のシミュレーションではリアルタイムに捉えることができなかったという。デジタルツインでは、センシング技術とAIを活用して実際に動いている生産ラインや設備などから膨大なデータをリアルタイムで収集することで、実世界で起こっている事象をバーチャル上に忠実に再現できる。
近年、このような特定の機械や製造ラインを再現する「設備のデジタルツイン」に加え、工場や都市空間全体を再現する「空間のデジタルツイン」のニーズが高まっている（図1）。
「空間のデジタルツイン」を構築し、空間上の物体の動きを把握することにより、あらゆるモビリティを自動化したり、工場・物流倉庫などでは全体最適を図ったりすることができるようになる。また、都市空間では、事故や渋滞に起因するトラブルの回避につなげることができるようになる（図2）。
「空間のデジタルツイン」の構築には、夜間、雨・霧といった悪天候の環境下でも広範囲・高精度で空間をセンシングしたり、高精度に物体を認識・追跡したりする技術が不可欠だ。これを実現する技術としてLiDARへの期待が高まっている。
東芝はこれまで主に、LiDARの自動運転やインフラ監視での活用を想定し、計測距離伸長や小型化に取り組んできていたが、従来はLiDARの測定データのみを用いてAIで物体を高精度に認識し、それを追跡することが困難だったという。物体を認識・追跡するために、カメラとLiDARを併用し、2次元データと3次元データを合わせて計測する手法がとられている。しかし、2種類のデータの空間的なずれを完全に排除することが難しく精度劣化の要因となっている。
- Advertisement -
また、雨・霧といった悪天候の環境下で精度が劣化したり、設置場所の制限により死角が発生したりするといった課題があったという。
同技術の特長
そこで東芝は、高精度な「空間のデジタルツイン」の構築に向け、カメラを用いずLiDARから取得するデータのみで物体の高精度な認識・追跡を実現する「2D・3DフュージョンAI」、LiDARの計測精度を劣化させる雨や霧による影響を最大限緩和できる「雨・霧除去アルゴリズム」、LiDARの距離と画角を設置場所に応じて自在に変更できる「計測範囲可変技術」を世界で初めて開発した。
2D・3DフュージョンAI
「2D・3DフュージョンAI」はカメラを用いずLiDARの取得データのみで、物体の高精度な認識・追跡を実現する。
物体の認識・追跡を実現するには、カメラとLiDARによるデータを用いて学習したAIモデルが使用されているが、AIモデルを適用するために、カメラとLiDARの画角とフレームレートを合わせ込み、空間的にも時間的にも精密に同期させる必要があるという（図3上）。
カメラとLiDARは物理的に設置場所にずれが生じるためずれを補正するのが一般的だが、補正誤差が生じたり、そもそも、振動など何等かの要因で画角やフレームレートが相対的にずれたりすることがあり、認識精度が大きく劣化してしまうことが課題となっている。
今回、東芝はLiDARのみで、2次元データ（輝度）と3次元データを取得できることに着目し、LiDARで得た2次元データと3次元データを融合（フュージョン）してAIを適用・学習することで物体を認識・追跡できる「2D・3DフュージョンAI」を開発した（図3下）。
2次元データと3次元データは、LiDARの同一の画素から同一のタイミングで読み込まれたデータのため、合わせ込みが不要で認識精度が劣化する懸念がないという。同AI技術により、カメラを用いず、照明のない夜間でも、車両や人といった物体を世界最高精度の98.9％で認識し、99.9％で追跡することに成功した（図4）。
雨・霧除去アルゴリズム
「雨・霧除去アルゴリズム」は、LiDARの計測精度を劣化させる雨や霧による影響を最大限緩和するもの。LiDARは赤外レーザーを用いるが、赤外光は水分に当たると吸収・散乱される性質があり、雨・霧・雪といった視界不良な屋外環境では計測精度が低下し、検知可能距離が短くなってしまう課題があったという。
LiDARメーカー各社は雨粒を含む物体からの複数の反射光の中から、計測対象物からの反射光のみを選択するマルチエコー機能を搭載しているが、雨や霧に埋もれてしまった計測対象物からの脆弱な反射光を抽出できず、計測精度の向上に向け、さらなる研究開発が求められていた。
東芝は、アナログデータをデジタルデータに変換するADコンバータによって、反射光強度のデジタル値を基に、水などの散乱粒子による反射光の特徴量から、雨・霧なのか、計測対象なのかを判別し、雨・霧と判断したらその波形ごと取り除くことで、雨・霧に埋もれてしまった脆弱な反射光を含めて計測対象物からの反射光を抽出するアルゴリズムを開発した（図5）。
同アルゴリズムを適用したLiDARを用いて、実環境を模擬した実験設備で検知可能距離を計測したところ、80mm/hの猛烈な雨環境においては20mから40m、視程40mの霧環境においては17mから35mと、従来の2倍以上に向上することを確認した（図6）。
計測範囲可変技術
「計測範囲可変技術」は、設置場所に応じて、LiDARの距離と画角によって決まる計測範囲を自在に変更することを可能にする。
東芝は昨年、71立方メートルまで小型化した投光器を2台用いることで、アイセーフ※の基準を満たしつつ、計測距離を1.5倍にし、広角性能の向上を実現するLiDAR技術を発表したが、今回、この投光器の台数と受光レンズの構成を変更することで、計測距離のさらなる伸長および6倍の広画角化に成功した。
※目に障害を与えないレーザー光強度を保つこと。国際電気標準会議などでレーザーの安全基準が決められている。レーザーの安全基準は、レーザー機器の出力、レーザー光線の波長などによる安全レベルに応じて7段階のクラス分けがなされており、例えば安全レベルが一番高いクラス1は「どのような光学系（レンズや望遠鏡）で集光しても、目に対して安全なレベル」で定義されており、別名「アイセーフ」と呼ばれる。
東芝は、画角60°（水平H）×34°（垂直V）において世界トップクラスである120mの計測距離（図7）と画角24°（水平H）×12°（垂直V）において世界最長計測距離である350m（図8）を達成した。
東芝によると、同技術により長距離計測が求められる道路や線路などのインフラ監視に加えて、広角性能が求められる工場や倉庫内のAGV（Automatic Guided Vehicle）自動運転など、空間のデジタルツインでの適用を拡大できるとしている。
これらの技術は、東芝のLiDARのポテンシャルを大幅に向上することができ、LiDARを用いた空間のデジタルツインの構築に大きく貢献するとしている。
今後の展望
東芝は、耐環境性能のさらなる研究開発を進め、ソリッドステート式LiDARの2025年度の実用化を目指す方針。モビリティの自動化や高精度なインフラ監視、空間のデジタルツインの構築など、LiDARの幅広い活用を想定し、インフラレジリエンスで安心・安全な社会の構築に貢献していくとしている。
