竹中工務店とセンシンロボティクス、「3D都市モデルとBIMを活用したドローン自律運行システム」のロバスト性を向上させた実証実験を実施

実証実験の概要

都市部における建設工事では資材運搬等による交通渋滞が発生するため、自律運航可能なドローン等の活用が期待されている。一方で、GPSを利用したドローンの自律運航はGPS受信状況によっては安全性に課題が生じることから、環境地図の利用による汎用的な位置測位技術の確立など、ロバスト性（頑強性）のある自律運航システムの開発が求められている。

今回の実証実験では、2022年度に「3D都市モデルとBIMを活用したモビリティ自律運行システム」として開発した、3D都市モデルとBIMの統合マップを利用したLiDAR SLAMとGPS測位の統合自己位置測位システムの課題を克服するため、ビジュアルイナーシャルオドメトリ（カメラと慣性計測装置を用いた経路推定手法）技術を組み合わせることで、飛行の安定性をさらに高めたロバストな自律運航システムの開発を目指した。

実現したい価値・目指す世界

都市部における建設工事では、建設工事の資材運搬等によって発生する交通渋滞の問題や、様々な大きさ・重量の資材を屋外・屋内へ移動させる「ラストワンマイル」を効率化することの難しさが課題として挙げられている。

これらの課題は、工事自体の遅延を引き起こすだけではなく、対象区画で通行止めの必要を生じさせるなど、近隣住民の生活や都市機能にも影響を及ぼす。

このため、自律運航型ドローンを資材運搬等に活用する方法が研究されているが、GPSによる位置測位の不安定性や、SLAM技術のコストの高さや精度の不足など、都市部における正確で安全な飛行の実現のための課題は多い。

2022年度に「3D都市モデルとBIMを活用したモビリティ自律運行システム」では、3D都市モデルBIMを統合したマップを点群化し、これを用いたLiDAR SLAMによる自己位置測位とGPS測位の結果を統合することで、高精度、低コスト、スケーラブルな屋内外でのドローンの自律運航システムを開発した。

このシステムを用いた実証により、統合マップを用いた屋外から屋内へのドローンの自律運航が可能なことが確認され、一定の成果を得た。一方で、LiDAR SLAMの性質上、均一な特徴点を持つ建築物（例えば、同じ形状の窓が並ぶ高層ビルなど）を垂直方向に長距離移動する場合などは、LiDAR SLAMが特徴点をとらえられず、飛行精度が低下するという課題を残した。

今回の実証実験では、昨年度のシステムを基礎として、「ビジュアルイナーシャルオドメトリ」（連続的に取得されたカメラ画像の変化を捉えることでドローンの移動量を算出する技術）を用いた自己位置測位システムを追加する改修を加えた。これにより、統合マップを用いたLiDAR SLAM、GPS測位に3つ目の新たな自己位置測位情報を加え、これらを最適に統合する処理を行うことで、それぞれの不得意な領域を補い合う統合的な自己位置測位システムを検証した。

本システムを用いることで、都市部の屋外空間、屋内空間、建築物に沿った垂直空間など、特徴の異なる空間をシームレスに移動可能な自律運航型ドローンシステムのフィジビリティスタディを行う。高精度で安定的なドローン自律運航システムを実現することで、新たなモビリティサービスとしてのドローンの社会実装を目指すとしている。

検証や実証に用いた方法・データ・技術・機材

今回の実証実験では、ドローン自律運航システムのロバスト性の更なる向上を目的としてLiDARとGNSS（衛星測位システム）による自己位置推定に加え、新たにビジュアルイナーシャルオドメトリによる自己位置測位を活用した自己位置推定システムを構築した。

このシステムでは、建築物モデル（LOD2）とBIMモデルを統合した屋内外の3Dマップを環境地図として用い、自己位置推定を行う。

また、ルート設計とドローン監視のためのGCSとして、センシンロボティクス社製のGCSアプリ「SENSYN CORE Pilot」を活用した。SENSYN CORE Pilotを用いることで、ユーザビリティを向上させ、運航経路の計画やドローンへの飛行指示をより簡易に入力・実行できる仕組みとした。

これら二つのサブシステムを統合し、ドローン自律運航システムとして構築。

本システムのハードウェア構成としては、ドローンはDJI社製「DJI Matrice 300 RTK」を使用し、ビジュアルイナーシャルオドメトリに利用するカメラはドローン内蔵のFPVカメラを用いた。また、これに搭載するLiDARはOuster社製「OS0-64」を、自己位置推定処理を行うエッジコンピューターはAAEON社製「PICO-WHU4W2-A11-0004」を使用した。

「自己位置推定システム」は、ドローンの飛行状況に応じて複数の自己位置測位情報を統合又は利用する自己位置測位情報を切り替える機能を持つ。LiDARとGNSSを用いた機能（FUSION）は昨年度の開発により実装済みのため、今年度の開発では、これにビジュアルイナーシャルオドメトリを用いた自己位置測位情報を付加する開発をした。

ビジュアルイナーシャルオドメトリとは、カメラで撮像（データを活用/記録するために画像を取得すること）した画像とIMUの変位からドローンや移動ロボットの姿勢および移動量を算出する技術だ。

この技術を用いることで、GNSSが利用できない環境下で、LiDARが不得手である均一な特徴点を持つコース（例えば、同じ構造が連続する高層ビルの壁面を垂直方法に移動するケースなど）において自己位置推定の精度を向上させることができる。

今回の実証実験では、ドローン本体の内蔵型前方カメラを用いて1秒間に30枚の画像を撮像し、限られたドローン内のリソースでもリアルタイムな処理が可能なFASTアルゴリズムを利用することで撮像した画像の特徴点の変化を移動量に変換した。

※画像中から特徴点を検出するアルゴリズムであり、特徴点を検出する際に、画像を細かいエリアに分割し、エリアの処理の必要性を４つのピクセルのデータから先行して判断することで、画像全体の処理を高速に行う

FUSIONによってビジュアルイナーシャルオドメトリから取得した移動量、GPS・LiDAR自己位置推定からの位置情報、IMUからの加速度・角速度など各センサーデータによる運動モデル全体の予測を繰り返すことにより測位情報が統合され、各センサー単体よりもロバストで正確な自己位置推定を行うことが可能になる。

これらの処理はドローンに搭載されたエッジコンピューター上で行われ、その結果はROSメッセージを用いて送信される。このため、機体側にUSB接続のLTEドングルを通信デバイスとして搭載した。

システム全体の構築にあたってはロボット・アプリケーションの作成支援のためのライブラリ・ツール群であるROSを利用している。

LiDARとGNSSにビジュアルイナーシャルオドメトリを利用した測位情報を加えることで、それぞれ不得意な領域を補い合うロバストな自己位置測位システムを構築した。

GCSアプリ「SENSYN CORE Pilot」は、ドローンの飛行ルートの設定と、飛行中のドローン位置の表示や飛行指示を行うためのオペレーティングツールであり、直感的なドローン運航が目的だ。

本システムでは、「自己位置推定システム」から取得した自己位置測位情報を「SENSYN CORE Pilot」上でリアルタイムに表示しオペレーターの飛行操作を支援するため、地形データ切替え機能、PLATEAU-Terrain対応機能、ROSメッセージ双方向変換機能、非常停止機能を開発。「SENSYN CORE Pilot」とドローンの双方向の通信システムを確立した。

ドローンの自律飛行（自己位置推定）に用いる3Dマップとしては、大阪府堺市堺区の3D都市モデルの建築物モデル（LOD2）に堺市役所立体駐車場のBIMを「FMEを用いたIFCからCityGMLへの変換フォーマット」で変換した建築物モデル（LOD4）をマージし一つのCityGMLファイルにし、Trimeshライブラリを用いCityGMLの表面をサンプリングすることで点群を生成。

また、ドローンの経路計画およびドローン飛行中の機体位置の表示に用いる3Dマップのうち、大阪府堺市堺区の3D都市モデルの建築物モデル（LOD2）は「PLATEAU配信サービス」を利用し、堺市役所立体駐車場の建築物モデル（LOD4）はCesium ionを利用することで、Cesium ion地図上に建築物モデルをそれぞれ表示しドローン経路計画等に利用した。

検証で得られたデータ・結果・課題

本実証実験では、大阪府堺市堺区にて高層建築物が建ち並ぶ堺市役所・堺地方合同庁舎および両建築物間の公道でドローン自律飛行を行った。飛行ルートは、堺地方合同庁舎の屋外（駐車場敷地内）から離陸し、堺市役所敷地内の建物の屋内に着陸するように設計された最大高度約70mの経路である。

飛行のスタートからゴールまでの間に複数のウェイポイントを設定することで飛行ルートを作成した。LiDAR 測位、GNSS（衛星測位システム）及びビジュアルイナーシャルオドメトリで得られる自己位置測位のデータを統合又は切り替えながら3D都市モデルを利用した屋外の飛行とBIMモデルを利用した屋内の飛行を連続的に行うルートを設定した。

特に飛行ルートの中に約70ｍの建物（堺地方合同庁舎）の壁面を含めることで、LiDARでの自己位置推定のみでは特徴点を捉えることが難しい高高度かつ均一な特徴点を持つ建築物に沿った垂直移動におけるロバスト性を検証した。本実証実験の結果、屋外の離陸地点から屋内の着陸地点までシームレスに自律飛行を達成できた。

また、ビジュアルイナーシャルオドメトリ（VIO）の追加開発による、高高度かつ均一な特徴点を持つ建築物に沿った垂直移動におけるロバスト性の検証は、RTK-GNSSが取得できない状態のドローンを該当建物に沿って垂直に約65mまで上昇する飛行ルートで自律飛行を行った。

具体的には、建築物の壁面を連続で撮像し取得された画像の変化をドローンの移動量に変換して自己位置測位を行うことで、LiDARのみでは特徴点を捉えることが難しい条件下においても十分な精度で飛行ができていることを確認した。

そして、これらのシステムのUIの検証として、実際のルート設計方法や飛行シミュレーションを昨年度のシステムと今回開発したシステムで比較し、有用性検証に対するヒアリングをドローンのルート作成や飛行オペレーションを実施する事業者に対して行った。

3D都市モデルを使用したドローンの経路計画の作成や、実際の飛行オペレーションの仕様を改修した部分については、UI上で実際の飛行エリアを3Dで可視化しながらルート作成やドローン操作を行える部分ついて利便性の高さを評価する結果を得られた。

一方で、都市部でのビルが立ち並ぶエリアのルート設計では、ビル外壁からの距離と地上からの高さを3Dマップ上で意図した位置に指定することへの難しさが判明した。そのため、3Dマップ上での設定だけではなく、飛行する位置や高さなどは手入力可能なパラメーターを併用し、飛行する場所応じて簡易にルート設計が出来ると更なる利便性に繋がることが確認できた。

参加ユーザーからのコメント

ユーザーヒアリングに参加したドローン事業者からのコメント

• ・昨年度のRvizを使用したユーザーインターフェースと比較して、SENSYN CORE Pilotはドローンの飛行ルート設計や飛行中の操作を直感的に行うことができる
• ・SENSYN CORE Pilot上でPLATEAUモデルを表示させて地図上から直接ドローンルートを作成できるため利便性が高く、飛行までの工数短縮にもつながる
• ・ビルが立ち並ぶ空間では、ビルとビル間且つ地上からの高さを意図した場所にウェイポイントを追加する際に慣れが必要だった

今後の展望

本システムでは、昨年度開発した自己位置測位システムにビジュアルイナーシャルオドメトリを利用した測位情報を加えることで、それぞれ不得意な領域を補い合う統合的な自己位置測位システムを構築した。

また、利用者目線で使いやすいGUI を目指し、ドローンの飛行ルートの設定や飛行指示、機体位置を可視化するシステムである「SENSYN CORE Pilot」を開発することで、より直感的なオペレーションを実現できたという。

さらなる実用化に向けては、GUIの更なる利便性向上はもとより、都市部における運用を想定し、開始地点から終着地点まで航空輸送と陸上輸送を併用した自律運搬モビリティサービスが想定され、自動運転車両等との連携も必要になる。

それにより、例えば都市部における建設工事の資材運搬等による交通渋滞が発生する課題や人手不足などの問題に対して自律運航可能なドローンや無人搬送車両の活用による解決が期待できるという。

将来的には、3D都市モデルとBIMを統合したマップを用いた陸空モビリティのオペレーションシステムを開発することで、GPSが入りにくい環境下である都市部や屋外・屋内のシームレスな自律運行や、有人地帯でのドローンの正確で安全な飛行を目指すとしている。

▶︎竹中工務店

▶︎センシンロボティクス