トヨタ自動車様における Mixed Reality / HoloLens を活用した取り組みを発表！トヨタ販売店への HoloLens 2 展開を予定！

日本マイクロソフトは、昨日より、開発者をはじめとする、IT に携わるすべてのエンジニアの方を対象にテクニカル カンファレンス de:code 2019 を開催しています。

昨日の基調講演に登壇した、日本マイクロソフト 代表取締役 社長 平野 拓也から、Mixed Reality を活用したトヨタ自動車株式会社様の新たな取組みを発表させていただきましたので、本ブログでご紹介します。

日本マイクロソフト 代表取締役 社長 平野 拓也

トヨタ自動車様における Mixed Reality / HoloLens の活用

トヨタ自動車様では、Mixed Reality / HoloLens を活用した複数の取組みを検証されており、昨年11月には「塗装の膜厚検査での活用」と「試作工場の設備移設での活用」を発表されていますが、今回は、サービス技術部における「自動車の修理・点検業務での活用」が紹介されました。

自動車の修理・点検業務での活用

トヨタ自動車様では、現場のサービスエンジニア（整備士）の方々が自動車の整備作業を行う際に参照する、作業手順書・修理書という紙や Web のマニュアルが車種ごとに用意されています。これまでの紙の作業手順書・修理書は、自動車の車種ごとにあるため、数が多く物理的に場所をとる、作業手順書・修理書にイラストで記載された部品や配線図と実際の車の該当箇所を照合するのに時間を要する、作業手順書・修理書の2Dイラストでは内部の構造や、勘やコツが必要な脱着の方法などの表現に限界があり、結果として整備士にとって解りづらくなっている、といった課題がありました。

そこで、トヨタ自動車様では、Mixed Reality テクノロジーによって、従来の紙や Web の作業手順書・修理書を、3D の作業手順書・修理書として実現する検証を進めています。整備士は、HoloLens を装着し、作業を行う自動車の前に立ち、該当する車種の 3D の作業手順書・修理書を参照できるため、実際に作業を行う自動車の部位の上に 3D で作業手順が表示され直感的に理解しやすくなります。また、HoloLens を頭に装着するため、両手で作業を行いながら、デジタル情報にアクセスできます。これによって、作業の習熟度が高まり、新人や未経験の整備士でも短期間で質の高い作業が可能となります。さらに、整備士の作業技術レベルの標準化や作業品質の維持確保も見込まれています。

現在この 3D 作業手順書・修理書は、トヨタ自動車様が独自にアプリケーションを開発し社内で検証されていますが、2019年内には、HoloLens 2 を導入し、3D 作業手順書・修理書をトヨタ販売店へ順次展開することを予定されています。

Dynamics 365 Guides ＆ Azure AI テクノロジーの活用にむけた検証

トヨタ自動車様では、3D 作業手順書・修理書と同様の機能を実現し、HoloLens を通してステップ バイ ステップで作業手順を 3D で表示可能な Dynamics 365 Guides の活用に向けた検証を進められているほか、Azure AI を活用し、作業ミスや作業漏れを検出する機能の開発および検証をマイクロソフトと実施しています。通常は、数千枚におよぶ実車の写真を撮影し、作業ミスや作業漏れなどの判別のためのモデルをAIに学習させる必要がありますが、自動車の3D CAD データを活用し、CAD データから自動で学習モデルを生成する方法を検証し、大幅な時間短縮を実現されています。

日本マイクロソフトでは、Mixed Reality / Microsoft HoloLens および Dynamics 365 Guides、Azure AI などのテクノロジーを通して、引き続きより多くのお客様におけるデジタルトランスフォーメーションの推進に貢献してまいります。