Mixed Reality をカタチに: Alexandros Sigaras 氏と Sophia Roshal 氏へのインタビュー
※本ブログは、米国時間 9/13 に公開された ”Making mixed reality: a conversation with Alexandros Sigaras and Sophia Roshal” の抄訳です。
がん研究にMixed Reality (複合現実) を活用するチームにお話を伺いました
医療ネットワーク データを分析する Olivier Elemento 博士 (左) と博士課程の学生の Neil Madhukar 氏、Katie Gayvert 氏 (写真提供: Englander Institute for Precision Medicine)
このブログ シリーズ「Making mixed reality」では、Windows Mixed Reality (英語) を利用してアプリやエクスペリエンスを生み出しているコミュニティを特集しています。毎回、開発者、デザイナー、アーティストをはじめ、さまざまな職種の人々から、取り組みに至った経緯、動機、役立つヒントなどを伺います。このブログ シリーズがコミュニティ参加 (英語) のきっかけとなり、皆様の開発のお役に立つことができれば幸いです。
Alexandros Sigaras 氏と Sophia Roshal 氏へのインタビューは、Mixed Realityというテーマにふさわしく、デジタルなやり取りと対談を交えたものになりました。ワイル・コーネル大学医学部 (WCM) の上級研究教授である Sigaras 氏と、WCM のソフトウェア エンジニアを務める Roshal 氏は、Microsoft HoloLens アプリケーションのプロトタイプを作成したメンバーであり、Englander Institute for Precision Medicine の「Cancer Moonshot (英語)」プロジェクトを立ち上げた人物でもあります。Cancer Moonshot とは、がん研究の向上と迅速化、データを利用した共同研究の促進、医療を受ける機会の拡大を目指す米国の国家プロジェクトです。両氏とは、もともとツイートやメールで頻繁にやり取りをしていましたが、両氏がデモを行う機会に、直接インタビューすることができました。現在、Holo Graph (英語) というアプリが Windows ストアで公開されています。これは、研究者が独自のネットワーク データを現実世界で再現し、同じ部屋にいる相手だけでなく地球の裏側にいる相手とも、リアルタイムで調査、操作、共同作業を行えるというものです。
今回は、このチームの原動力、そして Windows Mixed Reality でビッグ データを簡単に活用する方法を 2 人に伺いました。
医療データのグラフを眺める Sophia Roshal 氏 (写真提供: Englander Institute for Precision Medicine)
なぜ HoloLens と Windows Mixed Reality を選んだのですか。
Roshal 氏: HoloLens を使用することは、とても理にかなっていました。通常、PC では何度もウィンドウを切り替えながら作業しますが、HoloLens なら、すべての作業を 1 か所で済ませることができます。指で操作でき、マウスを使用する必要はありません。ごく自然な動作で扱えるところがすばらしいです。
私がMixed Realityに携わるうえで最高の瞬間だと思うのは、Mixed Realityを初めて体験する人たちの様子を目にするときです。だれもが現実世界にホログラムがミックスされていることに驚き、今後どんなことが可能になるのか期待を膨らませます。Mixed Realityの最大の魅力は、無限の可能性です。ゲームから医療研究まで、Mixed Realityは幅広い活用できる余地が大いにあります。
Sigaras 氏: 熱心な開発者に HoloLens を紹介するたびに、必ずと言っていいほど、2D の画面にはない HoloLens のメリットは何か、これがどのように変革をもたらすのかといった質問が飛んできます。ポイントは、点と点をつなげるようなシンプルさでしょう。ホログラムで解析できる質の高いデータは、人間の脳内で整理して処理できるデータの量をはるかに上回っています。そして最大のメリットは、具現化して共同で作業を行えることです。マウスとキーボードも便利だけれども、スマートフォンのタッチ スクリーンの方がユーザー インターフェイスとして優れているというのと同じ感覚です。私たちにとって HoloLens は、さらなる高みへと進むためのテクノロジという位置付けです。具現化することで、データを実際に目で見ながら操作できるため、脳内でデータを結び付けるという困難な作業が解消されます。
Using @Hololens for realtime collaborative & interactive visualization on metabolomic networks @RoshalSophia @ElementoLab @ksuhre pic.twitter.com/JP60UH8Wrs
— Alex Sigaras (@AlexSigaras) August 14, 2017
@Hololens を使用して、メタボロミクス ネットワーク上でのリアルタイムの共同作業とインタラクティブな視覚化を実現
どんな人が Holo Graph を使用していますか。
Sigaras 氏: 主に Holo Graph のエンド ユーザーは、計算生物学者、臨床医師、腫瘍学者です。「ビッグ データ」を平面的に調査するのではなく、データを 3D 構造で見ることで、専門分野に関して多面的に調査や研究を行うことができます。現在 Holo Graph には 2 つのシナリオがあります。1 つはがん研究とゲノミクス、もう 1 つはメタボロミクスです。
がん研究における目的は創薬で、特定の薬と特定の遺伝子との関連性の研究に活用されています。このアプリでは、関連情報を網羅するネットワークをアップロードして、情報を検索したり、データの調査観点を変更したりできます。薬のホログラムをクリックすると、米国食品医薬品局 (FDA) が提供する薬の最新情報が表示され、API ツールとして使用できます。また、遺伝子をクリックすると、遺伝子データベースでその特定の遺伝子に関する情報を検索できます。
もう 1 つのユース ケースであるメタボロミクスには、ワイル・コーネル大学医学部カタール校の Karsten Suhre 博士が携わっています。Karsten Suhre 博士は、代謝物質 (メタボライト)、遺伝子、クローン病や糖尿病などの疾患における関連性を特定した人物で、Holo Graph を使用して、ネットワーク内にある想定外のパスを検索して特定することに成功しています。最近公開された動画 (英語) では、クローン病に関するネットワークをチームと共有して操作できるようにし、他の疾患との未知の関連性を特定する取り組みを紹介しています。
Holo Graph チームを構成するワイル・コーネル大学医学部の Englander Institute for Precision Medicine とワイル・コーネル大学医学部カタール校のメンバー。左から Sophia Roshal 氏、Karsten Suhre 博士、Olivier Elemento 博士、Andrea Sboner 博士、Alexandros Sigaras 氏 (写真提供: Englander Institute for Precision Medicine)
いつから Windows Mixed Reality の開発と設計を始めましたか。これから開発を始める人にお勧めの情報はありますか。
Sigaras 氏: 私がプラットフォームに興味を持ったのは約 2 年前のことです。運よく最初期に発売された HoloLens デバイスを入手できたのです。交流会やオンライン フォーラムでも、さまざまな専門家の皆様が快く開発を支援し、経験を共有してくれます。無駄な「車輪の再発明」の必要もありません。実際に、驚くほど多くの課題が既に解決されているのです。私は、まず Windows ストアで Holo Graph をダウンロードして試してみることをお勧めします。質問があればコミュニティ (英語) で聞くのが一番です。
Roshal 氏: 私が特に影響を受けたのは Fragments というゲーム作品です。バーチャルのキャラクターが現実世界のいすに座っているところからヒントを得て、最近 Holo Graph にも同じように動くアバターを追加しましたが、その見事な完成度に感動しました。このアバターは人間の動きを模倣します。HoloLens では頭部のみを参照するので、床を特定するために空間マッピング (英語) を使用しました。平面を特定する MixedRealityToolkit スクリプト (英語) を使用すると、最も低い場所にある平面が床として認識されます。その後、床から頭部までの高さを計算し、それを基準にしてアバターをマッピングします。
Sigaras 氏: この機能については、アバターに関するチュートリアル Holograms 240 (英語) と、デバイス間の共有に関するチュートリアル Mixed Reality 250 (英語) でさらに詳しく説明しています。
Roshal 氏: これからアプリ開発を始めるなら、Mixed Reality Academy (英語) を利用するととても簡単です。私も MixedRealityToolkit (英語) をよく使用しています。私の場合は、ほとんど自分でスクリプトを作成してしまいますが、初心者の方にはこちらをぜひお勧めします。
あなたを突き動かすものは何ですか
Roshal 氏: 患者さんの命にかかわっているということです。自分が開発したコードががんと闘う人の役に立っていると思うと、心から嬉しくなります。Englander Institute for Precision Medicine では、最先端のテクノロジを駆使して膨大な量のデータを調査し、医療チームと患者さんにより良い治療の選択肢を提供しています。AI や HoloLens デバイスの持つ可能性は、まだ少しだけしか見えていません。近い将来、秘められた可能性が続々と現実のものになることを楽しみにしています。
Sigaras 氏: そして、それを可能にするのは私たち人間です。人の命を救うのは医師であり、ヘッドセットではありません。複合現実は、医師がパターンを特定し目的を達成するのをサポートする役割を果たします。「判断を左右するような重大な情報があるか」「意思決定や対応を迅速化できる方法があるか」「他に利用できるデータがあるか」といった問いに対して、HoloLens を活用することで「はい、ここにあります。手に取るようにわかります」と答えられるようになるのです。臨床医師は毎日のように、何百ページにも上るゲノミクス分野の報告書に目を通しています。しかし、今後はその必要はありません。HoloLens は、報告書のレビューにかかる時間を大幅に短縮し、当研究所で行っているように AI、機械学習、ディープ ラーニングといった他のツールと組み合わせることで、私たちの仕事を大きく変えることができます。
Holo Graph は研究者がネットワークのパターンを特定するうえで役立つ (写真提供: Englander Institute for Precision Medicine)
どのようにアプリケーションにデータを取り込むのですか。HoloLens でデータの視覚化を検討している人へのアドバイスはありますか。
Roshal 氏: アプリケーションに動的データを読み込ませるには、OneDrive や Dropbox などのクラウド統合アプリを使用する方法が最も簡単です。ネットワーク全体で他のユーザーとデータを共有する場合は、安全に転送するために、標準形式を採用する必要があります。Holo Graph では現在、OneDrive の .csv と XML/GraphML 形式をサポートしています。私たちは主に JSON を使用してデータを共有しています。
OneDrive から読み込むことができるのは驚きでした。それまではバックエンドにファイルを追加していましたが、OneDrive を使用すれば、だれでもデータを読み込めるようになります。
Sigaras 氏: データとデータのプライバシーは、当研究所にとって最重要事項です。Holo Graph の本当の価値は、そこから見えるものだけではなく、研究者が実際のデータを安全に入手できるところにあります。データの視覚化に関してアドバイスするとしたら、エンド ユーザーが 2D の枠組みから抜け出せるようにすること、そしてデータを自在に操作できるようにすることを目指してください。
最後に、今回の対談で気に入った言葉で締めたいと思います。「複合現実はあなたの常識を覆します」
Sigaras 氏: 私はよく複合現実について次のように説明しています。たとえば、バーチャルなバスケットボールを持っているとしましょう。現実世界では、ボールを地面に投げると跳ね返ります。地面が存在し、「摩擦」も発生します。たとえ 100 回繰り返しても、予想どおり同じことが起こります。複合現実は、文字どおり現実にデジタル コンテンツを組み合わせることで、こうした常識でさえも変えることができるのです。
Roshal 氏と Sigaras 氏のインタビューはいかがでしたか。ぜひ両氏の Twitter アカウント @RoshalSophia と @AlexSigaras をフォローしてください。
複合現実の開発を始めたい方は、Windows Mixed Reality デベロッパー センター (英語) を参照してください。サンプル コード、デザイン ガイド、ドキュメントなど、多数のリソースをご用意しています。さらに詳しい情報が必要な方は、Microsoft Design Medium (英語) の複合現実の設計に関するヒントをご覧ください。役立つ情報が満載です。