Posts in ロケットスタジオ

HoloLens 2 を装着してトレーニングする人の写真
Mixed Reality

昭和大学とロケットスタジオが Mixed Reality を用いた看護基礎教育向けの新たな教育ツールを開発

By Japan Windows Blog

昭和大学(東京都品川区、学長:久光正)は、株式会社ロケットスタジオ(北海道札幌市、代表取締役:竹部隆司、以下 ロケットスタジオ)と協力し、Mixed Reality (MR) を用いた看護基礎教育を学ぶ新たな教育ツールを開発しました。シミュレータを用いた看護基礎教育にホログラム技術を融合することで、救命処置が必要な患者さんをより深く理解するための教育方略を体現できます。 [背景] 医療の現場では、高度かつ先端的な治療を要する患者さんが増えてきました。教育機関では、さまざまな患者の状態を作り出すことができるシミュレータを用いた実践教育が多く行われていますが、現実感を作り出すには限界がありました。そこで、現実世界と仮想世界が複合された空間を他者と共有することができる MR の手法を用いることで新たな教育ツールを作り出せないかと考え、日本マイクロソフト株式会社(以下 マイクロソフト)の技術支援のもと開発に取り組みました。 [新たな教育ツールの概要] 今回の初期導入では、将来医療従事者となる学生たちが「人の生命を守る」ためトレーニングする一次救命処置の場面を想定したソフトウェアを開発しました。Microsoft HoloLens 2 で動作するソフトウェアです。 HoloLens 2 を頭に装着してソフトウェアを起動した後、従来の物理的なシミュレータを眺めると、シミュレータのボディに沿って人型の 3DCG がホログラムで浮かび上がります。3DCG は腕や脚を含む全身で表現されるため、シミュレータが上半身だけであったとしても、HoloLens 2 を通すとあたかも全身が横たわっているように見えます。 この画期的なソフトウェアは、ロケットスタジオに HoloLens 2 用で動作するアプリケーション制作を依頼し、マイクロソフトとテクノロジーやシナリオに関するディスカッションを重ねながら開発を進めました。 [どのようにトレーニングするのか?] 準備する機材は、HoloLens 2 とシミュレータです。(昭和大学で使用しているシミュレータは、胸骨圧迫スキルの客観的なフィードバックが得られるレールダルメディカルジャパン株式会社のレサシアンQCPR を使用しています。) トレーニング者は、HoloLens 2 を頭に装着すると、駅のプラットフォームで倒れている傷病者の姿を見ることができ、倒れている人を助けるために一次救命処置を行うというシナリオです。 まずは、倒れている傷病者の肩を叩いて意識を確認し、「大丈夫ですか」の掛け声で準備が整います。次に、「1、2、3…」の声でタイマーがスタートし、救護活動のトレーニング開始となります。救護活動中は、一定のリズムで心臓を圧迫することを促すため、1分間に100回の速度で電子音が再生されます。また、AED を持ってきた人に対して「AED を使えますか?」と問いかける声がトリガーとなり 3DCG の上半身が裸になります。3DCG… Read more

HoloLens 2 を装着して体験する人
Mixed Reality

次世代遠隔医療システム NURAS を体験展示。第14回日本プライマリ・ケア連合学会学術大会 出展リポート

By Japan Windows Blog

2023年5月12日(金)~5月14日(日)の3日間、日本マイクロソフトは株式会社ロケットスタジオと共同で、豊田市および名古屋市で開催された、第14回日本プライマリ・ケア連合学会学術大会の次世代医療展示に出展しました。 Mixed Reality を実現する Microsoft HoloLens 2 のテクノロジーと、3D モーションセンサー Azure Kinect DK を活用した次世代遠隔医療システム「NURAS」(ニューラス、Nagasaki University Rheumatoid Arthritis remote medical System)を展示し、来場された多くの方々にご体験いただきました。 専門医過疎地域である離島・へき地など遠隔地にいる患者が、Mixed Reality などの活用により、リウマチ専門医による遠隔医療を、これまでよりも高い精度で受けることが可能となるシステムです。従来のテレビ電話あるいは Web 会議システムを用いても遠隔医療は可能ですが、関節を中心とした病変部位を平面映像 (2D) だけで観察および類推することしかできず、関節リウマチ診療に不可欠である正確な関節評価を行うことは困難です。本システムでは、マイクロソフトの「Azure Kinect DK」を深度センサーとして患者の前に置き、Mixed Reality を実現するデバイス「Microsoft HoloLens 2」を専門医が装着、コラボレーションツールの「Microsoft Teams」を使ってビデオ会議を行うことで、平面映像だけでは評価が困難な病変部位を立体的 (3D) かつリアルタイムに観察・評価できます。 <会場・展示ブースの様子> <NURAS デモ体験の様子> <HoloLens 2… Read more