デジタルバルーンで空を飛ぶ。84 万人の熱狂を誰もが体感できるAzure Kinect DK による展示コンテンツ制作

佐賀県佐賀市で毎秋開催されているアジア最大級の熱気球の大会「佐賀インターナショナルバルーンフェスタ」。2022 年 11 月には 3 年ぶりに有観客で開催され、のべ84 万人を超える観客が、色とりどりの熱気球が空を舞う雄大なショーを楽しみました。

熱気球の魅力をフェスタ以外でも知ってもらうことを目的とし、天気に左右されず、いつでもバルーンを体感できる「佐賀バルーンミュージアム」では、2022年 12 月に体感コーナーをリニューアルオープン。このコーナーのギミック開発には Microsoft の空間コンピューティング開発者キット「Azure Kinect DK」が活用され、誰もが楽しめるコンテンツの実現にひと役買っています。

このリニューアルプロジェクトの背景には、来館者の CX を向上させるとともに、佐賀の観光・文化資産を世に広め、伝えていきたいという、コンテンツ制作に携わった皆さんの熱い思いがありました。

佐賀市

経済部 観光振興課 バルーン係 係長　杠 精士郎（ゆずりは せいしろう） 氏

経済部 観光振興課 バルーン係　葺本 信太朗（ふきもと しんたろう）氏

 

 

株式会社とっぺん

事業管理部 主任・文化財事業部 主任　高瀬 健太郎 氏

事業管理部 xRプロデューサー　石丸 凌 氏

 

バルーンの魅力をより強く伝えるために新たなコンテンツを制作

ーー佐賀バルーンミュージアムの概要とプロジェクトの背景についてお聞かせください。

杠　佐賀市では、シティプロモーション室と連携して市の魅力を知っていただけるよう情報発信に力を入れています。市の北部地域は、古湯・熊の川温泉を抱えた緑豊かな山間地に清らかな水が流れ、南部地域は、広大な干潟と独特の生態系を有する有明海が広がる日本一の海苔の産地です。そして、中心部は明治期の日本の近代化を先導した「幕末維新期の佐賀」の歴史や文化が感じられる情緒ある景観が残っています。

また、佐賀市といえば熱気球の街と言われるほどに、「佐賀インターナショナルバルーンフェスタ」は佐賀市にとって大切なイベントで、県外からもたくさんの観光客が訪れます。今回のプロジェクトの舞台である「佐賀バルーンミュージアム」は2016年に、“熱気球のオリンピック”とも呼ばれる熱気球世界選手権が3回目に佐賀で開催されたことを契機に、シーズンや天候を問わず熱気球を身近に感じられる場所を目指して開館した施設です。

葺本　当ミュージアムは、お子さまからご高齢の方まで、また海外からお越しの方や障がいのある方も楽しめるような展示をひとつのコンセプトとしています。開館以来多くの方にご来館いただいていましたが、コロナ禍に伴ってここ数年は来館者が激減してしまいました。そこで、行動制限の緩和に伴い観光客が戻りつつあった2022 年に、観光客のミュージアムへの誘引を主な目的として、フロア中央部分の展示リニューアルを企画することになりました。

Azure Kinect DK を活用した誰もが楽しめるインタラクティブな企画を提案

ーー本プロジェクトに際して、どのような提案を行なったのですか？

高瀬　まず当社の概要ですが、創業以来「価値ある情報を多くのひとへ」という社是のもと、文化財に関するデータをデジタル化して後世に残すといった取り組みを原点としており、近年はデジタル技術を駆使して資料をコンテンツ化することにより、博物館などの施設展示をお手伝いする事業を多く手がけている会社です。

石丸　当社は、佐賀市経済部（工業振興課）さまの先端技術を開発できる人材育成と雇用創出を目指す「MR コンテンツ開発事業」では、佐賀市の歴史と観光と産業をテーマにした MR コンテンツも制作しております。MR デバイスは HoloLens 2 とその前身モデルである HoloLens を活用しており、日本マイクロソフトさんにはその当時からサポートしていただいています。

高瀬　今回のプロジェクトは佐賀市を象徴する施設である佐賀バルーンミュージアムが対象でしたし、私たちがこれまでの事業で培ったノウハウや技術力を生かせる分野でしたので、プロポーザルに参加しない手はありませんでした。

ご提案時には、先ほど葺本さんがおっしゃったように「誰もが楽しめること」と、もう一点「インタラクティブ性」を重視した展示という要件があったので、「見る」だけではなく「参加できる」コンテンツを目指しました。

また感染症予防に配慮した「非接触」というテーマもあったことから、Azure Kinect DK のセンサーを使ってインタラクティブなアクションが楽しめるコンテンツができないかと、日本マイクロソフトさんに相談しながら提案をまとめていきました。

Azure Kinect DK の骨格認証機能を用いたインタラクティブコンテンツを実現

ーーリニューアルによってどのような展示に生まれ変わったのでしょう。

葺本　以前は、床面に熱気球から見た景色を投影することで熱気球に乗っているような感覚を味わえるコンテンツがあり、それも人気ではあったのですが、とっぺんさんからの提案を受けて、天井に設置された Azure Kinect DK により、人物の動きに連動して色とりどりの映像を床面に投影したり、吊るされたバルーンのオブジェが光の色や強度を変えたりする、インタラクティブな展示に生まれ変わりました。

また、壁面に設置された Azure Kinect DK が人物の顔を認識して、顔が嵌め込まれたバルーンのイラストが床面や壁面を飛び回る「バルーンになって飛ぼう！」というコンテンツに関しても、使用するセンサーを Kinect v2 から Azure Kinect DK にアップグレードしています。

高瀬　Azure Kinect DK は、ざっくり申し上げると多機能なカメラという捉え方をしています。さまざまな機能のなかで、当社が制作に携わったプロダクトで頻繁に使っていて、今回のコンテンツでも活用しているのが骨格認識機能です。Azure Kinect DK と PC をつなぐだけでカメラに映った人物の骨格を推定してくれるので、私たちは動きや距離感に応じたアクションを指示するだけでコンテンツを作成することができます。

石丸　今回は「誰もが楽しめること」をテーマに掲げていますので、骨格が未発達の赤ん坊や子供や車いすに乗った人物を認識できるかが課題でしたが、全く問題なく、Azure Kinect DK の骨格認識精度には大変助けられました。

現場の声を反映した工夫を評価。拡張性にも期待

ーー制作時に工夫した点や皆さんの感想についてお聞かせください。

高瀬　当社では初代の Kinect がリリースされた頃から Kinect を用いたコンテンツ制作を行なっているのですが、確実に骨格認識の精度は上がっていると感じます。また、Azure Kinect DK には深度センサーや加速度センサー、マイクなども搭載されていますから、今回実装した機能のほかに、AI の活用による表情に合わせたアクション指示なども追加できると考えています。

杠　最初は斬新でも、何度も訪れる人にとっては見飽きたものになってしまうこともありますから、拡張性があってリニューアルしやすいという点には大いに期待しています。また、作業を進めるにあたり、日ごろ来館者と接する現場スタッフの声を聞きながら改善していただけたこともありがたかったですね。

高瀬　「バルーンになって飛ぼう！」では、当初は顔写真が嵌め込まれたバルーンがまず上に昇っていって、その次に横移動するという設定だったのですが、ミュージアムのスタッフの方から「最初に上に移動すると手が届かなくてお子さんが悲しむから、まず横移動させてお子さんに追いかけさせるようにしてほしい」という要望をいただきました。まさに現場ならではのご意見で、私たちだけでは出てこない発想でしたので、大変助かりました。

また、ご提案時に日本マイクロソフトさんに相談した際の「細かい説明がなくても直感的に楽しめる、わかりやすさが必須だと思います」というアドバイスは大変参考になりました。エリアに入って自分が動くだけで音が鳴ったり映像が映ったりするようなアクションにしたことで、お子さんや日本語話者ではない方でも楽しめる展示になったと思います。

葺本　リニューアル後は、修学旅行で来館される学生さんも車いす利用の方も同じように楽しんでいらっしゃいますね。放っておくと走り回ってしまうような年代のお子さんでも夢中になって遊ぶので、保護者の方がベンチに座ってひと息入れながら見守る光景もよく見られます。

また、当ミュージアムでは市内在住で年間パスポートを使って来館されるファミリーも多いのですが、「何度来ても同じように子どもが楽しんでいます」という声をいただきました。床面に現れる熱気球を順番に踏んでいくとイベントが発生する仕掛けが好評のようです。

 

DX を推進する環境のもとで、価値あるものをデジタルの力で伝えていきたい

ーー今後の方向性やデジタル技術への期待についてお聞かせください。

高瀬　冒頭申し上げたように、当社では価値ある情報を世の中に伝えていくことを大切に考えています。そのために使う手法はさまざまですが、デジタル技術はそのうちの重要なひとつであると考えています。今回の佐賀バルーンミュージアムのプロジェクトのように、デジタルの力で素晴らしいもの、面白いものを伝える作業を続けていきたいと思います。

石丸　今回のプロジェクトでは、コンテンツを提案する初期段階から日本マイクロソフトさんにご協力いただいたことが成功につながった大きな要因のひとつでした。日本マイクロソフトさんはいろいろな技術を持つプラットフォーマーであり、私たちは実現したいことがあるときにその技術を借りるという関係性だと思っています。日本マイクロソフトさんの技術やサービスをさらに理解し当社の事業と組み合わせることで、お客さまへの提案に幅や厚みが増すと感じています。

葺本　未来を創造していくには、いろいろな方と話し合って進めていくことが重要だと思っています。今後も、とっぺんさんや日本マイクロソフトさんのような豊富な経験を持つ事業者の皆さんと、デジタル技術を使って一緒に新しいものを生み出していければと思います。

杠　佐賀市では、日本マイクロソフトさんなどにご協力いただいて、セミナーやトレーニングプログラムを実施できる施設「マイクロソフト AI＆イノベーションセンター佐賀」を設置しています。これからさらに、市内はもとより県内外からたくさんの人が IT の最新技術を学びにこられる環境づくりに取り組んでいきますので、いつか「佐賀市はデジタルの街」と呼ばれるように、スマートなまちづくりと DX を推進していければと考えています。