Windows Insider Program のフィードバックを Windows 10 の開発に役立てるしくみ

本ブログは、Blogging Windows “How Windows Insider Feedback Influences Windows 10 Development” の抄訳です。

こんにちは。Gabe Aul が率いる Data and Fundamentals チームの一部である Windows Feedback でシニア プログラム マネージャー リードを務める Samer Sawaya です。現在多くのお客様から、Windows Insider Program を通じて収集した膨大な量のフィードバックをどのように処理し、すべてのフィードバックを製品の意思決定にどのように反映させているのか、その方法について質問が寄せられています。今回の記事では、Windows の「共同開発」に皆様のフィードバックを活用しているしくみについて、内部事情を少しご紹介したいと思います。

フィードバックの面白さ

ビルドをリリースしてからの数日間は、エンジニアリング チームにとって胸躍る時間です。Windows Insider Program を通じて続々とフィードバックが寄せられるのを楽しみにしているのです。皆様から届く多数のフィードバックは、Windows チーム全体に大きな活力を与えてくれます。フィードバックを既知の事項と新規の事項に分類し、新たに判明した内容に基づいて製品バックログを再形成します。私たちのチーム ルームの 1 つには、寄せられたフィードバックを繰り返し表示する大型のスクリーンが設置されています。ここには、届いたフィードバックの割合と、トレンドになっている主要なフィードバックが表示されます。私たちのチームはこのスクリーンの周りに集まって毎日ミーティングを行っています。ミーティングでは、Windows Feedback アプリの開発中の機能や、OSG (オペレーティング システム グループ) のすべての機能チームがそれぞれの担当の分野で最も多く寄せられている要望を特定できるようにするための取り組みについて話し合います。

リリース後のフィードバック状況は概して下図のようになります。このグラフは、デスクトップ向けのビルド 10130 (5 月 29 日リリース) に対して送られたフィードバック量の推移を表したものです。

通常、フィードバックは最初の数日間に急増し、時間が経つにつれて一定量に落ち着いてきます。

私たちのチームの目的は、Windows の各チームと皆様から提供されるフィードバックとを直接結び付け、開発中のコードをさらに改良するためにフィードバックを簡単に活用できるようにすることです。そのために、受け取ったフィードバックの量、バグ報告や作業項目に変換された割合、完了した作業項目の数を記録します。そして、これらの主要な指標を継続的に監視し、実際の作業にフィードバックが反映されていることを確認しています。

エンジニアは皆様のフィードバックを利用

昨年 10 月に最初のプレビュー ビルドをリリースして以来、Windows Insider Program にご参加の皆様から Windows Feedback アプリを通じて 300 万件以上のフィードバックが寄せられただけでなく、Windows Feedback アプリによってポップアップ表示される通知の質問 (ミニ アンケートのようなもの) に対して 250 万件以上の回答が得られました。社内では、Windows Feedback アプリを通じて皆様が自発的に入力したフィードバックを「ユーザー主導のフィードバック (User Initiated Feedback、UIF)」と呼び、アンケートの回答結果を「システム主導のユーザー フィードバック (System Initiated User Feedback、SIUF)」と呼んでいます。

このようにして実に膨大な量のフィードバックが集まっています。すべてのフィードバックを処理して把握するために、いくつかの手法が使用されます。

すべての Windows エンジニアがフィードバックを参照可能

Windows のすべてのチームは、皆様から提供されたすべての未加工のフィードバックにアクセスすることができます。この情報源を直接参照するエンジニアも少なくありません。Visual Studio Online を基盤とする使い慣れたインターフェイスが用意されており、エンジニアはクエリを作成できます。パラメーターを追加したり、フィルターを使用して指定した値に絞り込んだりして、特定のフィードバックを確認することが可能です。

皆様からのご提案、送信された「賛成票」、ミニ アンケートの回答結果など、すべてのフィードバックはフィードバック データベースに保存され、エンジニアが照会できるようになっています。

Windows の各チームには定期的にメールが自動送信され、担当する分野に固有の未対応の問題に関するフィードバックが提示されます。これらのメールでは、最も多くの賛成票が寄せられた問題を確認できる以外に、新規の問題やトレンドになっているフィードバックなど、賛成票の数とは関係なくその他フィードバックも確認できます。こうして、皆様のフィードバックは製品チームの受信トレイに直接届けられます。製品チームはメールからワンクリックでフィードバックの詳細にアクセスし、コーディングが必要な作業項目に即座に変換できます。

また、社内向けの Web レポート サイトを使用してテキスト分析を参照し、トレンドになっている問題やデータのクラスター (詳細は後述します) を特定しています。

フィードバックから作業項目への変換は非常に簡単

私たちのチームは、皆様のフィードバックをエンジニアが簡単に見つけられるだけでなく、簡単に対応できるように取り組んでいます。

Windows Feedback アプリの各カテゴリでは、担当チームの機能セットに固有のシステム診断情報を収集しています。私たちは Windows の各チームと密接に連携し、そのチームが Feedback アプリのどのカテゴリを担当するか、担当のカテゴリについて問題が報告された場合にどの診断情報を収集するかを定義しています。

たとえば、デスクトップ > アクション センターのカテゴリにフィードバックが送信されると、そのフィードバックにはアクション センター チーム固有の診断情報も添付されます。そのフィードバックが問題として報告されている場合、この情報はアクション センター チームがデバッグを行うために役立ちます。

フィードバック データベースに保存されているフィードバックには、スクリーンショットや診断情報が添付されます。皆様から提供された説明文に追加することで、各チームが皆様の問題やご提案をより正確に理解できます。

各チームは、ワンクリックで皆様のフィードバックに対応することが可能です。このワンクリック機能は、各チームに表示されるすべてのフィードバック ビューに備わっています。フィードバック データベースから直接操作を行う場合も、私たちのチームから自動送信されるメールを受け取った場合も、社内の Web レポート サイトを使用する場合も、エンジニアはフィードバックを作業項目に簡単に変換できます。

賛成票システムの使用方法

Windows Feedback アプリの賛成票システムは、多くのユーザーの皆様にとって重要な問題を特定し、優先的に対応するために非常に有用です。ただし、数の多さは要素の 1 つに過ぎないということも理解しているため、一部のユーザーの皆様にとってのみ重要な問題が報告されたときやご提案いただいたときにも、十分に注意を払えるように取り組んでいます。

私たちは、アルゴリズムを使用して多数の賛成票が得られたフィードバックを自動的に製品の作業項目に変換し、そのフィードバックをどのチームが担当するかを決定します。作業項目は適切なチームの To Do リストに追加され、担当のチームがフィードバックを詳細に検討して対応や回答方法を判断します。

Windows の開発には多数のチームが携わっています。担当の分野について多数の賛成票やフィードバックを受け取るチームもあれば、そこまで多くないチームもあります。そのため、単純に賛成票の数だけを見て、フィードバックに対応するための全体的な優先順位を決定することはありません。たとえば、各チームでは新規の問題、トレンドになっている問題、特定の機能における問題、特定のハードウェアで発生する問題なども確認しています。こういった問題にとって最も重要な要因は、賛成票の数ではありません。実際、多数の賛成票を得る可能性があった問題も、票が集まる前にすばやく対処した結果、大きな問題に発展することを未然に防げたケースも数多くあります。

社内では再現が難しい問題を検証する際に、皆様からのフィードバックを使用する場合もあります。たとえば、特定のデバイス、特定の構成で問題が発生することを確認した場合、Windows Insiders Program に参加されている皆様のフィードバックに対してフィルターを使用して、同じ問題が発生していないかどうかを確認します (デバイスの種類やモデルなどの条件で検索を実行できるのです)。これにより、根本原因を把握したり、皆様も実際に経験している問題であるかどうかを確認したりすることができます。

また、Windows を多数の言語に翻訳するローカライズ チームでは、特定の言語の Windows を条件としてフィードバックを検索し、翻訳関連の問題を特定するために役立てています。ここでも、単純に賛成票の数が重視されるわけではありません (たとえば、ブラジル・ポルトガル語の OS を使用しているユーザーが、特定の設定ページについてフィードバックを提供した場合などが考えられます)。ローカライズ チームは皆様のフィードバックを非常に積極的に活用することで、不適切に翻訳された UI を発見し、修正を行っています。

つまり、賛成票は修正が必要な問題を特定するための主要な指標として活用されているものの、対応するべきフィードバックを検索して見つけるためには、その他にも多数の手法が利用されています。

テキスト分析を使用してテーマを特定する方法

私たちは、各ビルドに関して出現頻度の高いフレーズのクラスターを特定できる分析システムを設計しました。ワード クラウド ビューにあらゆるトピックが総合的に表示され、そこから詳細なフィードバックにアクセスできます。これにより、フィードバックの広範なテーマを把握することができます。

各チームでは、Gestalt と呼ばれる社内向けの Web レポート ツールを利用してフィードバックを確認しています。ここでは、PC 向けのビルド 10049 について、皆様から寄せられたフィードバックのワード クラウドを生成してみました。10049 は、Project Spartan が初めて導入されたビルドです。ここに表示されるフィードバックは、ビルド番号、モバイルまたは PC、デバイス モデル、送信日、言語、Windows Insider Program の Fast リングまたは Slow リングなど、さまざまな条件でフィルター処理することができます。

このビューを構成しているのは、皆様の実際のフィードバックです。エンジニアは、数回クリックするだけで送信された元のフィードバックを確認できます。このように、幅広い視点から問題を特定した後、個々のフィードバックを参照して、その問題について確実に把握できるのです。

次のスクリーンショットは、エンジニアが「Project Spartan」など、1 つのトピックを選択したときの画面です。ワード クラウドにフィルターを使用して対象のトピックに絞り込むと、そのトピックについて投稿されたすべてのフィードバックが右側の詳細ウィンドウに表示されます。詳細な各フィードバックの隣にはリンクが用意されており、ここで作業項目に変換してから、チームで対応に取り掛かります。

もう 1 つの方法として、エンジニアは Windows Feedback アプリからも皆様のフィードバックを直接参照しています。Windows Feedback アプリは、Windows Insider Program 参加者の皆様にご利用をお願いしているだけでなく、社内ユーザーからのフィードバックを収集する主要な手段としても活用しています。Windows の開発を担当するすべてのエンジニアには、Windows Insider Program のユーザーに PC およびモバイル向けのビルドを提供する前に、社内専用のビルドをテストするように求められています。エンジニアは Windows Feedback アプリを使用して、社内用ビルドに関するフィードバックを送信したり、他のエンジニアが投稿したフィードバックや問題に賛成票を投票したりするほか、皆様のフィードバックを参照して作業項目に変換することもできます。これにより、社内用ビルドに作業項目を追加する前に、過去のビルドで既に皆様から問題が報告されていないかどうかを簡単に確認できます。

皆様にアンケートへの回答をお願いする理由

これまでにビルドを使用したことのある方は、社内で SIUF と呼ばれる「ミニ アンケート」の質問が Feedback アプリに表示されることにお気付きになった (願わくは回答された) ことでしょう。10 月 1 日以降、このアンケートは Windows Insider Program 参加者の皆様に向けて 1,350 万回ポップアップ表示され、そのうち 250 万件の回答が得られました (回答率 18.5%)。各チームは、デスクトップおよびスマートフォン向けに何百もの質問を作成し、皆様からの回答心待ちにしています。スマートフォンに関しては、ユーザーの皆様がミニ アンケートに熱心に回答してくださるため、今後さらに質問をご用意する予定です。

皆様にミニ アンケートへの回答をお願いする理由には、以下のようなものがあります。

• フィードバックを伺いたいアクションを皆様が実行した直後に表示することで、「まさにその瞬間の」フィードバックが得られる。
• 点数評価とテキストによる自由回答の両方を採用することで、機能の進捗状況をビルドごとに比較し、改良できているかどうかを評価できる。
• 機能が持ついずれかの側面を強化するために、対象を絞り込んだ詳細な質問を投げかけることができる。

(点数評価に加えて) テキストによる自由回答として入力いただいた内容は、質問したチームにとって非常に参考になります。このデータをマイニングした結果、その機能を今後どのように強化していくべきかについての有意義なアイデアに辿り着けることも少なくありません。

たとえば印刷チームでは、Windows の印刷機能についてミニ アンケートを作成しました。皆様から提供されたコメントを確認したところ、PDF のサポートに関するご意見が多いことが判明しました。さらに詳細を確認すると、PDF のサポートについて「Windows から PDF に直接出力できるように PDF ファイルへの出力機能の優先順位を上げるべきだ」と指摘した自由回答のコメントが非常に多かったため、印刷チームはこの機能を PC 向けのビルド 10041 で実装しました。

以上を踏まえて、ぜひ今後もアンケートへの回答にご協力をお願いいたします。

各言語のフィードバックの処理方法

Windows Insider Program のコミュニティは国や地域を問わず、世界中のユーザーの皆様にご参加いただいています。この多様性こそが Windows Insider Program の重要性を高めているのです。Windows Insider Program を通じて Windows 10 を実行しているユーザーが 1 人もいない国は、世界で 4 つしかありません。

PC 向けのビルド 10130 に対して寄せられたフィードバックの言語の内訳は下図のとおりです。四角の中の数字は、フィードバックの正味数を表しています (その言語における賛成票の数は含まれません)。

そしてこちらは、スマートフォン向けのビルド 10080 の内訳です。

フィードバック データベースに保存されたフィードバックは Bing 翻訳ツールを使用して自動的に翻訳されるため、レドモンドの本社にいるエンジニアもすべてのフィードバックを理解することができます (エンジニアが話すことのできる言語はさまざまで、元のテキストを確認したい場合もあるため、元のフィードバックのテキストも保持しています)。こうしたしくみを通じて、皆様が母国語でご提供くださったフィードバックに、エンジニアが対応できるようにしています。

Feedback アプリで双方向の対話を開始

これらのフィードバック ツールは、エンジニアと Windows Insider Program にご参加の皆様との双方向の対話を実現するべく引き続き強化されています。

たとえば、先日から Windows Feedback アプリにはフィードバック タグが表示されるようになりました。皆様から送信されたフィードバックに対して、エンジニアがタグを追加できるようになったのです。追加されたタグは、皆様にも表示されます。現時点では、タグはフィードバックを受け取り、処理したことを示すだけのものです。Windows Feedback アプリに RECEIVED タグが表示されている場合、フィードバックがマイクロソフトのシステムで受信され、エンジニアが参照できると共に作業項目に変換できる状態にあること、外部向けビルドの評価に使用しているワード クラウドやトレンド チャートに反映されたことを示しています。

また、一部のフィードバックには、More info タグが表示される場合があります。このタグは、エンジニアが皆様に詳細情報を提供できるときに追加されるもので、そのフィードバックに関連するブログ記事や Windows Insider フォーラム ページにリンクされています。

この機能はまだ初期の試験的な段階にあり、(もちろん皆様のフィードバックを通じて) 今後強化される予定です。長期的には、皆様のフィードバックをどのように活用して製品を構築しているかを明確にご理解いただくために、この機能を使用していきたいと考えています。

先日、Windows Feedback アプリには、皆様ご自身が送信したフィードバックのフィルター機能も追加されました。これで、フィードバックに投票された賛成票の数を簡単に確認できるようになります。将来的には、このビューを利用して、エンジニアリング チームが皆様のフィードバックにステータス タグを適用したかどうか、詳細情報へのリンクを追加したかどうかも確認できるようになる予定です。

Windows Insider フォーラムへの参加

Windows Insider Program にご参加の皆様との連携を強化するために、「コミュニティ チャンピオン」プログラムという制度も採用しました。Windows の各チームから約 80 名のエンジニアがコミュニティ チャンピオンとして Windows Insider フォーラムで皆様との対話を行っています。これもまた、フィードバックを収集して対応するための 1 つの方法です。この取り組みの目的は、皆様と双方向に意見交換を行って、問題について理解を深めたり、最新の変更点にどの程度ご満足いただいているかを確認したりすることです。コミュニティ チャンピオンは実際のエンジニアが担当しているので、皆様との対話を通じて得られた所見や経験をチームに持ち帰り、フィードバックへの対応に最大限活用しています。

皆様のフィードバックが Windows を改善

Windows の各エンジニアリング チームは Windows の開発方法を変更しつつあり、皆様のフィードバックを作業に反映させています。ここでは、既にフィードバックを活用しているチームの例をいくつかご紹介します。

Windows の機能を開発する際にユーザーからのフィードバックを取り入れている一例として、Cortana チームが挙げられます。毎週、Cortana のエンジニアは、UIF、SIUF、マイクロソフト コミュニティ フォーラムなどの情報源から得られたお客様のフィードバックのうち、新規または未対応のものを取り上げたメールをチーム全体に送信しています。チームは同様の問題をグループにまとめ、それらの問題の調査に取り掛かります。多くの場合、エンジニアリング チームはフォーラムで質問に回答したり、既知の問題の回避策をご紹介したりといったように、Windows Insider Program 参加者の皆様と直接対話を行い、必要な場合には対話を通じてさらに詳細なフィードバックを得て、機能の計画プロセスに反映させます。チーム メンバーは SIUF の回答に目を通し、作業項目を作成して、修正が必要な箇所を管理します。また、SIUF の回答に基づいて、Windows Feedback アプリから送信された UIF のフィードバックの詳細を確認することも多々あります。「Hey Cortana」は、皆様のフィードバックに基づいて改善された機能の好例です。Cortana が初めて搭載されたビルドでは、「Hey Cortana」と話しかけるタイミングがわかりづらいというご意見が寄せられました。「Hey Cortana」から Cortana にお願いしたいアクションまでを一文として話しかける必要があったのですが、多くの方が Cortana を呼び出した後に一息置いていたため、うまく操作できない場合がありました。Cortana チームでもこれが問題になる可能性を想定していましたが、皆様のフィードバックによって確証が得られました。その結果、最近のビルドでは、Cortana の音声認識のタイミングを以前よりも柔軟に設定しています。

同様にモダン デスクトップ アプリ (MDA) チームでも、Windows Insider Program のフィードバックを活用しています。初期段階のビルドでは、アプリのウィンドウを全画面表示するために、チャーム (…) ボタンをタッチまたはクリックする必要がありました。

MDA チームでは、このオプションは見つけにくいのでないかと考え、SIUF の質問を通じて確認することにしました。以下のミニ アンケートをご覧になった方もいらっしゃるかもしれません。

この質問への回答を詳細に確認したところ、全画面モードは確かに見つけにくいことがわかりました。このとき、以下の 2 種類の回答が多く見られました。

• 「ウィンドウの全画面表示のショートカットに不満があります。省略記号 (…) で表示されたメニューは混乱を招くだけです。全画面表示用に 4 番目のウィンドウ コントロールを追加する方がわかりやすいと思います」
• 「全画面表示ボタンが最小化ボタンの近くに表示されるようになると、格段に見つけやすくなるはずです」

このフィードバックに基づいて、MDA チームは社内テストを何回か実行し、全画面表示オプションをチャーム メニューからタイトル バーに移動させました。1 月にリリースされたデスクトップ向けのビルド (9926) では、以下のスクリーンショットのとおり UI が変更されています。

MDA チームは、全画面表示オプションが本当に見つけやすくなったかどうかを確認するために、新しい設計について引き続き調査したいと考えました。そこで、1 月のビルドでは以下のミニ アンケートを実施しました。

以前のビルドと 1 月のビルドのデータを比較したところ、全画面表示ボタンがタイトル バーに追加されたことに多くの方々がご満足されているとわかりました。ただし今度は、標準のキャプション コントロール (最小化、最大化/元に戻す、閉じる) の順序が変わらないように、全画面表示ボタンの位置を変更してほしいというご意見が多数見られました。

• 「従来の [最小化]、[最大化/元に戻す]、[閉じる] ボタンがこれまでと同じ順序で表示されるように、モダン アプリの [全画面表示] ボタンの場所を変更してください」
• 「個人的には、全画面表示に拡大するボタンが標準の 3 つのウィンドウ ボタンとは別の場所にあった方が良いと思います」
• 「全画面表示ボタンは気に入りましたが、[最小化] ボタンの左隣に表示するように変更してもらえないでしょうか。右から順に [閉じる]、[最大化]、[最小化] というボタンの配置に長年慣れ親しんでいるため、条件反射で間違ったボタンを押してしまいます」

これらのフィードバックに基づき、ビルド 10041 ではさらに以下のように変更されました。

引き続きフィードバックをお待ちしています

Windows の全チームを代表して、フィードバックを提供してくださる皆様に感謝申し上げます。頂いたご意見は真摯に受け止め、設計に関する意思決定に確実に反映し、より良い Windows を構築するために活用させていただきます。ぜひ今後もたくさんのフィードバックをお寄せください。

皆様のご協力に心から感謝いたします – Windows Feedback アプリ チーム一同より