学習しやすさの観点から見たスマートスピーカーのユーザビリティの分析

日本人間工学会関西支部大会 2023/12/9 学習しやすさの観点から見た スマートスピーカーのユーザビリティの分析 大阪市立大学 生活科学部居住環境学科4年 西川祐生 大阪公立大学 土井俊央 1

研究背景 研究背景 研究目的 研究方法 結果・考察 • 無線接続で他の複数の機器と接続し、それらを制御する • 画面を使わずVoice User Interface (VUI)によって操作をする • スマホ画面やリモコンにより遠隔で操作する • GUIとは別でVUIではまた違う問題があるので，VUIについてのユーザビリティ の問題やそのためのデザイン指針を考える必要がある[1] [1] 西川祐生，土井俊央：タスク分析とチェックリストによるスマートスピーカーのユーザビリティ評価，第18回日本感性工学会春季大 会，18巻，ROMBUNNO.1B01-04(WEB ONLY) (2023) 2

先行研究 研究背景 研究目的 研究方法 結果・考察 音声対話システムの性能向上のための研究 • スマートスピーカーのよそよそしさに着目している研究[2] • 音声対話システムに着目している研究[3] VUI分野においてユーザビリティに着目した研究はなされているが、使いやすさ を考える上で大事な学習性についての研究は少ない。 [2]板敷尚，西脇裕作，大島直樹，岡田美智男：なぜスマートスピーカーはよそよそしいのか？ロボットの親近感を生み出 す代名詞の役割，ヒューマンインタフェース学会論文誌，Vol22，No2，p65-76(2020) [3]山本賢太，井上昂治，河原達也：音声対話システムのユーザ適正に向けたパーソナリティの関係性の分析，人工知能学 会言語・音声理解と対話処理研究会資料，93巻，p9-14(2021) 3

学習特性 研究背景 研究目的 研究方法 結果・考察 学習において一般的に、経験を重ね るごとにエラー数や時間などが減る ことが考えられる[4]。 これまで明らかになっていなかった スマートスピーカーの操作について の学習特性を把握する Learning-curveイメージ図 [4] Jonathan A Cook，Craig R. Ramsay，Peter Fayers：Using the literature to quantify the learning curve：A case study， International Journal of Technology Assessment in Health Care：23(2)：p255-260：2007 4

研究目的 研究背景 研究目的 研究方法 結果・考察 ユーザの学習過程において影響を及ぼすものが何か，どこで発生するか，またど のくらいで習熟するのかを明らかにすることができれば、適切なメンタルモデル 形成、適切なフィードバックをすることに繋がり、問題解決にも繋がる。 スマートスピーカーを使用する時に ユーザはどのようにして学習していくのかを確認する 5

実験条件 研究背景 研究目的 研究方法 結果・考察 条件 • 音声操作のみのタスク[画面無し] • 音声操作のみのタスク[画面あり] • 音声＋リモコンのタスク[画面無し] • 音声＋リモコンのタスク[画面あり] 計4条件で実験を行う 各条件で被験者は別とする。 各条件10人で未経験者 (男23名,女17名 平均年齢：20.62歳 SD：1.43） アレクサver.2.2.5 6

タスク内容 研究背景 研究目的 研究方法 結果・考察 • 音声操作のみのタスク 1. 天候の確認と記録 3. タイマーの設定と音楽を流す 2. ライトの設定 上記３つのタスクを上から順にしたものを１つのタスクとして実験を行う。 • 音声＋リモコン操作のタスク 配信サイトで作品を見る 実験は計10回。1回ごとに1分間の休憩を挟む。 タスク内容は被験者ごとにランダムで提示する。 7

評価指標 研究背景 Learning-curveのイメージ図 研究目的 ①実験前 • メンタルモデル構築度合 操作時間(s) ②1回目の実験中 • プロトコル分析 （回顧法） ③1回目の実験後 • メンタルモデル構築度合 • 音声操作の主観的評価 （VUS[5]) ① ②③ 実験回数(回) ④⑤ 研究方法 結果・考察 ④最後の実験中 • プロトコル分析 （回顧法） ⑤最後の実験後 • メンタルモデル構築度 合 • 音声操作の主観的評価 （VUS) [5] Dilawar Shah Zwakman, Tuul Triyason, Debajyoti PalVoice：『Voice Usability Scale：Measuring the User Experience with Voice Assistants』，IEEE，p308311(2020） 8

音声操作のみのタスク時間 研究背景 研究目的 研究方法 結果・考察 2元配置分散分析 250 （画面有無×実施タイミング） ＊＊ タスク時間(s) 200 150 ＊ ＊ 100 50 0 • 画面無し，画面ありそれぞれにおい て、実験回数における有意差がみら れた。 • 各回において、画面の有無による有 意差はみられなかった。 ＊＊ 音声（画面無し） 1回目 2回目 3回目 4回目 5回目 6回目 7回目 音声（画面あり） 8回目 9回目 10回目 実験回数 画面の有無における音声操作のタスク時間の推移 ※隣り合うもののみ有意差を表示 • 検定結果より、画面なしでは4回目， 画面ありで3回目から習熟していると 考えた。 • 音声操作のみでは画面の有無による 差はない 9

音声＋リモコン操作のタスク時間 研究背景 研究目的 研究方法 結果・考察 2元配置分散分析 300 （画面有無×実施タイミング） ＊＊ 250 ＊＊ ＊＊ • 画面無しでは実験回数における有 意差がみられたが、画面ありでは みられなかった。 タスク時間(s) 200 150 • 1回目で画面の有無による有意差 がみられた。 100 50 0 音＋リ（画面無し） 1回目 2回目 3回目 4回目 5回目 6回目 実験回数 音＋リ（画面あり） 7回目 8回目 9回目 10回目 • 双方の条件において、3回目から 習熟していると考えた。 • 1回目において、画面無しの条件 画面の有無における音声+リモコン操作操作のタスク時間の推移 では音声操作，画面ありではリモ ※隣り合うもののみ有意差を表示 コン操作を多用した被験者が多い からではないか？

メンタルモデル構築度合 ** メンタルモデル構築度合（点） 80 ** 70 研究背景 研究目的 研究方法 結果・考察 3元配置分散分析 （画面有無×操作方法×実施タイミング） ** 交互作用はなく、実施タイミン グの主効果のみ有意だった。 60 50 40 30 20 10 0 実験前 音声（画面無し） 1回目 音＋リ（画面無し） 音声（画面あり） 10回目 音＋リ（画面あり） 全条件において、1回目から10 回目でメンタルモデル構築度合 の得点が上昇しており、習熟し ているのが確認された。 メンタルモデル構築度合の推移 11

音声操作の主観評価 研究背景 研究方法 結果・考察 3元配置分散分析 100 音声操作の主観評価（点） 研究目的 90 （画面有無×操作方法×実施タイミング） 80 70 60 全条件で、1回目から10回目の 実験後で音声操作の主観評価は 高まっているが、有意差はみら れなかった。 50 40 30 20 10 0 1回目 10回目 音声（画面無し） 音声（画面あり） 音＋リ（画面無し） 音＋リ（画面あり） 音声操作の主観評価 操作回数を重ねることで評価は 上がっているが、回数を重ねた ことにより新規のエラーに合う 回数が高まり、評価が上がりに くかったのではないか？ 12

エラー回数（回） 音声操作のみのエラー回数 研究背景 研究目的 研究方法 結果・考察 2元配置分散分析 6 ＊＊ ＊＊ (画面有無×実施タイミング） ＊＊ 5 音声（画面無し） 4 音声（画面あり） 3 2 ＊＊ 1 0 • 双方の条件で、1回目と各回で有意 差がみられました。 • 各タイミングで、画面の有無におけ る有意差はみられなかった。 ＊＊ ＊＊ 1回目 2～4回目 5～7回目 8～10回目 画面の有無における音声操作のエラー回数の推移 視覚的な情報が画面ありの条件にあり、 エラー回数が画面なしの条件に比べて 少ないが、画面があることによるエ ラーが発生していたため、差はなかっ たのではないか？ 13

音声＋リモコン操作のエラー回数 研究背景 研究目的 研究方法 結果・考察 2元配置分散分析 12 10 エラー回数（回） ＊＊ ＊＊ ＊ 8 (画面有無×実施タイミング） ＊＊ • 画面無しの条件において、1回目と 各タイミングにおけるエラー回数 で有意差がみられ、画面ありの条 件では1回目と5～7回目，8～10回 目で有意差がみられた。 音＋リ（画面無し） 音＋リ（画面あり） 6 4 2 0 ＊＊ 1回目 2～4回目 ＊ 5～7回目 8～10回目 画面の有無における 音声+リモコン操作操作のエラー回数の推移 • 1回目の操作中のエラー回数で、画 面の有無において有意差がみられ た。 1回目は音声操作を活用しようとし た被験者が画面なしの条件で多かっ たためではないか？ 14

音声操作のみのプロトコル分析 画面 無し 画面 あり 研究目的 研究方法 結果・考察 10回目 ①ゆっくりハキハキと簡潔 に言うようにした ②タイマーが勝手に止ま る？指示しないとダメ？ ③天候を聞いたら気温も全 部言ってきた ①人と話すくらいの スピードで話した ②助詞を省略して 言ってたが、省略し すぎないようにした ①具体的に言う必要があっ た（どの機器が？） ②「タイマーを止めるよ う」にアレクサが提案した ③ゆっくりめに、ただ遅す ぎず ①ゆっくりでなくて も大丈夫だが、ハキ ハキと ②言わなくても、手 動で操作を行う メンタルモデル構築度合（点） 1回目 研究背景 80 70 60 50 40 30 20 10 0 実験前 音声（画面無し） 音＋リ（画面無し） 1回目 10回目 音声（画面あり） 音＋リ（画面あり） メンタルモデル構築度合の推移 アレクサの応答や精度が回数を重ねたことで理解し、発話方法に変化が生じ、結果メンタ ルモデルが構築されていったのではないか？ 15

音声＋リモコン操作のプロトコル分析 10回目 ①滑舌よくハキハキと言 うようにした 画面 ②アレクサが何をできて 無し 何ができないか分からな いから、色々試してみた ①アレクサは何ができ て何ができないかが分 かり、音声とリモコン を使い分けてやった ②一つひとつハッキリ ①アレクサの使い方が分 からないから、ほとんど リモコンでやった 画面 ②アレクサでできない操 あり 作もある？ ③ハキハキ丁寧に ①音声操作でミスして もう一度やるよりは、 確実なリモコン操作で やった ②音声操作をするとき は無駄なことは言わず にやった 研究目的 研究方法 結果・考察 300 250 タスク時間(s) 1回目 研究背景 200 150 100 50 0 音＋リ（画面無し） 音＋リ（画面あり） 1回目 2回目 3回目 4回目 5回目 6回目 7回目 8回目 9回目 10回目 実験回数 音声+リモコン操作操作のタスク時間の推移 画面無しでは、アレクサの性能を確認した被験者が多く、1回目でタスク時間がかかっていた のに対し、画面ありでは、アレクサの性能をほとんど確認せず、慣れたリモコン操作を用いた 被験者が多かったため、差が生まれたのではないか？ 16

ユーザビリティの問題 研究背景 研究目的 研究方法 結果・考察 今回の実験におけるユーザビリティの特徴的な問題として、アレクサへ話しかける時の ユーザの文言やアレクサの応答の違いが挙げられる。これはインスペクション評価を行っ たときにも確認できたものである[1]。 アレクサの応答の違い 同じ文言をアレクサに言っても、違う反応が出て、一貫性がない。 発話例 ユーザ：「アレクサ、ライトの色を青にして、明るさを60％にして」 アレクサ：「電球RGB調色はそのように設定できません」 ユーザ：「アレクサ、ライトの色を青にして、明るさを60％にして」 アレクサ： 「はい」 [1] 西川祐生，土井俊央：タスク分析とチェックリストによるスマートスピーカーのユーザビリティ評価，第18回日本感性工学会春季大 会，18巻，ROMBUNNO.1B01-04(WEB ONLY) (2023) 17

まとめ 研究背景 研究目的 研究方法 結果・考察 • スマートスピーカーを何度も使うことでタスク時間，エラー回数の減少、メン タルモデルの構築に有意差がみられたが、音声操作の主観評価においては有意 差がみられなかった。 • 操作方法において各回で有意差はみられず、画面の有無においてはタスク時間 とエラー回数の1回目のみにみられた。 • スマートスピーカーを操作する回数が増えるにつれて、発話スピードや発話方 法に変化が生じ、学習効果が見られたが、評価に大きく影響は及ぼさなかった。 また、操作方法，画面の有無において学習面に着目した場合、影響がなかった ことが分かった。 18