ec75_0313
226 Views
March 17, 25
スライド概要
スマートフォン利用時において，スマートフォンを肩より下に置き，上から覗き込むような俯いた姿勢で操作してしまう人が多く見られる．首は傾ければ傾けるほど負荷がかかるため，このような姿勢を避けることが望ましい．そこで，本稿ではユーザの姿勢矯正を誘導するため，スマートフォンのみからユーザの首の角度を推定するモデルを用いてフィードバックを行うシステムをゲームとして実装した．具体的には，姿勢が良いとスコアが上がり，姿勢が悪いとスコアが上がりにくいようにゲームをデザインした．システムを用いて実験を実施し，姿勢矯正の可能性とゲームの楽しさに与える影響について検証した．実験の結果，首の角度に連動したフィードバックはゲームプレイ中の姿勢への意識を有意に高めることが明らかになった一方，楽しさには影響を与えないことがわかった．
明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室
関連スライド
各ページのテキスト
上を向いてタップしよう: 首の角度のリアルタイム推定を用いた 姿勢矯正を誘導するゲームの実現 明治大学 渡邉健斗 中村聡史
背景 Q. 普段どのような姿勢で スマートフォンを使っていますか？ 1
背景 2
背景：ストレートネック 「頭部前方位姿勢」でスマートフォンを操作する人が多い 長時間持続することにより「ストレートネック」になってしまう * * Hansraj, K. K.. Assessment of Stresses in the Cervical Spine Caused by Posture and Position of the Head. Surgical Technology International, 2014, vol. 25, no. 25, pp. 277-279. 3
背景：姿勢矯正システム 日常的に姿勢を意識することは容易ではない スマートフォン利用時の姿勢をリアルタイムで推定し フィードバックするシステムにより支援できる 4
これまでの研究 [HCI206] スマートフォンのセンサと内カメラを用いた首の角度推定手法 • 最も姿勢が良い場合との差分を利用 • データセットを構築し，ランダムフォレストを用いて学習 • 精度に課題はあるが一定の精度で推定は可能 渡邉 健斗, 中村 聡史. スマートフォン利用時の姿勢矯正に向けた首の角度推定手法の提案, 情報処理学会 研究報告ヒューマンコンピュータインタラクション （HCI）, Vol.2024-HCI-206, No.25, pp.1-7, 2024. 5
目的&アプローチ 目的 首の角度のリアルタイムフィードバックによる 姿勢矯正の促進可能性についての検証 アプローチ 姿勢が良いとポジティブなFB 姿勢が悪いとネガティブなFB を与える 6
シリアスゲーム シリアスゲームとは... 娯楽のみでなく教育や医療，ビジネスなど社会的な目的を 持ち合わせたゲーム ヘルスケアやフィットネスに対して有用 • VR環境で頭上を飛ぶ蝶を捕まえるゲーム [Mihajlovicら 2018] • 頭部の動きで仮想的な紙飛行機を操縦するゲーム [Beltran-Alacreuら 2022] Mihajlovic, Z. et al.: A system for head-neck rehabilitation exercises based on serious gaming and virtual reality, Multimedia Tools and Applications, Vol. 77, pp. 19113–19137 (2018). Beltran-Alacreu, H. et al.: A serious game for performing task-oriented cervical exercises among older adult patients with chronic neck pain: development, suitability, and crossover pilot study, JMIR Serious Games, Vol. 10, No. 1, p. e31404 (2022). 7
フィードバック設計 ゲームにおけるフィードバックの要件 • ゲームプレイ中に随時フィードバック可能 • 周囲の人への影響が小さい • スマートフォン以外のものを用いない 視覚フィードバック，ゲームの操作性の制御 姿勢が悪い場合 → 操作性を下げる 姿勢が良い場合 → 操作性を上げる 8
ゲームデザイン 画面内のコンポーネントの色やコントラストに着目 数字早押しゲーム ランダムに配置された数字を1から順番に 素早く押していくゲーム ボタンの背景色とテキスト色のコントラスト を調整することで探索容易性を制御 9
上を向いてタップしよう https://vps8.nkmr.io 10
システム動作例 https://vps8.nkmr.io 11
姿勢の良さに応じたフィードバック • 一定以上姿勢が良い場合に押すべきボタンのテキスト色をハイライト ハイライトを維持するように姿勢を制御する • 顔認識に失敗した場合はゲームを続行できないように 極端に悪い姿勢を抑制（顔と画面が近すぎるなど） 姿勢良 姿勢通常 姿勢不良 顔認識失敗時 12
実験 仮説 H1: 姿勢が良いとゲームがやりやすく，姿勢が悪いとゲームがやりにくくなる フィードバックを与えることで，ユーザの姿勢矯正意識が増加する H2: ユーザの姿勢の良さに連動したゲームの操作性の調整により ゲームの楽しさが増加する 実験計画 • 実験参加者内比較 • 大学生，大学院生10名 13
実験 評価指標 • 主観評価（姿勢への意識，ゲームの楽しさ） • システムによる首の角度の推定結果 実験条件 顔認識FB条件： 顔認識に失敗した場合のFBのみ 顔+姿勢認識FB条件： 顔認識に失敗した場合のFB + 姿勢の良さに連動したFB 14
実験手順 1. 実験説明 2. キャリブレーション 参加者の最も姿勢が良い際のデータを記録 3. 練習フェーズ システムに慣れてもらうために2回ずつ 4. 本実験 セット間に3分間のパズルタスク 5. 全体アンケート FBの効果やゲームの楽しさ，疲労度など 15
結果：主観評価 各セットの主観評価（顔認識FB条件と顔+姿勢認識FB条件）を ペアとして対応のあるt検定を実施 ゲームの楽しさ 姿勢についての意識 • 姿勢への意識は有意に高くなる（p<.001） • ゲームの楽しさは変わらない 顔認識FB条件 顔+姿勢認識FB条件 顔認識FB条件 顔+姿勢認識FB条件 16
結果：システムの評価 ゲームプレイ中の首の角度の分布をみると外れ値となるような値があった 上下10%を除いた中央80%の平均を取ることで外れ値を除外 顔+姿勢認識FB条件の方が有意に首の角度が小さい（p<.001） 顔認識FB条件 顔+姿勢認識FB条件 17
結果：システムの評価 テキスト色がハイライトされていた（今回は15度以内）割合を比較 首の角度が15度以内と推定された割合 顔+姿勢認識FB条件の方が有意に15度以内の維持率が高い（p<.001） 顔認識FB条件 顔+姿勢認識FB条件 18
考察：姿勢への意識 顔+姿勢認識FB条件の方が姿勢への意識が有意に高かった H1を支持 ・首の角度のリアルタイムFBにより姿勢の悪化に気付きやすかった ・姿勢が良いとプレイしやすいためモチベーションが維持しやすかった ・システムの評価（首の角度の平均）にも表れている 首の角度が15度以内であった割合も有意に高かった テキスト色がハイライトされるように維持 ・姿勢が一定以上良い場合にプレイしやすくすることで誘導可能 ・この閾値を調整することでユーザをより良い姿勢で維持できる可能性 19
考察：ゲームの楽しさ 姿勢に連動したFBの有無はゲームの楽しさに影響しなかった H2を支持しない ・ゲーム自体が単調であり，複数回プレイすることで飽きてしまった ・顔認識失敗の時間の長さが楽しさを低下させた 参加者のコメント • 「ゲーム内容が単調なので、何かギミックがあれば面白そう」 • 「顔が検出されない状態が長く続くとつまらないと感じた」 • 「自分の姿勢が悪いのかもしれないが認識できないことが多かった」 20
考察：ゲームの楽しさ ゲームのクリアタイムが大きく影響した可能性 相関係数：-0.52（やや強い負の相関） 姿勢に連動したFB有無に関わらず クリアタイムによる影響が大きかった 21
課題と展望 姿勢への意識 • 顔認識をさせる行為自体が姿勢への意識を高めた可能性 システム外からユーザの姿勢を評価することで普段の姿勢と比較可能 ゲームの楽しさ • ゲーム内容の工夫 • 姿勢推定精度の向上 他のアプリケーションへの応用 • ゲームのみでなく日常的に利用するアプリケーションに組み込む 22
まとめ 背景：ストレートネック，頭部前方位姿勢 目的：首の角度のリアルタイムFBによる姿勢矯正意識の促進 アプローチ：姿勢に応じたポジティブ/ネガティブFB 実験：実験者内比較（顔認識FB，顔+姿勢認識FB） 結果：姿勢への意識は有意に向上するが，楽しさには影響しない 考察：姿勢に応じた画面変化が有効であった可能性 展望：普段の姿勢との比較，他のアプリケーションへの応用 23