HCI206_24_01_13_01

スマートフォン利⽤時の 姿勢矯正システムに向けた ⾸の⾓度推定⼿法の提案 明治⼤学 渡邉健⽃，中村聡史

背景 Q. どのような姿勢でスマートフォンを使っていますか？ 1

背景 2

背景：ストレートネック 「頭部前⽅位姿勢」でスマートフォンを操作する⼈が多い ⻑時間持続することにより「ストレートネック」になってしまう 肩こり，⾸こり，顔周りのたるみ，⾸のシワ，うつ，etc… 3

アンケート調査 男⼥2,000名（有効回答者1,623名）を対象にアンケート スマートフォンを持つ⾼さ 8.0% 0.7% ⾝体のこり 13.0% 16.6% 28.5% 8.4% 26.8% 47.9% 50.1% ⽬の⾼さ ⾸の⾼さ 胸の⾼さ お腹の⾼さ それ以下 肩こり ⾸こり Yahoo!クラウドソーシング 2023年7⽉ 両⽅ なし 4

背景：⾸への負担 ⾸は傾けるほど⾸に負荷がかかる [Hansrajら 2014] 0度 5kg 15度 12kg 30度 18kg 45度 22kg 60度 28kg Hansraj, K. K.. Assessment of Stresses in the Cervical Spine Caused by Posture and Position of the Head. Surgical Technology International, 2014, vol. 25, no. 25, pp. 277-279. 5

背景：姿勢矯正システム ⽇常的に姿勢を意識することは容易ではない スマートフォン利⽤時の姿勢をリアルタイムで推定し フィードバックするシステムによって⽀援できる 6

関連研究：⾸の⾓度推定 ⾸筋や⾸裏に加速度センサを取り付けて⾸の⾓度を取得する研究 ex) イヤホン [Liaoら 2016]，ネックレス [Chung 2019]，etc... スマートフォンの傾きから⾸の⾓度を推定する研究 [Leeら 2013] • センサを購⼊，装着する⼿間から導⼊コストが⾼い • ユーザの⾸の⾓度を正確に推定できていない Liao, D. Y.. Design of a Secure, Biofeedback, Head-and-Neck Posture Correction System. 2016 IEEE First International Conference on Connected Health: Applications, Systems and Engineering Technologies (CHASE), 2016, pp. 119-124. Chung, H. Y., Chung, Y. L., & Liang, C. Y.. Design and Implementation of a Novel System for Correcting Posture Through the Use of a Wearable Necklace Sensor. JMIR Mhealth Uhealth, 2019, vol. 7, no. 5, e12293. Lee, H., Lee, S., Choi, Y. S., Seo, Y., & Shim, E.. A New Posture Monitoring System for Preventing Physical Illness of Smartphone Users. 2013 IEEE 10th Consumer Communications and Networking Conference (CCNC), 2013, pp. 713-716. 7

関連研究：データセット構築 既存研究における課題 • 良い姿勢と悪い姿勢の2種類の姿勢しかデータがない [Leeら 2013] • ⾸の⾓度の定義が曖昧でデータの客観性に問題があった [Lawanontら 2015] ⾸の⾓度の定義を明確化し， 様々なパラメータについて連続的な データセットの構築を⽬指す Lee, H., Lee, S., Choi, Y. S., Seo, Y., & Shim, E.. A New Posture Monitoring System for Preventing Physical Illness of Smartphone Users. 2013 IEEE 10th Consumer Communications and Networking Conference (CCNC), 2013, pp. 713-716. Lawanont, W., Mongkolnam, P., & Nukoolkit, C.. Smartphone Posture Monitoring System to Prevent Unhealthy Neck Postures. 2015 12th International Joint Conference on Computer Science and Software Engineering (JCSSE), 2015, pp. 331-336. 8

⽬的 スマートフォンのみを⽤いた⾸の⾓度推定 9

アプローチ スマートフォンの傾きと内カメラの映像に着⽬ ⾸が傾くほどユーザの⿐から⾸元までの距離が短くなる 正しい姿勢（以後基準姿勢） との割合を⽤いて推定 10

特徴量 2 1. スマートフォンの地⾯に対する⾓度 2. スマートフォンに対するユーザの顔の⾓度 3 1 3. ⽬と⽬の距離を⽤いて正規化した 基準姿勢時に対しての⿐から⾸元までの距離の割合 11

データセット構築：正解データ 肩峰とトラガスを結んだ直線の傾き トラガス 肩峰 基準姿勢： 肩峰とトラガスが 地⾯に対して垂直に並んだ姿勢 12

データセット構築：正解データ Mediapipeを⽤いて ⾸の⾓度を推定 外部カメラ（正解データ取得） 肩の検出精度 が低かった トラガス 肩峰 13

データセット構築：正解データ ARマーカを⽤いて座標を取得， ⾸の⾓度を算出 外部カメラ（正解データ取得） トラガス 肩峰 14

データセット構築：データ収集⽅法 ユーザの⾸の⾓度を計測する外部カメラ ➕ ⾸と顔，スマートフォンを動かしながら その時点の内カメラやセンサ情報を記録 15

データセット構築：動作デザイン ⾸の⾓度とスマートフォンの⾓度を固定する スマートフォンが⾒える範囲で顔の⾓度を上下する ×5セット スマートフォンと顔の距離を変える（近，中，遠） スマートフォンの⾓度を変える（90〜0度まで5段階） ⾸の⾓度を変える（60，45，30，15，0度） 事前に 壁に背中と頭を付け 基準姿勢における データを取得 16

機械学習：推定⼿法 参加者：⼤学⽣・⼤学院⽣5名（男性4名，⼥性1名） データ：84,374件（1名あたりおよそ16,000件） ランダムフォレストを⽤いて重回帰分析 5分割交差検証を⽤いて推定精度を検証 17

機械学習：結果 正解データ（度） 全員分のデータを学習 0 10 20 30 40 50 60 0 0.16 0.05 0.02 0.01 0.00 0.00 0.00 10 0.59 0.48 0.24 0.07 0.04 0.02 0.00 推定した値（度） 20 30 40 0.17 0.05 0.02 0.32 0.10 0.04 0.43 0.18 0.10 0.21 0.30 0.33 0.11 0.18 0.36 0.06 0.08 0.27 0.02 0.04 0.12 50 0.01 0.02 0.03 0.09 0.28 0.39 0.38 60 0.00 0.00 0.00 0.01 0.04 0.19 0.43 18

機械学習：結果 正解データ（度） 全員分のデータを学習 0 10 20 30 40 50 60 0 0.16 0.05 0.02 0.01 0.00 0.00 0.00 10 0.59 0.48 0.24 0.07 0.04 0.02 0.00 推定した値（度） 20 30 40 0.17 0.05 0.02 0.32 0.10 0.04 0.43 0.18 0.10 0.21 0.30 0.33 0.11 0.18 0.36 0.06 0.08 0.27 0.02 0.04 0.12 50 0.01 0.02 0.03 0.09 0.28 0.39 0.38 60 0.00 0.00 0.00 0.01 0.04 0.19 0.43 19

機械学習：結果 正解データ（度） 全員分のデータを学習 0 10 20 30 40 50 60 0 0.16 0.05 0.02 0.01 0.00 0.00 0.00 10 0.59 0.48 0.24 0.07 0.04 0.02 0.00 推定した値（度） 20 30 40 0.17 0.05 0.02 0.32 0.10 0.04 0.43 0.18 0.10 0.21 0.30 0.33 0.11 0.18 0.36 0.06 0.08 0.27 0.02 0.04 0.12 50 0.01 0.02 0.03 0.09 0.28 0.39 0.38 60 0.00 0.00 0.00 0.01 0.04 0.19 0.43 20

機械学習：結果 全員分のデータを学習 正解データ（度） 推定した値（度） 0 10 20 30 40 50 60 0 0.16 0.59 0.17 0.05 0.02 0.01 0.00 10 0.05 0.48 0.32 0.10 0.04 0.02 0.00 ⼀定の精度で推定可能ではあるが，精度には改善の余地がある 20 0.02 0.24 0.43 0.18 0.10 0.03 0.00 30 0.01 0.07 0.21 0.30 0.33 0.09 0.01 40 0.00 0.04 0.11 0.18 0.36 0.28 0.04 50 0.00 0.02 0.06 0.08 0.27 0.39 0.19 60 0.00 0.00 0.02 0.04 0.12 0.38 0.43 21

考察：肩の位置 0度，60度のデータは他の⾓度より分類される範囲が広い 精度が⾼いことが予想されるが，実際はほとんど同じか低い ⾸の⾓度が60度付近の姿勢 ⾸の⾓度が0度付近の姿勢 22

考察：⾻格推定の精度 スマートフォンが地⾯に垂直 スマートフォンが地⾯に⽔平 ⾸元が推定できている 胸元辺りが推定されている 23

展望 推定精度の向上 • 特徴量，正解データの取得⽅法について再検討 • 適切な前処理，学習⽅法の検討 ⾸の⾓度推定モデルを⽤いた姿勢矯正システムの開発 24

展望：姿勢矯正システム 姿勢が良い時 姿勢が悪い時 「上を向いてタップしよう」 姿勢が良いと有利に， 姿勢が悪いと不利になるゲーム 第10回スマートフォンアプリコンテスト, 2022 情報処理学会 CDS研究会 MBL研 究会 UBI研究会, http://contest2022.sig-cds.net/ 25

まとめ 背景：頭部前⽅位姿勢によるストレートネック ⽬的：スマートフォンのみを⽤いた⾸の⾓度推定 ⼿法：内カメラ上の⿐から⾸元までの距離の変化に着⽬ 結果：⼀定の精度で推定可能なものの改善の余地あり 考察：特徴量，正解データの取得⽅法に課題 展望：精度向上に努め，姿勢矯正システムの開発 26