手書き文字練習における筆圧に応じたフィードバック手法の比較検証:音提示と色提示の比較
232 Views
December 10, 24
スライド概要
明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室
関連スライド
各ページのテキスト
手書き文字練習における 筆圧に応じたフィードバック手法の 比較検証：音提示と色提示の比較 明治大学B3 會田萌々花 會田萌々花 鳩貝怜央 明治大学B3 渡邉健斗 松田さゆり 中村聡史 株式会社ワコム 掛 晃幸 鳩貝怜央 渡邉健斗 松田さゆり 中村聡史 株式会社ワコム 掛晃幸
はじめに 音階を使って文字練習を支援するシステム「メロ字ィ」 https://melogy.net 1
背景 https://melogy.net 小学生から本格的な文字練習が始まる 文字練習において重要なこと ・楽しく練習すること ・丁寧に練習すること ・筆圧を意識して練習すること 2
関連研究：音による支援 https://melogy.net 筋トレの技術向上 [Lorenzoniら2019] 適切な動きに正解の音，不適切な動きに不協和音が鳴るシステム 初心者ゴルファーのスキル向上 [Yooら2020] 正しい動作に1回，間違った動作に2回タグ音が鳴るシステム V. Lorenzoni, J. Staley, T. Marchant, K. Onderdijk, P. Maes, and M. Leman, “The sonic instructor: A music-based biofeedback system for improving weightlifting technique,” PLoS One, vol.14, no.8, p.e0220915, 2019. K. Yoo, X. Wu, W. Zhuang, Z. Xia, and Y. Liu, “The effects of audible feedback as a coaching strategy on golf skill learning for novice players,” International Journal of Performance Analysis in Sport, vol.20, no.4, pp.596–609, 2020. 3
先行研究：メロ字ィ https://melogy.net 手書き軌跡に応じて メロディが鳴る 文字練習システムを提案 [鳩貝ら2024] 実験結果 • 練習回数の増加 • 丁寧に取り組むことを誘導 鳩貝怜央，松田さゆり，渡邉健斗，中村聡史，掛晃幸，“メロ字ィ：手書き練習における軌跡とお手本との距離を考慮したメロディ提示手法, ” 信学技報，Vol.123，No.433，MVE2023-43，pp.7-12，2024． 4
目的 https://melogy.net これまでは筆圧を意識した文字練習を支援できていなかった →筆圧に意識を促す文字練習を支援する 5
提案手法 https://melogy.net これまでのシステムに筆圧に応じたフィードバックを追加 色提示手法 音提示手法 6
提案手法：色提示手法 https://melogy.net 筆圧に応じて手書きストロークの表示色が変化する 7
提案手法：色提示手法 https://melogy.net 8
提案手法：音提示手法 https://melogy.net 筆圧に応じて鳴るメロディの数と音量が変化する ・筆圧弱：1音 ・筆圧中：2音 ・筆圧強：3音 9
提案手法：音提示手法 https://melogy.net 10
実験 https://melogy.net ワコムのペンタブレットを用いて文字練習を行ってもらう 練習対象とする文字「梵字」 実験協力者30名を2群に分類 • 音提示群（15名） • 色提示群（15名） 使用製品：Wacom One 液晶ペンタブレット12 11
実験 https://melogy.net 実験開始 練習段階では筆圧のお手本を提示 ベースライン（各3回） 音提示（各5回） 色提示（各5回） 5分休憩 タブレットでのテスト 紙媒体でのテスト アンケート 実験終了 ・筆圧を強くするところを赤丸で提示 ・筆圧を弱くするところを青丸で提示 12
実験 https://melogy.net 実験開始 ベースライン（各3回） 音提示（各5回） 色提示（各5回） テスト段階では筆圧のお手本を回収 タブレットでのテスト 筆圧を再現して1回ずつ書いてもらう 5分休憩 タブレットでのテスト 紙媒体でのテスト アンケート 実験終了 紙媒体でのテスト 梵字8文字が書かれた紙を配布 筆圧を強くするところを赤色 筆圧を弱くするところを青色で 印をつけてもらう 13
結果：筆圧の分布幅 https://melogy.net ベースラインと比較して各提示手法で筆圧の分布に差は あるものの音提示と色提示で有意差はみられなかった 14
結果：紙媒体でのテスト https://melogy.net 筆圧で注意すべき箇所（梵字8文字合計19箇所）の正誤を採点 適合率，再現率，F値いずれも音提示の方が色提示よりも優れた値を示した 群 適合率 再現率 F値 音提示 0.938 0.905 0.914 色提示 0.910 0.897 0.891 適合率 ＝ 実際に注意すべき箇所 / 注意すべき箇所だと予測した箇所 再現率 ＝ 注意すべき箇所だと予測箇所 / 実際に注意すべき箇所 15
結果：タブレットでのテスト https://melogy.net 両群で提示した筆圧のお手本に類似した筆圧分布になった 筆圧のお手本 16
考察：提示方法が及ぼす影響 https://melogy.net 音提示手法 練習中に聴覚的に処理する →リアルタイムでの処理で認知的負荷が大きい 色提示手法 練習後に視覚的に処理する →筆圧のフィードバックに応じた調整がしやすい 17
考察：筆圧に関する記憶 https://melogy.net 適合率，再現率，F値すべての指標において 音提示群が優れた値を示した →認知的負荷が大きいことで記憶に残りやすい 両群で筆圧分布がお手本として提示した筆圧に類似した →各提示手法が筆圧を意識した文字練習に効果的である 18
今後 https://melogy.net • 文字練習に集中しながら 心地よいフィードバックを提供する方法の検討 • 書道における文字練習への応用 • 本格的な文字練習が始まる小学生を対象とした実験 19
まとめ https://melogy.net • 背景：繰り返しの文字練習は単純作業で退屈に感じやすい • 目的：文字練習を楽しく効果的なものにする • 手法：筆圧に応じた音，色のフィードバックを与える • 実験：2群に分けて文字練習後，筆圧に関するテストを行う • 結果：筆圧の分布幅が広がり，教示した筆圧に類似した • 考察：筆圧を意識した文字練習が行えた可能性 • 今後：書道への応用，小学生を対象とした実験 20