眼鏡型計測端末を用いたゲームプレイにおける重要なシーン抽出手法の検討

眼鏡型計測端末を⽤いた ゲームプレイにおける 重要なシーン抽出⼿法の検討 藤原優花 (明治⼤学) 南⾥英幸 ⼭浦祐明 中村聡史 (明治⼤学)

e-Sports 「e-sports」という⾔葉とよく聞く

e-Sports

e-Sports

e-Sports 「 electronic Sports 」の略 コンピュータゲームを競技として捉えた名称 ・⽣計を⽴てる職業の⼀つ ・奨学⾦を導⼊してプロを育成

e-Sportsのジャンル ・FPS ・TPS ・RTS ・MOBA ・格闘ゲーム ・スポーツゲーム ・レーシングゲーム ・パズルゲーム ・トレーディングカードゲーム ・⾳楽ゲーム ・MMORPG ・オンラインストラテジー

e-Sportsのジャンル ・MOBA

MOBA ・Multiplayer online battle arenaの略 ・League of Legends、Dota 2などが有名 ・オンラインを通して対戦可能 ・チームに各役割があり、競技性が⾼い ・国際⼤会も盛り上がってる

MOBA ・MOBA(Multiplayer online battle arena)の略 ・League of Legends、Dota 2などが有名 ・オンラインを通して対戦可能 ・チームに各役割があり、競技性が⾼い ・国際⼤会も盛り上がってる パフォーマンスの向上が⼤事

パフォーマンスの向上 ・練習試合を⾏う ・プロが開催しているコーチングを受ける ・プレイの振り返りを⾏う ・プレイが上⼿な⼈の配信を⾒る

パフォーマンスの向上 ・プレイの振り返りを⾏う

振り返りの有⽤性 ゲームにおける⽅略の振り返りが動機付けに及ぼす効果： カードゲーム型学習教材「マスピード」を例に [村川ら(2013)]

振り返りの有⽤性 ゲームにおける⽅略の振り返りが動機付けに及ぼす効果： カードゲーム型学習教材「マスピード」を例に [村川ら(2013)] ↓ プレイごとに簡単な振り返りを ⾏うことによって学習意欲が向上

振り返りの有⽤性 ゲームにおける⽅略の振り返りが動機付けに及ぼす効果： カードゲーム型学習教材「マスピード」を例に [村川ら(2013)] ↓ プレイごとに簡単な振り返りを ⾏うことによって学習意欲が向上 エンターテイメント⾯にも繋がるのでは？

振り返りの有⽤性 感想戦 囲碁や将棋などの対局終了後にその対局を再現し、 その着⼿の善悪や最善⼿などを検討すること

振り返りの有⽤性 感想戦 囲碁や将棋などの対局終了後にその対局を再現し、 その着⼿の善悪や最善⼿などを検討すること 対局終了後にすぐに理解を深めることで レベルアップを図っている

振り返りの有⽤性 ・プレイの振り返りを⾏う

振り返りの有⽤性 ・プレイの振り返りを⾏う 現状ではどのくらいの⼈が 振り返りを⾏っているのか？

アンケート結果 (振り返りの頻度) LoLをプレイしたことがある⼈を対象にアンケートを実施

アンケート結果 (振り返りの頻度) LoLをプレイしたことがある⼈を対象にアンケートを実施 → 男⼥217⼈の回答 (2⼈はプロ)

アンケート結果 (振り返りの頻度) Q. リプレイ機能を使いますか？ (2⼈のプロの回答)

アンケート結果 (振り返りの頻度) Q. リプレイ機能を使いますか？ (2⼈のプロの回答) 2名ともリプレイ機能をよく利⽤している ・ミスに気づけるから ・敗因を知る為

アンケート結果 (振り返りの頻度) Q. リプレイ機能を使いますか？ (2⼈のプロの回答) 2名ともリプレイ機能をよく利⽤している ・ミスに気づけるから ・敗因を知る為 プロは振り返りを⾏っている

アンケート結果 (振り返りの頻度) Q. リプレイ機能を使いますか？ (215⼈の⼀般⼈の回答)

アンケート結果 (振り返りの頻度) Q. リプレイ機能を使いますか？ (215⼈の⼀般⼈の回答) 「はい」と回答 21.2%

アンケート結果 (振り返りの頻度) Q. 「はい」と回答しなかった⼈はなぜ使わないのか？

アンケート結果 (振り返りの頻度) Q. 「はい」と回答しなかった⼈はなぜ使わないのか？ ・⼿間がかかる ・振り返るのに時間がない ・⾯倒だから

どうして使われないのか？ 多くのゲームにはリプレイ機能が搭載されている

どうして使われないのか？ 多くのゲームにはリプレイ機能が搭載されている ↓ 1試合にかかる時間が⻑い

どうして使われないのか？ 多くのゲームにはリプレイ機能が搭載されている ↓ 1試合にかかる時間が⻑い ↓ 振り返りにかかる時間も⻑くなる

どうして使われないのか？ 振り返りを簡単にすればいいのでは？

簡単にするためには 効率的に重要なシーンを抽出し、 ダイジェスト動画を作成する⼿法

簡単にするためには e-Sportsの特徴 ・戦闘の状況に応じて瞬時に、的確に操作する「俊敏さ」 ・正確な操作や仲間との連携のための「トレーニング」 ・仲間との⽇頃の「チームワーク」 ・相⼿に勝つための「戦略」

簡単にするためには e-Sportsの特徴 ・戦闘の状況に応じて瞬時に、的確に操作する「俊敏さ」 ・正確な操作や仲間との連携のための「トレーニング」 ・仲間との⽇頃の「チームワーク」 ・相⼿に勝つための「戦略」 「集中」することが⼤事になってくる

簡単にするためには 「集中」と重要なシーンは関連しているのでは？

⽬的 振り返りのダイジェスト動画⽣成のための 重要なシーンと集中の関係性の検討

集中の測定 JINS MEMEを使⽤して プレイ動画と集中度を同時に計測する

集中の測定 メガネ型デバイス JINS MEMEを⽤いた ワークロード推定の基礎的検討 [⼩川ら(2015)] JINS MEMEを利⽤した⼤学講義における 受講者の学習状態の推定 [⻑尾ら(2017)]

集中の測定 JINS MEME ・眼電位の電位変化 ・瞬きの回数 ・顔の姿勢の保ち具合 →「集中」「姿勢」「落ち着き」

集中の測定 Understanding Cyber Athletes Behaviour through a Smart Chair: CS:GO and Monolith Team Scenario [Anton Smerdov(2019)] 姿勢からプロを特定できる

重要なシーンと集中の関係性の検討 重要なシーンと集中の関係性を調べるために 実際にプレイした動画を使って どのようなシーンが選出されるのか調査を⾏う

重要なシーンと集中の関係性の検討 重要なシーンと集中の関係性を調べるためのデータセット 1. LoLのプレイ動画を撮影 2. その動画を視聴してもらう 3. 重要なシーンを選出する

1. LoLのプレイ動画を撮影 ・243試合分のプレイ動画を収集 ・環境は協⼒者ごとに選択 協⼒者 4名(男性3名, ⼥性1名) 協⼒者を各熟練度に分類

League of Legends 本拠地 本拠地を先に 破壊したら勝利

League of Legends 道中にある塔を 順番に壊していく

League of Legends 相⼿を倒して 経験値やお⾦を稼ぐ

League of Legends アイテムを買って キャラクターを強化する

League of Legends 状況によっては 集団戦になる

熟練度別の定義 弱い 強い

熟練度別の定義 弱い 初級者 強い 中級者 上級者

1. LoLのプレイ動画を撮影 ・243試合分のプレイ動画を収集 ・環境は協⼒者ごとに選択 協⼒者 4名(男性3名, ⼥性1名) 協⼒者は上級者2⼈、中級者1⼈、初級者1⼈

2. その動画を視聴してもらう ・収集した中で不備を除き各熟練度のプレイを含めて 勝ち負け5試合ずつを選出 ・選出した動画を視聴 評価者は協⼒者のうち 3名(男性2名, ⼥性1名) 評価者は上級者1⼈、中級者1⼈、初級者1⼈

3. 重要なシーンを選出する 良いシーンと悪いシーンを選出してもらう ただし、必ずしも選出する必要はない

プレイヤ 敵

味⽅ プレイヤ プレイヤと味⽅との 距離が離れていた

プレイヤ 敵 味⽅

重要なシーン ⾃⾝のプレイでその試合が味⽅にとって 有利・不利になると明確に判断できるシーン

分析内容 レベル差による選出シーンの違い ・熟練度別の評価 ・カッパ係数 重要なシーンを抽出するための特徴 ・選出シーンの傾向

分析結果 (熟練度別の評価) 各選出者が選出した良いシーン (初級者 負け試合) 集中 姿勢 落ち着き 上級者 中級者 初級者

分析結果 (熟練度別の評価) 各選出者が選出した良いシーン (初級者 負け試合) 集中 姿勢 落ち着き 上級者 中級者 初級者

分析結果 (熟練度別の評価) 各選出者が選出した悪いシーン (初級者 負け試合) 集中 姿勢 落ち着き 上級者 中級者 初級者

分析結果 (熟練度別の評価) 各選出者が選出した悪いシーン (初級者 負け試合) 集中 姿勢 落ち着き 上級者 中級者 初級者

分析結果 (熟練度別の評価) 3者の評価は⼀致していない

分析結果 (熟練度別の評価) 各選出者が選出した悪いシーン (上級者 勝ち試合) 集中 姿勢 落ち着き 上級者 中級者 初級者

分析結果 (熟練度別の評価) 各選出者が選出した悪いシーン (上級者 勝ち試合) 集中 姿勢 落ち着き 上級者 中級者 初級者

分析結果 (熟練度別の評価) 各選出者が選出した悪いシーン (上級者 勝ち試合) 特に問題はない 集中 姿勢 落ち着き 上級者 中級者 初級者 慎重に⾏動していない

プレイヤ 敵 ここから別の敵が 奇襲をかける

分析結果 (熟練度別の評価) 初級者と他者との評価が⼀致していない

分析結果 (カッパ係数) 独⽴に得られた評価が どれくらい⼀致しているか計算した値 値が1に近いほど2つの評価が⼀致していると⾔える 値の範囲は -1 < κ < 1となる

分析結果 (カッパ係数) 熟練度別のカッパ係数の平均 勝ち(悪) 勝ち(良) 負け(悪) 負け(良) 初級と中級 0.114 0.100 0.199 -0.013 初級と上級 0.148 0.119 0.196 0.033 中級と上級 0.363 0.663 0.322 0.450

分析結果 (カッパ係数) 熟練度別のカッパ係数の平均 勝ち(悪) 勝ち(良) 負け(悪) 負け(良) 初級と中級 0.114 0.100 0.199 -0.013 初級と上級 0.148 0.119 0.196 0.033 中級と上級 0.363 0.663 0.322 0.450

分析結果 (カッパ係数) 熟練度別のカッパ係数の平均 勝ち(悪) 勝ち(良) 負け(悪) 負け(良) 初級と中級 0.114 0.100 0.199 -0.013 初級と上級 0.148 0.119 0.196 0.033

分析結果 (カッパ係数) 熟練度別のカッパ係数の平均 勝ち(悪) 勝ち(良) 負け(悪) 負け(良) 初級と中級 0.114 0.100 0.199 -0.013 初級と上級 0.148 0.119 0.196 0.033

分析結果 (カッパ係数) 熟練度別のカッパ係数の平均 勝ち(悪) 勝ち(良) 負け(悪) 負け(良) 初級と中級 0.114 0.100 0.199 -0.013 初級と上級 0.148 0.119 0.196 0.033 初級者と他者の評価は⼀致していない

考察 (レベル差について) ・初級者と他者の評価は⼤きく異なっている ・中級者と上級者の選定基準は近い

考察 (レベル差について) ・初級者と他者の評価は⼤きく異なっている ・中級者と上級者の選定基準は近い ↓ 初級者はシーン選出者としては適していない

考察 (レベル差について) ・初級者と他者の評価は⼤きく異なっている ・中級者と上級者の選定基準は近い ↓ 初級者はシーン選出者としては適していない 中級者や上級者の視点で振り返りを⾏えば 初級者は⼤幅なレベルアップが期待できる

分析結果 (選出シーンの傾向) 各選出者が選出した悪いシーン (中級者 勝ち試合) 集中 姿勢 落ち着き 上級者 中級者 初級者

分析結果 (選出シーンの傾向) 各選出者が選出した悪いシーン (中級者 勝ち試合) 集中 姿勢 落ち着き 上級者 中級者 初級者

分析結果 (選出シーンの傾向) 各選出者が選出した悪いシーン (中級者 勝ち試合) 集中 姿勢 落ち着き 上級者 中級者 初級中 者 集 が⾼い 落ち着きが低い

分析結果 (選出シーンの傾向) 各選出者が選出した悪いシーン (上級者 負け試合) 集中 姿勢 落ち着き 上級者 中級者 初級者

分析結果 (選出シーンの傾向) 各選出者が選出した悪いシーン (上級者 負け試合) 集中 姿勢 落ち着き 上級者 中級者 初級者

分析結果 (選出シーンの傾向) 各選出者が選出した悪いシーン (上級者 負け試合) 集中 姿勢 落ち着き 上級者 中級者 級者の変動 姿初勢 が ⼤きい

プレイヤ

考察 (推定可能性の検討) 悪いシーンにおいて姿勢が⼤幅に変動している 中級者と上級者にて集中が⾼く、落ち着きが低い部分を 悪いシーンとして選出している

考察 (推定可能性の検討) 悪いシーンにおいて姿勢が⼤幅に変動している → ユーザの振る舞いを考慮する必要がある 中級者と上級者にて集中が⾼く、落ち着きが低い部分を 悪いシーンとして選出している

考察 (推定可能性の検討) 悪いシーンにおいて姿勢が⼤幅に変動している → ユーザの振る舞いを考慮する必要がある 中級者と上級者にて集中が⾼く、落ち着きが低い部分を 悪いシーンとして選出している → 重要なシーンを上⼿く抽出できるのでは？

考察 (推定可能性の検討) 上級者ついての詳細なデータセットを構築し 重要なシーンの特性を明らかにする

ダイジェスト動画に向けて 30〜40分の試合 5~10分の動画

まとめ 背景 振り返るための時間が⻑く、 多くのユーザが⾏っていない ⽬的 振り返りのダイジェスト動画⽣成のための 重要なシーンと集中の関係性の検討 結果 中級者と上級者の評価は重要なシーンとして 抽出が可能である 展望 選出したシーンが重要かどうかの評価 どのようにダイジェストにつなげるか