学習者に馴染みのあるシーンの字幕英語化による意味類推を用いた英語学習支援手法の提案

学習者に馴染みのあるシーンの 字幕英語化による意味類推を 用いた英語学習支援手法の提案 明治大学B4 鳩貝怜央 木下裕一朗 中村聡史 1

背景 英語学習 単語や文法ベースの学習は退屈になりがち [Yu 2022] 映像コンテンツを用いた学習方法は • 学習の動機づけを高め，語彙の習得やリスニング力向上に 効果的 [Webb 2015] • 学習者の興味のある映像で視聴できるため継続しやすい 映像コンテンツを第二言語で視聴する学習方法に着目 Yu, K.: A Research on College Students’ English Learning Methods through Mobile Phone-Based software, Proceedings of the 2022 3rd International Conference on Education Development and Studies,pp. 71–75 (2022). Webb, S.: Extensive Viewing: Language Learning through Watching Television, Language Learning Beyond the Classroom, pp. 159–168 (2015). 2

背景 字幕 字幕を表示することで聞き取りやすくなり，単語の意味を 知ったりすることができる [Hsu+ 2013] [Montero+ 2013] 音声が英語の際 • 日本語字幕：映像ではなく字幕ばかり見てしまう • 英語字幕 ：そもそも意味の理解が難しい Hsu, C.-K. et al.: Effects of Video Caption Modes on English Listening Comprehension and Vocabulary Acquisition Using Handheld Devices, Journal of Educational Technology Society, Vol. 16, No. 1, pp. 403–414 (2013). Montero Perez, M., et al.: Captioned video for L2 listening and vocabulary learning: A meta-analysis, System, 3 Vol. 41, No. 3, pp. 720–739 (2013).

提案手法 あの... うまくなるための アドバイスが欲しいんですけど もっとうまく描ける気がしたのに… そうですね あの... うまくなるための アドバイスが欲しいんですけど I thought for sure my drawings wouldn’t be this rough. そうですね ©山口つばさ・講談社／「ブルーピリオド」The Stage 製作委員会 4

提案手法 字幕を通常時は日本語で，一部のシーンで英語に切り替える • 意味の類推が容易になる • 能動的に思考することで学習効果が向上する 日本語字幕 英語字幕 日本語字幕 あの... うまくなるための アドバイスが欲しいんですけど I thought for sure my drawings wouldn’t be this rough. そうですね ©山口つばさ・講談社／「ブルーピリオド」The Stage 製作委員会 5

提案手法 ©山口つばさ・講談社／「ブルーピリオド」The Stage 製作委員会 6

提案手法 英語に切り替えるセリフ選定 英語に切り替えるのに適したセリフ • 適切な難易度の単語のみで構成されているセリフ • 切り替えたセリフの前後の会話から類推可能なセリフ 7

関連研究 自己関連付け効果 物事を記憶する際，自分に関連することは記憶に残りやすい 「自己関連付け効果」 [Symonsら 1997] 単語の意味を考える上で，自分に結びつけて考えることで情報が 整理され，深く理解されることを明らかにした [Kleinら 1986] Symons, C. and Johnson, B.: The Self-Reference Effect in Memory: A Meta-Analysis, Psychological bulletin, Vol. 121, pp. 371–94 (1997). Klein, S. and Kihlstrom, J.: Elaboration, Organization, and the Self-Reference Effect in Memory, Journal of Experimental Psychology: General, Vol. 115, pp. 26–38 (1986). 8

提案手法 シーン選定 馴染みの有無で英語に切り替えるシーンを選定 馴染みのあるシーンでは • 学習者が知っている情報 • 共感できる要素 単語や文の意味を類推しやすくなる 馴染みのあるシーンをコンテキストありと定義 9

提案手法 コンテキストの比較 学習者にとって馴染みのあるシーンとそうでないシーンでの比較 実験対象者を美術経験のない大学生に設定 コンテキストあり：学校生活に関連するシーン コンテキストなし：美術に関連するシーン 「ブルーピリオド」 高校生の主人公が美術大学を目指す話 ©山口つばさ・講談社／「ブルーピリオド」The Stage 製作委員会 10

提案手法 プロトタイプ 字幕を表示する拡張機能 1分間隔で • 馴染みのあるシーン • 馴染みのないシーン 10個ずつ 計20個のセリフを英語化 11

提案手法 プロトタイプ 英語に切り替えた文の選定方法 CEFR（外国語の習熟度を評価する国際標準）がB1以下の 単語のみを含むセリフを英語化 2023年度の大学生のTOEIC平均スコアが596点 CEFRが B1：TOEICの点数550点に該当 B2以上：TOEICの点数が780点以上に該当 [1] [1]TOEIC ® Tests スコアの CEFR レベルマッピング方法について，https://21606703.fs1.hubspotusercontentna1.net/hubfs/21606703/library/default/toeic/official_data/toeic_cefr/mapping_cefr.pdf参照：2024-12-20 12

• https://21606703.fs1.hubspotusercontent-na1.net/hubfs/21606703/library/default/toeic/official_data/toeic_cefr/mapping_cefr.pdf

実験 2日間で2種類の字幕提示手法で視聴しテストに回答 比較手法：日本語と英語が同時に提示される字幕 [Kadoyamaら 1998] 手法とコンテキストの2要因2水準 Kadoyama, T.: Combined Use of English and Japanese Subtitles in Film Videos : An Attempt to Make Closed Captions More Accessible to Learners, ARELE(Annual Review of English Language Education in Japan), No. 9, pp. 53–63 (1998). 13

比較手法 ©山口つばさ・講談社／「ブルーピリオド」The Stage 製作委員会 14

実験 流れ 大学生・大学院生26名（うち3名を除外） • 提案手法→比較手法 （グループA） • 比較手法→提案手法 （グループB） の2グループに分類 第一話視聴 内容理解テスト 聞き取りテスト 第二話視聴 内容理解テスト 聞き取りテスト もう一方の手法 実験の流れ いずれかの手法 別日に 実施 15

内容理解テスト エピソード内の切り抜いた20個の映像を最大2回視聴し， どのようなシーンだったかを日本語で説明 ©山口つばさ・講談社／「ブルーピリオド」The Stage 製作委員会 16

聞き取りテスト 切り抜いた各映像内の一つのセリフのみを抽出した映像を 最大3回ずつまで視聴し，聞き取れた英文を回答 ©山口つばさ・講談社／「ブルーピリオド」The Stage 製作委員会 17

仮説 1. 特定のシーンのみ字幕を英語に切り替える提案手法は， 日本語と英語を同時に提示する手法よりも音声が聞き取りやすい 聞き取りテスト 2. 学習者にとって馴染みのあるシーンは意味類推がしやすい 内容理解テスト 18

実験 テスト 切り抜いたシーンの選定方法 提案手法において英語に切り替えたセリフを基に選定 提案手法において 英語で提示したセリフ 日本語で提示したセリフ コンテキストあり 5個 5個 コンテキストなし 5個 5個 19

結果 聞き取りテスト 話数ごとに分析： 話間で難易度を統一するこ とが難しい どちらの話においても 提案手法と比較手法の 中央値と平均値は同程度 各手法の正答率 20

結果 内容理解度テスト 回答のうち内容が的外れなものやわからないなどの回答数を調査 1話目 2話目 コンテキスト条件 コンテキストあり コンテキストなし コンテキストあり コンテキストなし 提案手法群 8個 5個 0個 0個 比較手法群 6個 3個 6個 5個 21

考察 手法間で正答率の有意差は見られず，仮説通りの結果は 得られなかった グループA：提案手法→比較手法 グループB：比較手法→提案手法 • 聞き取りテストでグループAの分散がグループBに比べ大きい • 内容理解テストで1話目と2話目どちらにおいてもグループAの 誤答が多い グループ間で英語力に差が出てしまった可能性 リスニングの点数でグループ分けをするべきであった 22

考察 正答率の高かった問題の例： I want you to draw your favorite scene It's a good painting with a lot of ambition 正答率の低かった問題の例： I thought for sure my drawings wouldn't be this rough 23

考察 実験参加者をTOEICの点数順に3つの群に分類し，各群で 正答率が高かった人数を調査 下位群：8 名，中位群：7 名，上位群：8 名 下位群 中位群 上位群 提案手法 4名 5名 6名 比較手法 4名 2名 2名 一定以上の英語力がある学習者にとって 有用であることが考えられる 24

考察 実験参加者ごとに各コンテキスト 条件の問題の平均を比較 コンテキストありの正答率が 高い場合は赤線：13名 低い場合は青線：10名 実験協力者ごとの各コンテキスト条件の 正答率推移 25

考察 全問の平均正答率が0.6以上の上位9名のうち8名はコンテキスト のある問題の正答率が高い結果が得られた コンテキストがあるシーンの単語は，聞いたことがある可能性が 高く，聞き取りやすさや理解のしやすさに繋がっていると 考えられる 26

考察 内容理解テストにおいて特定の問題で誤答が 多くなった 問題の選定方法はCEFRやセリフの長さのみに着目 適切でなかった可能性 27

展望 • あらゆる映像に対応できるような拡張機能の実装 プロトタイプは「ブルーピリオド」のみに適用可能 • 会話の速さや声の大きさなどの考慮 • コンテキストの有無が単語記憶へ及ぼす影響 28

まとめ • 背景：映像コンテンツを用いた学習方法である多視聴に着目 • 手法：コンテキストのあるシーンで英語字幕に切り替える • 実験：ブルーピリオド2話分を2手法で視聴 • 結果：手法間とコンテキスト条件間で有意差が見られなかった • 考察：問題選定が適切でなかった可能性 29