文献06_Buxton, C. Allexsaht-Snider, M., Kayumova, S., Aghasaleh, R., Choi, Y., & Cohen, A. (2015). Teacher agency and professional learning- Rethinking fidelity of implementation as multiplicities of enactment 日本語要約

広島大学 外国人児童・生徒の教育課程デザイン論（南浦担当 2024） Buxton, C. Allexsaht-Snider, M., Kayumova, S., Aghasaleh, R., Choi, Y., & Cohen, A. (2015). Teacher agency and professional learning: Rethinking fidelity of implementation as multiplicities of enactment, Journal of Research in Science Teaching , 52 , 2015 , pp.489-502. 発表資料は，広島⼤学「外国⼈児童・⽣徒の教育課程デザイン論」（南浦担当）受講⽣の許可を得てこのサイトで紹介をしています。 （あくまで論⽂そのものではなく，その要約資料です。教育的価値・資料的価値として公開していますので，引⽤などは必ず原著に あたり，ここのものを転載・引⽤することはお控えください） 科学探究知識の構成的応答テストに 対する生徒の回答の量的・質的分析 眞鍋志野，小國晴香

Seohyun Kim（キム・セオヒョン） • 教育学や⼼理学の分野で活躍する研究者 • 彼⼥の研究は主に教育評価、⾔語学習、認知⼼理学 に関連している。 • 主な業績： • 教育評価：学⽣の学習成果や理解度を測るためのテ ストや評価⽅法に関する研究。 • ⾔語学習：学習者が科学的な内容をどのように⾔語 化し、理解しているかを探る研究。 • 認知⼼理学：学習者の認知プロセスや思考の仕組み を解明する研究。 • 彼⼥は学術雑誌に多くの論⽂を発表しており、教育 現場での実践的な改善や新しい教育⽅法の開発に貢 献している。

はじめに 「科学探究知識の構成的応答テストに対する生徒の回答の量的・質的分析」 構成的応答テスト…自分自身で答えを作り上げる必要 のあるテストのこと（以下，CRテスト） 例）オープンエンドの質問（なぜ，どのように）， エッセイ形式，記述式 量的分析…数値として測定されるデータ を統計を用いて分析する 質的分析…記述的（非数値的）なデータ を分析する ２つの分析方法を比較

概要 目的 ミドルスクールの生徒が科学的探究知識を問うCRテストに回答する際に どのようなことばを使用しているかについて異なる分析方法で比較する 背景 生徒の回答を分析して，回答が持つ潜在的なトピックを調査した研究は少ない 方法 量的分析として潜在的ディリクレ配分法（以下，LDA） 質的分析として選択体系機能言語学的な分析（以下，SFL） ↑同じことについて分析しているので結果は一致するはず... リサーチクエスチョン １）LDAとSFLの分析から生徒の回答について何がわかるか ２）２つの分析方法の共通点と相違点は何か

概要 結果 LDA：３つの潜在的なトピック「日常言語の多用」「一般的な学術言語の多用」 「分野特有の言語の多用」が明らかに 事後テストでは分野特有の言語が増加 SFL：事後テストではより専門的な語彙を使用し，語彙密度も高い まとめ LDAとSFLで結果は互いに一致 生徒は分野特有の言語や学術用語を使用する能力を向上させたと言える

背景 〈生徒が回答したテキストの分析〉 一般的には...ルーブリックを用いて採点 最近では...統計を用いた分析も利用 ルーブリック 項目 基準 S とてもよく書けている A よく書けている B 書けている C あまり書けていない こんな分類がデキマス こんな傾向がアリマシタ

背景 しかし，統計を用いた分析には注意が必要である ・間違った分析を行う可能性 ・研究者が解釈を間違う可能性 こんな分類がデキマス こんな傾向がアリマシタ こんな分類がデキマス（嘘） こんな傾向がアリマシタ（嘘） つまり〇〇ってことか！ チガウ... 統計を用いた分析（LDA）は本当に妥当なのか？ もし妥当なら，同様の評価をしようとする他の方法（SFL）と結果が一致するはず

背景 統計を用いた分析（LDA）は本当に妥当なのか？ もし妥当なら，同様の評価をしようとする他の方法（SFL）と結果が一致するはず 本研究では，LDAとSFLを用いて事前と事後のCRテストに対する生徒の回答を 分析し，それぞれの分析方法の妥当性を検討する 改めてリサーチクエスチョン １）LDAとSFLの分析から生徒の回答について何がわかるか ２）２つの分析方法の共通点と相違点は何か CRテスト…構成的応答テスト，いわゆる記述式テスト

背景 〈参加者〉 LISELLプロジェクトでデータを収集（2012/9〜2013/5） ミドルスクールの生徒 英語母語話者＋英語学習者（うち９５％以上がスペイン語母語話者） 事前テスト １５８１名 LDA:115名 英語母語話者＋学習者 事後テスト １767名 SFL:45名 英語学習者のみ 同じテストを実施 LDA:137名 英語母語話者＋学習者 SFL:45名 英語学習者のみ 同じテストを実施

研究１：潜在的ディリクレ配分法（LDA） LDAとは…テキストの集合の中の潜在的なトピックを検出するための統計モデル それぞれの文書がそれぞれのトピックをどれくらいの比率で使用して いるかも提供する テキストの集合 ＝生徒の回答の集合 特定のテキスト トピック１：… トピック２：… ! トピックK：… トピック１：56% トピック２：24% ! トピックK：0.1% 潜在的なトピック （今回は，どのようなことばを 使用したか（スライド３，目的）） トピックをどれくらい の比率で使用して いるか

研究１：潜在的ディリクレ配分法（LDA） 推定：テキストの集合の中の潜在的なトピックを検出する トピック１：… トピック２：… ! トピックK：… 潜在的なトピック （今回は，どのようなことばを 使用したか（スライド３，目的）） テキストの集合 〈データの前処理〉 テキストの意味に関係ない語を除去，小文字にする，単数形にする 生徒の回答の一部 The dependent variable is the outcome of your exercising, so if you work harder next time, this will change. ↓ dependent variable outcome exercising if work harder time change 折りたたみギブスサンプリングによる マルコフ連鎖モンテカルロ法（MCMC） dependent variable outcome exercising if work harder time change dependent variable dependent variable outcome exercising outcome exercising if work if work harder change harder timetime change dependent variable outcome exercising if work harder time dependentchange variable dependent variable outcome exercising if outcome exercising if harder work harder time change work time change 語彙の集合 if, work, harder, time dependent, variable, change outcome, exercise トピックを検出

研究１：潜在的ディリクレ配分法（LDA） 決定されたそれぞれのトピックを命名する Table2 それぞれのトピックで使用された上位１0語とその割合 順位 トピック１ 日常言語の多用 トピック１ 内の割合 トピック２ 一般的な学術言語の多用 トピック２ 内の割合 トピック３ 分野特有の言語の多用 トピック３ 内の割合 1 fish .040 variable .086 fish .050 2 weight .036 change .062 energy .042 3 water .033 fish .052 water .037 4 salt .030 boil .046 salt .035 5 because .028 independent .042 small .034 6 if .027 water .033 same .032 7 more .026 dependent .029 boil .021 8 eat .025 different .029 increase .020 9 lift .021 effect .028 amount .020 10 make .019 cause .028 decrease .020

研究１：潜在的ディリクレ配分法（LDA） LDAとは…テキストの集合の中の潜在的なトピックを検出するための統計モデル それぞれの文書がそれぞれのトピックをどれくらいの比率で使用して いるかも提供する テキストの集合 トピック１：… トピック２：… ! トピックK：… 特定のテキスト トピック１：56% トピック２：24% ! トピックK：0.1% 潜在的なトピック （今回は，どのようなことばを 使用したか（スライド３，目的）） トピックをどれくらい の比率で使用して いるか

研究１：潜在的ディリクレ配分法（LDA） 生徒の回答が持つトピックの比率を明らかにする 例えば， “The dependent variable is the outcome of your exercising, so if you work harder next time, this will change.” という回答がどのようなトピックの比率を持っているかを明らかにするには... Table3 例文のトピックに対するメンバーシップ（トピックの語をどれくらい持っているか） 例文 見出し “The dependent variable is the outcome of your exercising, トピック１ so if you work harder next time, this will change.” トピック２ 「従属変数は運動の結果なので，次頑張ればきっと結果 は変わるだろう。」 語 if, work, harder, time dependent, variable, change トピック３ outcome, exercise 無意味語 the, is, so, you, next, this, will, of 例文のトピックに対する比率 トピック１ (0.444) トピック２ (0.333) トピック３ (0.222)

研究１：潜在的ディリクレ配分法（LDA） 分野特有の言語の多用 Figure１の見方 トピック３ 例えば， “The dependent variable is the outcome of your exercising, so if you work harder next time, this will change.” 一般的な学術言語の多用 回 答 中 $ % & ' ( ) * 語 , 占 . / 割 合 ・右下…日常的な言語が多い ・左上…分野特有の言語が多い ・左下…一般的な学術言語が多い ・対角線上…一般的な学術言語が少ない ・縦軸上…日常的な言語が少ない ・横軸上…分野特有の言語が少ない 日常的な言語の多用 トピック１ トピック２ 回答中にトピック１の語が占める割合

研究１：潜在的ディリクレ配分法（LDA） Figure1 事前テストと事後テストの生徒におけるトピックの割合 事前テスト 事後テスト ・両方とも対角線上に集中 しているのは同じ ・事前テストから事後テストに かけて左上に広がっている つまり，事後テストでは「分野 特有の言語」をより使うように なった！ ↑ ここだけわかれば大丈夫

研究２：選択体系機能言語分析 (Systemic Functional Linguistics, SFL) ◎定義: 選択体系機能⾔語学 (SFL) は、⾔語を社会的な意味体系として捉 えるアプローチ。⾔語はコミュニケーションのための選択肢の集合として 機能する。

研究⽅法 データサンプル： スペイン語を⺟語とすると⾃認する学⽣に限定 1,581⼈の全サンプルから抽出されたプレテストの45⼈ 学年：6年生8名（18％）、7年生19名（42％）、8年生18名（40％） 性別：男性20名（44％）、女性25名（56％） 1,767⼈の全サンプルから抽出されたポストテストの45⼈ 学年：6年生6名（13％）、7年生19名（42％）、8年生20名（ 45％） 性別：男性20名（44％）、女性25名（56％） 各生徒の評価は、仮説、観察、証拠の調整、変数の制御、因果関係の説明という3つの科 学調査の実践を評価するための6つのCR項目で構成されていた。SFL分析では、3つの CR項目（各実践に1つずつ）を選択した。

研究1では、生徒の言葉の選択に焦点を当てた ⇒これは生徒が科学言語を使用する学習の重要な側面のひとつ。 研究2では、生徒が科学言語の主要な特徴をどの程度取り入れているかを 調査したい ⇒選択体系機能言語分析

選択体系機能言語分析は、主に質的なアプローチを用いる。 自分の考えをよりよく伝えるために、人々がどのように言語的な選択をするの かを探求する。 さらに、SFLの理論は、言語がさまざまな文脈で使用されるためにどのように 組織化され、どのように学問的・制度的な言説によって媒介されているかを分 析することに関心がある（Eggins, 1994）。 ⇒SFLは「言語システムを、さまざまな種類の意味を解釈するために利用可 能な選択肢の集合とみなす」 効果的な科学コミュニケーションにとって特に重要な言語的特徴： １．専門的語彙の使用 ここでは、研究1に最も密接に関連する ２．文法的に安定した言語クラス 「専門用語の使用」と「語彙密度の高さ」 ３・高い語彙密度 に限定して議論する ４．主題に対する主題構造

SFLの観点から見た専門語彙： ・科学の文脈に特有の語彙（例：光合成、絶縁体） ・科学的な意味で適切に使用されれば、日常的な用法と科学特有の用法の 両方を持つ語彙（例：物質、指揮）等 評価項目で生徒が使用した専門語彙を分析するため・・・ ①各問題で専門語彙が使用された回数をカウント ②各重点項目に対する回答で使用された各専門語彙の頻度をカウント

・テスト前とテスト後において、質問に対する生徒の回答で使用された最も一般 的な3つの専門語彙（使用頻度が高い順）の平均値と標準偏差 プレテスト （平均値、標準偏差） 変数の制御 独⽴ 溶解する 仮説と証拠の調整 藻類 原因と結果の説明 ポストテスト （平均値、標準偏差）

結果＿生徒の専門用語の使用における2つのパターン １．プレテストとポストテストでは、最も頻繁に使用される専門用語の性質が 異なっていた。 事前テスト 変数の問題：ウェイトトレーニングに関する単語 仮説の問題：物質の状態に関する単語 因果関係の問題：池の生態系に関する単語 事後テスト 変数、仮説、結果など、科 学調査の実践に関連する ものが多かった。 ２．プレテストからポストテストにかけて、使用された専門語彙の平均数に伸 びが見られた。 分析した3項目のうち2項目（仮説の調整、証拠と因果関係の説明）では、専門 語彙の平均数が2倍以上に増加。さらに、2つの項目の専門語彙の平均数の差 は統計的に有意であることが示された

語彙密度：任意のテキスト（話し言葉または書き言葉）に含まれる文法語に 対する内容語の比率を示す尺度 内容語：発言や記述の内容を説明することで、発話に基本的な意味を与 える語と定義される。 これには、ほとんどの名詞（代名詞を除く）、ほとんどの形容詞、ほとんどの 動詞（助動詞を除く）、ほとんどの副詞が含まれる。 文法語：代名詞、前置詞、接続詞、助動詞（例：can、could、will）、原形副 詞や形容詞、限定詞（例："a"、"the"、"my"）、間投詞（例："wow"）が含ま れる

語彙密度の例 • "The quick brown fox jumps over the lazy dog." • 総単語数:9 • 内容語は:"quick," "brown," "fox," "jumps," "over," "lazy," "dog" の7つ • 語彙密度:7/9=0.78

語彙密度として知られる内容語と文法語の比率（英語、スペイン語） 専門的でない標準的な文章⇒50％ 日常会話⇒50％以下 専門的な学術文章（科学文章など）⇒50％以上 ⇒語彙密度の増加は、より会話的な日常言語から、より専門的な学術言語への シフトと解釈できる。

語彙密度 わずかではあるが⼀貫した語彙密度の増加 テスト前とテスト後を⽐較すると、分析した3つの質問すべてにおいて、 ⽣徒の記述回答は、より会話的な⾔語使⽤から、よりアカデミックな⾔語 使⽤へと変化する傾向が⾒られた。

研究2の結論 SFL分析により、テスト前とテスト後で⽣徒の専⾨語彙の使⽤状況と語彙 密度の変化が明らかになった。 専⾨語彙の使⽤ ⽣徒が⼀般的な科学⽤語から、科学的プロセスに関連する専⾨⽤語へと移 ⾏したことがわかった。これは、科学調査の説明において、科学の知識体 系から探求のプロセスに重点が移ったことを⽰している。 語彙密度 ⽣徒の回答で内容語の使⽤量が増え、語彙密度が⾼くなっていることが⽰ された。これにより、事後テストの回答が科学のコミュニケーション規範 により沿ったものになったと結論できる。

考察 本研究では、CR項目に対する生徒の記述回答を用いて、2つ の分析方法を実施した。 ①LDA（潜在的ディリクレ配分法）による統計的分析 LDA分析によると、ポストテストの回答では、トピック3（分野 特有の単語）の使用比率が高くなっていた。 ⇒生徒がテスト期間中に学んだ専門用語をより活用するよう になった 先行研究では、トピック3の語彙使用とテストスコアに高い相 関があることが実証されており（Kim et al.）、本研究の結果 もこの傾向と一致している。

考察 ②SFL（系統的機能言語分析）による質的分析 SFL分析では、プレテストからポストテストにかけて、生 徒が科学的プロセスに関連する専門用語の使用量を増や し、語彙密度も向上させたことが明らかになった。 特に、ポストテストでは専門用語の質が向上し、よりアカデ ミックな表現が使われるようになった。

考察 LDAはソフトなクラスタリング手法であり、単語が複数のトピッ クに属する可能性がある。 一方、SFL分析は手作業による詳細なコーディングが必要で、 言語の細かな違いを直接的に分析するため、結果がより具体 的である。

本研究の結果は、LDAとSFLの両方で、生徒がテスト後に専 門的な用語を多く使用し、語彙密度が増加したことを示して いる。 テスト前後の語彙密度の増加は、「原因と結果を説明する問 題」において特に顕著であり、この傾向はLDA分析のトピッ ク3の使用の増加と一致している。 この研究により、LDAとSFLを組み合わせて分析することで、 学生の記述回答の語彙と構造がどのように変化したかを理 解することができ、科学教育において専門語彙と語彙密度の 両方を教えることの重要性が示唆された。

まとめ 本研究では、LDA分析とSFL分析を用いて、学生の科学調査 に関する記述回答の変化を調べた。 LDA分析⇒ テスト後の回答にはより多くの専門的トピックが含まれる傾向 が見られた。 SFL分析⇒学生が科学的プロセスに関連する専門的な単語 を多く使用するようになり、語彙密度も高くなったことが示され た。→学生が専門的かつアカデミックな言葉を使用する方向 にシフト この研究は、科学教育において専門語彙と語彙密度の両方を 教えることの重要性を示唆している。

＜論点・争点＞ ・外国人児童生徒におけるテストの評価をどのように行うか？ （ルーブリック？統計的な分析？複数の教師で評価する？外部 との協力？それとも・・・？） ・どういう言葉をどういう段階で教えるのがよいのだろうか？ （日常的な言語、一般的な学術言語、分野特有の言語・・・） ・評価として、統計を用いるべきか？ （子ども、保護者、教師の視点でどう感じる？）

ご清聴ありがとうございました Q＆A＆ディスカッション