【人工知能・深層学習】論文紹介：Why Steering Works:Toward a Unified View of Language Model Parameter Dynamics

論文紹介 Why Steering Works: Toward a Unified View of Language Model Paramete Dynamics 2026/7/18 立教大学人工知能科学研究科瀧研究室 木幡颯己

論文概要 タイトル： ・Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics (ACL 2026) 著者 : ・Ziwen Xu et al.(Zhejiang University, Alibaba Group) 概要： ・局所的な重みの更新、LoRA、アクティベーションステアリングという別個に扱われてき たLLMの制御手法を統一的な視点で分析を行う。 ・制御強度に伴う嗜好性(Preference)と有効性(Utility)のトレードオフをアクティベーショ ン多様体の観点から定量的に分析を行い、この分析から新たなステアリング手法「SPLIT」 を導入した。 2

研究背景 : LLMの制御手法の現状 LLMの制御の必要性： ・安全性やパーソナライズのためにモデルの振る舞いを信頼性高く制御する手法が求め られている。 現在のアプローチ手法 : ・学習時適応 ・局所的な重みの微調整 ・LoRAなどの効率的なパラメータの微調整 ・推論時適応 ・隠れ状態に直接ステアリングベクトルを加算するアクティベーションステアリン グ 3

研究背景 : 既存研究の課題 研究の断片化 : ・先述した様々な手法は異なる前提、異なる最適化目的、異なる評価プロトコルのもとで個 別に研究されてきた。 →手法間の数学的な共通性や相違点、共通する崩壊パターンの系統的な比較が困難であっ た。 「Preference」と「Utility」のトレードオフ : ・制御を強くするほど目的の概念は強く反映されるが出力の一貫性の喪失、指示違反、コン テキストのドリフトといった副作用が生じタスクの有効性(Utility)が予測不可能に低下する。 ・出力結果の評価だけでは、タスク自体の崩壊によって目的のシグナルが遮られ、正確な制 御品質の評価が難しくなる。 4

論文の主要な貢献 統一的な視点 : ・局所的な重みの微調整、LoRA、アクティベーションステアリングを共通の「動的重み更新」 として統一的に定式化 嗜好性と有効性の分離した分析 : ・出力確率から「嗜好性（概念への傾倒度）」と「有効性（タスク妥当性）」を分離し、対 数オッズ尺度で定量評価する枠組みを提案。 アクティベーション多様体仮説による幾何学的解明 : ・制御ベクトルの付与による表現空間の多様体からの逸脱を説明する理論モデルを提案し、 実験データとの高い一致を実証した。 新たな最適化手法である「SPLIT」の提案 : ・これらのメカニズムをもとに実用性をより維持しながら嗜好性を明示的に最適化する学習 目的「SPLIT」を提案 5

制御手法の定式化 LLMの中間レイヤーのアフィン変換による表現 : ・FFNやAttentionの射影層は以下のアフィン変換の形式で記述できる。 hi+1 = Whi + b LoRA : ・元の重みWを固定して、学習可能な低ランク更新 ΔW = BA, B ∈ R d×r, A ∈ R r×k, r ≪ min(d, k) を付加することで以下のように更新する。 W ← W + ΔW 局所的な重みの微調整 : ・ネットワークの一部のみを更新(本論文ではFFNのダウンプロジェクション層を対象にしている) (W, b) ← (W + ΔW, b + Δb) 6

制御手法の定式化 アクティベーションステアリング : ・推論中に特定の中間表現にステアリングベクトルvを以下のように加算する。ここでm は制御の強さを決定するスラカー値である。 hi+1 = Whi + b + mv ・これは線形表現仮説という抽象的な概念はモデルの表現空間における線形方向または 線形構造として表現されるという仮説に基づいて概念方向vに沿って状態を移動させてい るものである。 ・ステアリングベクトルをバイアスの調整項Δbとしてみなせば以下のように書け、バイ アスのみを更新するパラメータの更新の手法とみなせる b ← b + mΔb 7

統一的な重み更新としての定式化 更新式の統一化 : ・全ての介入は推論時に元の重みとバイアスを動的に修正するプロセスとして以下のよ うに記述できる。 hi+1 = (W + m1ΔW))h1 + (b + m2Δb) アクティベーション変化としての解釈 : ・重みの変更は順伝播時の中間表現に対する以下の変化量Δhの加算として解釈できる。 Δh = m1ΔWhi + m2Δb ・この定式化により各手法は「Δhをいかにして計算・適用するか」の差異に過ぎないこ とがわかる。 8

手法別のパラメータの更新内容 局所的な重みの微調整 : Wとbの両方を更新 LoRA : Wのみを低ランク分解で更新 アクティベーションステアリング : バイアスbのみを動的に更新 9

嗜好性(Preference)と有効性(Utility) 嗜好性(Preference) : ・モデルの内部的な「対象概念への傾倒度」、出力の流暢さやタスク形式の維持とは独 立。 ・例えば、「レストランのレビューを書いて」というプロンプトに対してポジティブな 嗜好性が高ければ好意的な単語(excellent,wonderful)を出力する傾向が強まる。 有効性(Utility) : ・モデルの「タスク遂行能力」、対象概念の極性とは独立。 ・プロンプトの指示に従い、一貫性があり正しいフォーマットのテキストを生成できる か・ ・無意味な単語を繰り返したり、指示を無視したりする状況は有効性が低いと言える。 10

嗜好性と有効性の分解 確率の分解 : ・概念の方向とタスクの有効性方向が直交しているという過程に基づいて、概念の正例 Apと負例Anの条件付き確率を以下のように分解する。 P(Ap | q) = P(u | q)P(pp | q) P(An | q) = P(u | q)P(pn | q) ・ここでP(u | q)はタスクの成功確率(Utility) ・P(pp | q) + P(pn | q) = 1は潜在嗜好性確率(Preference) 11

対数オッズの導入 嗜好性対数オッズ : ・有効性P(u | q)が相殺されることで正例と負例の損失Lp, Lnの差から直接算出が可能。 PrefOdds(q) ≜ log P(pp | q) P(pn | q) = Ln − Lp 有効性対数オッズ : ・P(u | q) = P(Ap | q) + P(An | q)とP(A | q) = e −Lを利用すると以下のように書ける。 P(u | q) e −Lp + e −Ln UtilOdds(q) ≜ log = log 1 − P(u | q) 1 − e −Lp − e −Ln これらを利用することで嗜好性と有効性を直接比較できるように 12

対数オッズの実験による観察 実験セットアップ : ・ベースモデル : Gemma-2-9B-IT (Layer 20), Qwen-2.5-7B-Instruct (Layer 14) ・タスク : AxBench内の上位10種類のサブセット ・介入手法 : 局所重み(SFT/RePS), LoRA(SFT/RePS), ベクトル(DiffMean/SFT/RePS) 得られたパターン : ・異なる介入形態（パラメータ更新か推論時加算か）に関わらず、制御強度mに対する反 応曲線は類似した形状を示す。 13

対数オッズの実験による観察 横軸 : 制御強度m 縦軸 : 対数Odds 実線 : 嗜好性 波線 :有効性 ・有効性はm = 0付近でピークを取り、 | m | が大きくなると低下していく。 ・嗜好性は | m | が小さな領域ではmに対 して線形に変化する。大きくなると平坦 化していく 14

多様体仮説 : 幾何学的解釈 なぜ制御を強めると有効性が低下するのか? ・事前学習によって、モデルの中間活性化(表現)は高次元空間内の「低次元の多様体ℳl」 の上、または近傍に位置している。 ・デコーダー(介入層から出力までの後続レイヤーFl→L)はこの多様体上の表現をデコー ドすることに特化して最適化されている。 ・小さな介入は多様体に沿って表現を 目的方向にスライドさせて安全に嗜好性 を高める ・大きな介入は多様体から押し出して未知 の領域に押し出してしまうため、表現とデ コーダーのミスマッチが発生し、有効性が 低下する。 15

多様体仮説の定式化 : 学習誘起多様体 仮定1 ・固定されたレイヤーlにおいて安定して処理される入力の集合Xstableに対し、中間表現 hl(x)は極めて高い確率で低次元多様体(またはその近傍)ℳl上に存在する Prx∼Xstable[d(hl(x), ℳl) ≤ ϵ] ≥ 1 − δ d( ⋅ , ℳl)は多様体への最短距離、ϵは近傍の半径、δは例外的な崩壊確率 16

多様体仮説の定式化 : 有効性の減衰 仮定2 ・活性化ベクトルhが多様体ℳlから離れるにつれ、後続の層Fl→Lが安定してデコードで きるかを示す有効性関数Vl(h)は単調減少する。 ・制御ベクトルΔhを用いた介入h′(m) = hl + mΔhに対し、平均的なデコード可能性D(m) を以下のようにモデル化する。 D(m) ≜ x∼Xstable[Vl(h′(m))] D(m)は介入規模 | m | の増加に伴って単調減少する。   𝔼 17

有効性減衰の関数モデル 減衰関数の数式化 : ・仮定1,2を具体的な関数で表現するためにRQ(Rational Quadratic)形式を採用し、制 御方向で非対称性があることに考慮し以下のように関数化を行った。 D(m) = ( ( 1+ 1+ 2 (m − m+) L+ ) −p+ , m ≥ 0, −p− (m − m−) L− ) 2 , m < 0. ・ここでm±は元のアクティベーションポイントからステアリング直線上の多様体上の交 差点までの符号付き距離を示す。また、L±は減衰の特性スケールを設定し、p±は軌道が 多様体近傍から離れる際の減衰率を制御する。 18

嗜好性の対数オッズの定式化 ここで以下のように嗜好性対数オッズの式を仮定する。 log P(pp ∣ h̃(m)) P(pn ∣ h̃(m)) = (ωp⊤h + ωp⊤Δhm)Dp(m) + bp = (ωp⊤h + αpm)Dp(m) + bp この式は以下のことを示す。 ・ | m − m± | ≪ L±の時Dp(m) ≈ 1となり、mに対して傾きαpで線形に増加する。 ・ | m − m± | がL±に近づき、さらに大きくなるとDp(m)が急激に減衰する。 →概念方向への射影成分が増えても、表現自体が無効化されるため対数オッズは平坦化 する。 19

有効性対数オッズの定式化 嗜好性対数オッズと同様に有効性オッズを以下のように仮定する log P(u ∣ h̃(m)) 1 − P(u ∣ h̃(m)) = (ωu⊤h + ωu⊤Δhm)Du(m) + bu = ωu⊤hDu(m) + bu ここでωu⊤Δhは直交すると考えられるため無視している。 この式は有効性対数オッズは純粋な減衰曲線で表現されることを意味する。 20

対数オッズのフィッテイング ・Psychopathy(性格傾向分類) ・PowerSeeking(権力志向の評価) ・AxBench(上位10個の概念、皮肉やユーモア など？) これらを利用して対数オッズを求め、その結果 を先ほどの対数オッズを定式化したもので フィッティングを行った。 →R 2が一貫して高くこの定式化が対数オッズの 変化をよく捉えていることがわかる。 21

SPLITの導入 Steering with Preference-Utility Intervention (SPLIT) : ・有効性を維持するために同じ入力に対する肯定的なサンプルと否定的なサンプルの両 方を利用したLutilを用意する Lutil = λp Lp + λn Ln ・嗜好性を持たせるためにヒンジ関数の形で以下のようにLprefを用意する。 Lpref = γ ⋅ ReLU(θ − (Ln − Lp)) これを組み合わせた以下のものを損失関数として学習する。 LSPLIT = Lutil + Lpref 22

SPLITの結果 23

結論と今後の課題 結論 : ・分断されていたLLMの制御手法(局所的な重みの微調整、LoRA、アクティベーション ステアリング)を一つの式で統合した。 ・アクティベーション多様体仮説に基づいて嗜好性と有効性のトレードオフを定式化 ・介入手法によらず性能を上昇させる最適化手法SPLITを設計。 今後の課題 : ・今回の研究はモデルの中間表現が多様体の近傍に位置していることを前提にしている が、そもそも巨大なモデルになった場合にこの前提が成り立たない場合がある。 ・今回の実験では単純な属性レベルの制御にとどまっており、複雑なタスクに適応でき るかは未検証である。 24