臨床試験と因果モデル

第5回 統計・機械学習若手シンポジウム 臨床試験と因果モデル 東京理科大学 工学部情報工学科 篠崎 智大 [email protected] 2020年12月5日 14：50～15：30

2つの因果モデル Judea Pearl Don Rubin V1 V2 V3 V4 V5 Yi(1) Control X=0 Yi(0) Rubinの因果モデル（RCM） 構造的因果モデル 構造方程式 Vk = f(paVk, εk) Treatment X=1 モデルの基礎要素 潜在（反事実）アウトカム Yi(1) vs. Yi(0) グラフ（DAG, directed acyclic graph） 推測の基礎理論 割付メカニズム、標本分布論、欠測データ マルコフ条件、定常性、自律性 キーとなる仮定 SUTVA (consistency + no-interference) “Causation before manipulation” 因果に関する標語 “No causation without manipulation” 3

第3の因果モデル Judea Pearl Don Rubin V1 V2 V3 V4 V5 Treatment X=1 Yi(1) Control X=0 Yi(0) James Robins 4

Robinsの因果モデル FRCISTG（fully randomized causally interpretable structured tree graph） Rubin的 モデルの基礎要素（ontological primacy）として潜在アウトカム Yi(x) を措定 SUTVA（consistency + no-interference）を満たす介入に限って効果を定義 Pearl的 グラフ（DAG）に基づく識別条件の整理  ただし、グラフの解釈は Pearl と異なる（⇒ SWIG の導入） 複雑な関係にある複数変数への逐次的な介入を許容 Robins & Richardson, 2010 “Alternative graphical causal models and the identification of direct effect” 5

Robinsの因果モデル FRCISTG（fully randomized causally interpretable structured tree graph） Rubin的 モデルの基礎要素（ontological primacy）として潜在アウトカム Yi(x) を措定 SUTVA（consistency + no-interference）を満たす介入に限って効果を定義 Pearl的 グラフ（DAG）に基づく識別条件の整理  ただし、グラフの解釈は Pearl と異なる（⇒ SWIG の導入） 複雑な関係にある複数変数への逐次的な介入を許容 介入主義 interventionism 「現実に可能な介入」で定義される効果のみ推測対象とする   定義される効果：Rubinモデル（介入の種類を限ればPearlとも）と同様 識別される効果：PearlよりもRubinよりも限定される 6

Robins流の因果推論 1時点の治療の効果 Rubin流の定式化 2時点以上の（繰り返し or 継続される）治療の効果 時間依存性交絡とその調整 一般の治療方針（治療レジメ）の効果 考え方といくつかの実例 7

潜在アウトカム Potential outcomes Yx：曝露 X = x を受けた場合のアウトカム i が曝露を受けた場合（Xi = 1）のアウトカムYi Yix=1 i が曝露を受けなかった場合（Xi = 0）のアウトカムYi Yix=0 8

潜在データと観察データ Yx=0 Y Causal effect (Yx=1 – Yx=0) 対象者 i X Yx=1 A 1 1 1 1 0 B 1 1 0 1 1 C 0 0 0 0 0 D 0 1 0 0 1 E 1 0 1 0 –1 F 0 1 1 1 0 G 0 1 0 0 1 9

平均因果効果 E(Yx=1) – E(Yx=0) の推定 交換可能性の仮定 交絡変数が C として全て測定されている Yx=0 ∐ X | C Yx=1 ∐ X | C, C で層別（= 条件付け） 層内のアウトカム平均 E(Y|X = x, C = c) （= 回帰）を重み付け平均   回帰モデル： E(Y|X = x, C = c) を統計モデルで近似 各層の重みを P(C = c) ⇒ 標準化、g-computation 層内の治療確率 P(X = 1|C = c) = 傾向スコア  傾向スコアモデル： P(X = 1|C = c) を統計モデルで近似 ⇒層別（回帰調整）、マッチング、逆確率重み付け（IPW） 10

継続される／切り替わる治療・曝露 抗ウイルス剤によるHIV治療効果 抗ウイルス剤は要・継続服薬 副作用（肺炎）による休薬、対症治療 CD4細胞数減少による再開 … 職業曝露による健康被害効果 職務期間を通して曝露が続く 健康状態悪化による休職・配置転換 健康になってきたら職場復帰とともに曝露再開 … 11

潜在アウトカムの拡張 繰り返し治療 (X1, X2) Yx1,x2: 治療 X1 = x1, X2 = x2 の潜在アウトカム (Y0,0, Y1,0, Y0,1, Y1,1) のうち、観測されるのは1つ 残りは反事実 平均因果効果 = E(Y1,1 – Y0,0) 他にも… E(Y1,0 – Y0,0) E(Y1,1 – Y0,1) E(Y0,1 – Y0,0) 12

現実に意味のある介入？ なにがなんでも治療を継続 (x1, x2,…, xK) = (1,1,…,1) なにがなんでも無治療を継続 (x1, x2,…, xK) = (0,0,…,0) 時点 k （e.g. 治療開始後半年）から休薬 (x1,…, xk–1, xk,…, xK) = (1,…,1,0,…,0) ちょっとむりがある…？ 13

治療方針にもとづく効果 「治療を継続する」という治療方針 (x1, x2,…, xK) = (1,1,…,1) 治療禁忌（e.g. 有害事象）による継続困難 「治療を継続する」という治療方針の有用性？ 「禁忌症状で中止する以外は治療を継続」という方針へ Robins & Finkelstein, Biometrics 2000 Hernán & Robins, New England Journal of Medicine 2017 あらかじめ定まった治療・無治療の流れでなく 治療方針（ルール）に対して効果が定義されるべき 14

治療方針の数学的定義：治療レジメ g g = {gk(x� k–1,c� k); k = 1,..., K} gk( ) ： 時点 k の治療 Xk � k–1 = (X1,..., Xk–1) の実現値 x� k–1 ： 治療履歴 X � k = (C1,..., Ck) の実現値 c� k ： 共変量履歴 C C1 R X1 C2 X2 ... Y R ：治療割り付け 静的な治療レジメ（static regime） gk(x� k–1,c� k) = gk 例： g = (1, 1, 1..., 1); g = (0, 0, 0, ..., 0); g = (0, 1, 0, 1,...) あらかじめ定まった値の列 15

動的な治療レジメ dynamic regime 過去の治療・共変量に応じた適応的な治療選択 例： C1 が閾値 c* を下回ったら治療開始、治療開始後は継続 gk(x� k–1,c� k) = I(xk–1 = 1 or ck < c*) レジメ g = {g1(c1), g2(x1,c1,c2),…, gk(x� k–1,c� k),…, gK(x� K–1,c� K)} 確率的要素を含んでもよい 通常、アルゴリズムの形で規定される 例：上記レジメの条件を満たしたらランダムに90%治療開始、あとは同じ � k–1,c� k) = 1  If xk–1 = 1 then gk(x � k–1,c� k) = Bernoulli(0.9)  Else if ck < c* then gk(x � k–1,c� k) = 0  Else gk(x 16

例：J-EDIT Japanese Elderly Diabetes Intervention Trial 高齢者2型糖尿病患者を対象とした治療方針比較 血圧、脂質、血糖、合併症、...etc. に応じた適応的治療   ガイドライン推奨治療 強化治療 プロトコルでは特定の治療方針を特定せず アトルバスタチン（コレステロール低下剤）が広く使用 Aged 65–84 yrs and HbA1c ≥ 7.9% w/o co-morbidities 7.4%–7.8% w/ co-morbidities Intensive treatment n = 588 Conventional treatment n = 585 DM complication and/or CVD events in 6 yrs 17

アトルバスタチン Atorvastatin treated Subjects with atorvastatin treatment(%) (%) 処方割合推移 Intensive treatment group 25 20 15 Conventional treatment group 10 5 0 0 1 2 3 4 5 6 after follow-up YearsYears after follow-up アトルバスタチンの効果（IPTW推定） DM complication: HR = 0.30 (95% CI: 0.12, 0.77) CVD event: HR = 0.48 (95% CI: 0.19, 1.16) Shinozaki, et al., Geriatrics & Gerontology International 2012 18

アトルバスタチンの適応的投与 前ページのIPTW推定の結果 g = (1, 1,..., 1) vs. g = (0, 0,..., 0) 脂質に応じたアトルバスタチンの投与 レジメ：「LDLコレステロール値 > c* mg/dl で開始」   gk(x� k–1,c� k) = I(xk–1 = 1 or LDLk > c*) c* の値を変えて、最適な投与タイミングを探る 推定：parametric g-formula （= g-computation） Robins, et al., 2004 (Book chapter) “Effects of multiple interventions” Taubman, et al., International Journal of Epidemiology 2009 “Intervening on risk factors for coronary heart disease: an application of the parametric g-formula” Young, et al., Statistics in Biosciences 2011 “Comparative effectiveness of dynamic treatment regimes: an application of the parametric G-Formula” 19

Parametric g-formula 効果 [ g A = g start ( LDL> x ) K +1 TE = E Y − YKg+A1=0 ] “Start treatment when LDL-C > x mg/dL”: gstart(LDL-C>x)   gkstart(LDL-C>x) = 1 if LDL-Ck > x or gk–1start(LDL-C>x) = 1 gkstart(LDL-C>x) = 0, otherwise 識別式（g-formula） Pr[YKg+A1, g M [ ]  Pr YK +1 = 0 YK = 0, L k = l K , A K = g , M K = g , C K +1 = 0 A, K M ,K    Pr Yk +1 = 0 Yk = 0, L k = l k , Ak = g , M k = g , Ck +1 = 0   A, k M ,k      l l g g Y C , , , 0 = 0] = ∑∑∑  K × f Lobs = = k −1 k k k L k −1 , A k −1 , M k −1 ,Yk = C k = 0 k A, k −1 M , k −1   aK mK l K ×  ∏ g  A  k =0 × f Ak ak l k −1 , g A,k −1 , g M ,k     g M    × f M k mk l k −1 , g A,k −1 , g M ,k −1 ☜ fMkobs で置き換え  [ ( ( ( ) ) ] ) 20

動的レジメ g 下での E(Yg) vs. Never-treat throughout the follow-up (c* = ∞) DM complication c*: start LDL-C at (mg/dL) ∞ (Never treat) 200 150 120 0 (Always treat) %Risk (95% CI) 17.4 (14.7, 19.6) 16.9 (14.3, 18.9) 14.2 (11.9, 16.3) 10.3 (6.9, 14.1) 7.4 (2.6, 12.5) Risk ratio (95% CI) 1.00 (1.00, 1.00) 0.97 (0.95, 0.99) 0.82 (0.72, 0.93) 0.59 (0.42, 0.82) 0.43 (0.15, 0.77) %Risk difference (95% CI) 0.0 (0.0, 0.0) -0.5 (-0.9, -0.2) -3.2 (-5.2, -1.2) -7.0 (-10.7, -2.8) -10.0 (-15.7, -3.9) %Risk (95% CI) 13.1 (11.0, 15.3) 12.8 (10.9, 14.7) 11.0 (9.1, 13.7) 8.7 (5.6, 13.6) 6.9 (2.6, 13.0) Risk ratio (95% CI) 1.00 (1.00, 1.00) 0.98 (0.95, 1.00) 0.84 (0.72, 0.97) 0.66 (0.42, 0.93) 0.53 (0.20, 0.89) %Risk difference (95% CI) 0.0 (0.0, 0.0) -0.3 (-0.7, 0.1) -2.1 (-3.6, -0.4) -4.4 (-7.8, -0.9) -6.2 (-10.5, -1.4) CVD c*: start LDL-C at (mg/dL) ∞ (Never treat) 200 150 120 0 (Always treat) 21

一般の治療レジメの効果推定 観察研究データからも動的レジメの効果推定は可能 RCTでは、よりルールを厳格に規定し測定変数を設定可 G-methods g-公式（g-計算アルゴリズム） 構造ネストモデルのg-推定 周辺構造モデルのIPW推定  Robins and Hernán, 2008 “Estimation of the causal effects of time-varying exposures” (Book chapter) 他にも… IPCW（inverse probability of censoring weight）推定  Hernán et al. Basic Clin Pharmacol Toxicol 2006 “Comparison of dynamic treatment regimes via inverse …” Q-learning / A-learning （= G-推定）  Chakraborty and Moodie, 2013 “Statistical Methods for Dynamic Treatment Regimes” (Book) Outcome-weighted classification  Zhao et al. JASA 2012 “Estimating Individualized Treatment Rules Using Outcome Weighted Learning” 22

治療レジメの効果 Yg： レジメ g の潜在アウトカム 静的レジメの場合： g = (x1,...,xK) に対応するのは 2K 通り 動的レジメの場合：相異なるルール g ごとに存在  ただし、実現した g に対応する静的レジメの潜在アウトカムが観察 異なるレジメの比較： E(Yg1) vs. E(Yg2) 臨床試験は意図した g での Yg を実現する手段 明示された g を含む理想的な臨床試験で得られるはずの効果が 興味ある治療効果であるべき  再現したい理想的な試験 = target trial Hernán and Robins, New England Journal of Medicine 2017 23

Robinsの因果モデル FRCISTG Fully randomized causally interpretable structured tree graph 実在性 任意の治療レジメ g で Yg が実在 Pearlモデル、Rubinモデル同様  Yg そのものでなく、分布 P(Yg) や期待値 E(Yg) を求めるのも同様 識別可能性 単一世界（single world）で介入可能である g の効果のみ  理想とする臨床試験（= target trial）を想定できるもの 仮定 「単一世界での介入」の効果推定についてミニマル   おなじDAGでの構造的因果モデルの仮定 ＞ FRCISTGの仮定 構造的因果モデルでは「単一世界の介入」以外の g の効果まで識別可能に FRCISTGの仮定で過不足なく働く統計手法： G-methods 24

Robinsの介入主義 “Cross-world” intervention で定義される効果 x=0 x=0 NDE = E(Yx=1,M ) – E(Yx=0,M ), PSDE = E(Yx=1 – Yx=0|Mx=1 = Mx=0) Rubin, Pearlは許容 Robinsモデルでは識別不能（定義は可能） NDE: natural direct effect PSDE: principal strata direct effect 実証主義（positivism）ではない 単一世界の介入「だけ」から求められない効果 TET = E(Y – Yx=0|X = 1) TET: treatment effect on the treated   介入自体（x = 0）は現実に可能 Single world intervention ⇒ Robinsモデルで定義も識別も可能 25

逐次的交換可能の仮定 FRCISTG Yi gX=x� の実在を仮定 �k � k–1 = x� k–1, C Y gX=x� ∐ Xk gX=x� k–1 | X for all x� Progression of disease Follow-up status before 2nd-line treatment Metastasis/recurrence None 2nd-line treatment None 2nd-line treatment None 2nd-line treatment 構造的因果モデル � i, εYi) の実在を仮定 ⇒ Yi gX=x� 構造方程式 Yi = f(x� , C � k for all x� , x� *, x� ** � k–1 = x� k–1, C Y gX=x� ** ∐ Xk gX=x∗k–1 | X 26

まとめ（1） 臨床試験と因果モデル 臨床試験（ランダム化比較試験：RCT） 因果推論のための方法 介入主義に立つと、理想とする RCT 自体が推測目標に  Target trial Robinsの因果モデル：FRCISTG G-methods RCTにも観察研究にも使える   ただし、RCTは target trial への類似度を高める方法とみなせる 実験 vs. 観察 効果の実在性と識別可能性とを離して議論する必要  Robins の介入主義 27

まとめ（2） 機械学習の応用可能性 因果効果を識別できるのであれば… つまり、 O ~ P0obs に対して E[Y gX ] = Φ(P0obs) であれば… 1. 高次元の観察分布のモデル P0obs 因果効果の推定量の収束レートを保って、いかに data-driven な特定を実現するか 2. 高次元の介入（レジメン） 事例に示した g-computation やIPW では、単純な動的レジメから選択  例：「共変量が条件を満たした場合に開始／中断」というクラスで最適な介入 高次元の共変量、介入の導入方法を複数用意した複雑な介入 機械学習の応用で、識別可能な因果効果じたいが変わりうるか？ https://twitter.com/junotk_jp 28

• https://twitter.com/junotk_jp