NMAのGRADEエビデンスの確実性の評価のステップまとめ

GRADEアプローチによるネットワークメタ分析のエビデンスの確実性の評価方法 A guide and pragmatic considerations for applying GRADE to network metaanalysis BMJ 2023; 381 doi: https://doi.org /10.1136/bmj-2022-074495 Cite this as: BMJ 2023;381:e074495 参考：Doing Meta-Analysis in R: A Hands-on Guide https://bookdown.org /baba_yoshihiko/Doing_Meta_Analysis_in_R/ GRADE approachを勉強した先生がネットワークメタ分析を勉強するにあったっての注意点 https://note.com/mxe05064/n/ndb985bef75b1 相原守夫著. 診療ガイドラインのためのGRADEシステム 第３版

• https://bookdown.org/baba_yoshihiko/Doing_Meta_Analysis_in_R/
• https://note.com/mxe05064/n/ndb985bef75b1

GRADEアプローチによるNMAの確実性の評価手順まとめ 1．直接比較の各研究の特徴一覧表・RoB・フォレストプロット・ファンネルプロット作成 2．ネットワークメタ分析を行なったら、ノード分割法を使って、直接推定値・間接推定値・NMA推定値を算出 3．直接推定値の仮確実性：RoB・非一貫性・非直接性・出版バイアス・不精確さ（取り消し線を行なってないので仮となる） 4．間接推定値がある間接比較（A vs B）に対して、それを構成する一次ループ（なければ二次）から、最も優勢なものを選択し、 共通比較を明確とする（C) 5．間接推定値の仮の仮確実性：優勢一次ループを構成する直接比較2つ（A vs CとB vsC）の直接推定値の仮確実性の低い方・ intransitivity（非推移性）・不精確さ（取り消し線を2つ行なってないので仮の仮となる） 6．間接推定値の仮確実性：間接推定値の仮の仮確実性・intransitivity（非推移性）・不精確さ 7－1．直接推定値か間接推定値の片方しかない場合（直接か間接推定値が、NMA推定値と同じなので、 NMA推定値となる）： ・NMA推定値の確実性：直接推定値の仮確実性または間接推定値の仮確実性・不精確さ 7－2：直接推定値と間接推定値の両方がある場合： ・NMA推定値の仮の仮確実性（出発点）：基本的に、直接推定値の仮確実性または間接推定値の仮確実性のより高い方・ 非整合性・不精確さ ・直接推定値と間接推定値のincoherence（非整合性）を確認： （1）非整合性なし⇒ NMA推定値の確実性：NMA推定値の仮の仮確実性・非整合性（深刻でない）・ 不精確さ（NMA推定値を使用） （2）非整合性あり⇒ NMA推定値の仮確実性：NMA推定値の仮の仮確実性・非整合性（深刻）・不精確さ ・直接・間接・NMA推定値の確実性：直接・間接・NMA推定値の仮確実性・不精確さ ・直接・間接・NMA比較の推定値と確実性：確実性が高いものを、基本的に、 今回の推定値として使用し、その確実性とする

1．直接比較の各研究の特徴一覧表・RoB・フォレストプロット・ファンネルプロット作成 2．ネットワークメタ分析を行なったら、ノード分割法を使って、直接推定値・間接推定値・NMA推定値を算出 3．直接推定値の仮確実性：RoB・非一貫性・非直接性・出版バイアス・不精確さ（取り消し線を行なってないので仮となる） 仮 4．間接推定値がある間接比較（A vs B）に対して、それを構成する一次ループ（なければ二次）から、最も優勢なものを選択し、 共通比較を明確とする（C) 5．間接推定値の仮の仮確実性：優勢一次ループを構成する直接比較2つ（A vs CとB vsC）の直接推定値の仮確実性の低い方・ intransitivity（非推移性）・不精確さ（取り消し線を2つ行なってないので仮の仮となる） 6．間接推定値の仮確実性：間接推定値の仮の仮確実性・intransitivity（非推移性）・不精確さ 仮の仮 仮

7－1．直接推定値か間接推定値の片方しかない場合（直接か間接推定値が、NMA推定値と同じなので、 NMA推定値となる）： ・NMA推定値の確実性：直接推定値の仮確実性または間接推定値の仮確実性・不精確さ 7－2：直接推定値と間接推定値の両方がある場合： ・NMA推定値の仮の仮確実性（出発点）：基本的に、直接推定値の仮確実性または間接推定値の仮確実性のより高い方・ 非整合性・不精確さ ・直接推定値と間接推定値のincoherence（非整合性）を確認： （1）非整合性なし⇒ NMA推定値の確実性：NMA推定値の仮の仮確実性・非整合性（深刻でない）・ 不精確さ（NMA推定値を使用） 仮の仮 仮 （2）非整合性あり⇒ NMA推定値の仮確実性：NMA推定値の仮の仮確実性・非整合性（深刻）・不精確さ ・直接・間接・NMA推定値の確実性：直接・間接・NMA推定値の仮確実性・不精確さ ・直接・間接・NMA比較の推定値と確実性：確実性が高いものを、基本的に、 今回の推定値として使用し、その確実性とする

Romina Brignardello-Petersen: Rating the certainty of evidence from NMA High certainty and direct evidence contributes as much as indirect evidence Rate the direct estimate - Risk of bias Inconsistency Indirectness Publication bias - Imprecision Not sufficient evidence, moderate, low or very low certainty Rate the indirect estimate - - Lowest of the ratings of the two direct comparisons forming the most dominant first-order loop Intransitivity - Imprecision Rate the network estimate - Rating of direct estimate OR - Rating of estimate that contributes the most OR - Highest between direct and indirect rating - Incoherence - Imprecision

NMAのエビデンスの確実性（certainty of evidence） 直接エビデンスが、確実性「高」・ネットワーク推定値への寄与#が大きい場合 直接推定値を評価 - リスクオブバイアス Risk of bias - 非一貫性 Inconsistency - 直接性 Indirectness - 出版バイアス Publication bias - 不精確さ Imprecision 実際には、直接エビデンスの 確実性も提示する 不十分なエビデ ンス（中等度・ 低・非常に低） ネットワーク推定値 を評価 間接推定値を評価 - - 優勢一次ループ（most dominant first-order loop）の直接エビデンス の低い方 非推移性 Intransitivity - 不精確さ Imprecision 実際には、間接エビデンスの確実 性も提示する - 直接比較の確実性 OR 最も寄 与している確実性 OR 直接と 間接比較の確実性の高い方 - 非整合性 Incoherence - 不精確さ Imprecision ネットワークエビデンスの確実性の評 価後に、最も信頼できる推定値を使う ので、それが直接エビデンスなら、直 接エビデンスの確実性が最終となる #寄与率・直接エビデンスと間接エビデンスの点推定値と95％信頼区間とネットワークエビデンスの類似性などで判断

直接推定値を評価 - リスクオブバイアス Risk of bias - 非一貫性 Inconsistency - 直接性 Indirectness - 出版バイアス Publication bias - 不精確さ Imprecision 1．直接比較の各研究の特徴一覧表・RoB・フォレストプロット・ファンネルプロット作成 2．ネットワークメタ分析を行なったら、ノード分割法を使って、直接推定値・間接推定 値・NMA推定値を算出 3．直接推定値の仮確実性：RoB・非一貫性・非直接性・出版バイアス・不精確さ（取り消 し線を行なってないので仮となる） ３．仮 確実性 間接推定値を評価 - ５．仮の仮 優勢一次ループ（most dominant first-order loop）の直接エビデンス の低い方 - 非推移性 Intransitivity ６．仮 - 不精確さ Imprecision 確実性 4．間接推定値がある間接比較（A vs B）に対して、それを構成する一次 ループ（なければ二次）から、最も優勢なものを選択し、 共通比較を明確とする（C) 5．間接推定値の仮の仮確実性：優勢一次ループを構成する直接比較2つ （A vs CとB vsC）の直接推定値の仮確実性の低い方・ intransitivity（非推移性）・不精確さ（取り消し線を2つ行なってな いので仮の仮となる） 6．間接推定値の仮確実性：間接推定値の仮の仮確実性・intransitivity （非推移性）・不精確さ

7－1．直接推定値か間接推定値の片方しかない場合（直接か間接推定値が、 NMA推定値と同じなので、 NMA推定値となる）： ネットワーク推定値 を評価 ７－２． 仮の仮 仮 - 直接比較の確実性 OR 最も寄 与している確実性 OR 直接と 間接比較の確実性の高い方 - 非整合性 Incoherence - 不精確さ Imprecision ・NMA推定値の確実性：直接推定値の仮確実性または間接推定値の仮確実 性・不精確さ 7－2：直接推定値と間接推定値の両方がある場合： ・NMA推定値の仮の仮確実性（出発点）：基本的に、直接推定値の仮確実 性または間接推定値の仮確実性のより高い方・非整合性・不精確さ ・直接推定値と間接推定値のincoherence（非整合性）を確認： 確実性 （1）非整合性なし⇒ NMA推定値の確実性：NMA推定値の仮の仮確実 性・非整合性（深刻でない）・不精確さ（NMA推定値を使用） （2）非整合性あり⇒ NMA推定値の仮確実性：NMA推定値の仮の仮確実性・非整合性（深刻）・不精確さ ・直接・間接・NMA推定値の確実性：直接・間接・NMA推定値の仮確実性・不精確さ ・直接・間接・NMA比較の推定値と確実性：確実性が高いものを、基本的に、 今回の推定値として使用し、その確実性とする

GRADEアプローチによるネットワークメタ分析のエビデンスの確実性の評価 方法の概要 注意：直接比較・直接エビデンス・直接推定値などは、文脈でわかりやすいと考える用語を使用している。 GRADEアプローチでは、直接比較⇒間接比較⇒ネットワークの順番で推定値のエビデンスの確実性を評 価していく。 直接比較の効果推定値のエビデンスの確実性：従来の2群比較（ペアワイズ）のエビデンスの確実性と同 じ。リスクオブバイアス・非一貫性・非直接性・出版バイアス・不精確さ。 間接エビデンスの効果推定値のエビデンスの確実性：ループを作成している直接エビデンスの予備的グ レード（仮確実性・不精確さを除く）と、間接エビデンスの不精確さと、intransitivity（非推移性・間 接比較を作る2つ以上の直接比較の患者層などが異なっていること）より評価する。 ネットワークメタ分析の効果推定値のエビデンスの確実性：直接エビデンスと間接エビデンスの仮確実 性（不精確さを除く）と、ネットワークエビデンスの不精確さと、incoherence（非整合性・不一致性 と訳する先生もいます・直接比較と間接比較の結果が異なること）より評価する。 不精確さの評価は、診療ガイドラインにいては、コンテキスト化というか、絶対効果を検討する必要が ある。

前準備：ネットワークメタ分析を行なったら、そのデータをノー ド分割して、直接比較と間接比較とネットワークの3つの推定値 を全て算出する。そして、その相対的効果推定値(相対リスク比 など）と絶対効果推定値（絶対リスク差など）を算出して一覧表 とする 右図のネットワークが形成できた時に、ネットワークメタ分析を行なったとする。 GRADEアプローチでは、直接比較の推定値を大切にしているので、直接比較⇒間接比較⇒ ネットワークの順番で推定値のエビデンスの確実性を評価していくため、それぞれの推定値 の算出が必要となる。 A E B C 例えば、B-Cでネットワーク推定値が計算された。この場合、B-Cに対して、まず直接比較 の推定値から、間接比較の推定値が算出され、その間接比較の推定値から、ネットワーク推 定値が計算されている。よって、直接比較や間接比較の推定値は、 NMAの推定値を計算す る前に計算されているように思える。 しかし、 NMAの歴史的な流れより、統計ソフトでは、NMAの推定値のみが算出されるのが 一般的である。それを、後戻りのように直接比較と間接比較の推定値に分割するという手順 が必要となる。 このように、ネットワーク推定値を、直接比較の推定値と間接比較の推定値に分ける（戻 す）ことを、ノード分割を行なうという。統計ソフトに、そのような関数があるので、それ を使うと簡単に計算できる（Rのnetmetaなら、netsplit関数）。 D

ノード分割して、直接比較と間接比較と言っても、結局、非一貫 性などの検討のため、ペアワイズのメタ分析、直接比較を、すべ ていちいち行なわなくてはいけない 「このように、ネットワーク推定値を、直接比較の推定値と間接比較の推定値に 分ける（戻す）ことを、ノード分割を行なうという。統計ソフトに、そのような 関数があるので、それを使うと簡単に計算できる（Rのnetmetaなら、netsplit 関数）。」と書いたが、結局、直接比較の推定値のエビデンスの確実性を評価す るためには、フォレストプロットなどより、非一貫性などを判断しなければなら ない。 すなわち、普通の2群の比較（1対比較・ペアワイズ）のメタ分析を、全ての存 在する直接比較の組み合わせで行なう必要がある。 ノード分割で求めた直接比較は、数が多いと、ペアワイズの結果をコピペすると 間違う可能性があるので、必要ではあるが、楽はできない。

以下のスプレットシートを利用するとよい https://docs.google.com/spreadsheets/d/1tefLjPLsaI5X_I3dpdRkkthZiLGiYnRxFquo2LSt5Y/copy このスプレッドシート、エクセルで保存して、ローカルで使おうとすると、動かな かったり、使い物にならないほど遅かったり、エラーが出たりするようだ。 自動で計算できるので、便利とあるが、自動の所は、そこまでもないので、あまり にも大きなネットワークでなければ、自分のエクセルに同じように作っても良いだ ろう。 ともかく、このシートのように、前準備が重要である。特に、絶対効果推定値の算 出など、ベースラインリスクの問題もあり、一筋縄ではいかない（普通のGRADE アプローチのコンテキスト化によるエビデンスの確実性の面倒くさいのと同じ）。

• https://docs.google.com/spreadsheets/d/1tefLjPLsaI5X_I3-

前準備：スプレットシートの効果推定値の数字を入力

A1：直接エビデンスの確実性を、不精確さを除いて、仮確実性と して評価する 従来のメタアナリシスのGRADEアプローチと同様に、ネット ワーク推定値の評価に情報を提供するために不精確さ以外の、 直接推定値の評価を、すべての直接比較で行い、仮確実性と する。

とりあえず、ここまで行なう。

B1:間接エビデンスの仮の仮確実性（非推移性・不精確さがまだ）の評価を、 優勢一次ループを作る直接比較の仮確実性（不精確さがまだ）から評価する （1）間接エビデンスを作っている、一次ループ（共通の介入をもつ直接 比較が存在する比較でループとなる）がどれかを確認して、優勢一次 ループを決定する（一次ループがなければ二次ループ）。 A E B 例えば、右上図のようなネットワークの場合、B-Cの間接比較（B-Cに直 接比較がなく間接比較のみでも良いし、直接比較があっても良いが、評 価したいのは、間接比較のエビデンスの確実性である）の一次ループは、 B-E-Cとなる（共通の比較がE）。 例えば、右下図の場合、 B-Cの間接比較の一次ループは、B-E-CとB-DCの2つとなる。この場合、どちらのループを使うのかと言うと、伝統的 なBucher法を使って、一次ループのそれぞれについて間接的に分散推定 値を算出して、最も小さいものを、最も優勢(most dominant・支配的) なループとする･･･と言うことだったが、さすがに面倒である。 よって、最近は、ネットワーク図のノードの大きさとノードを結ぶ線の 幅（ノードに含まれる患者数と各比較の研究数）をみて、良さそうな方 を優勢一次ループとする。 二次ループは、例えば、右下図のB-Cなら、B-E-D-Cのループ。 C A E B C D

B1:間接エビデンスの仮の仮確実性（非推移性・不精確さがまだ）の評価を、 優勢一次ループを作る直接比較の仮確実性（不精確さがまだ）から評価する （2）優勢一次（または二 次）ループ（the most dominant first (or second) order loops）を構成する直接 比較の仮確実性評価の中で最 も低いものである。 自動的スプレッドシートでは、 優勢1次ループの共通比較対 象、または共通比較対象が存 在しない場合は2次ループを 構成する介入を指定すると自 動的に、低いグレードを表示 する。 注意：AvsBとBvsAがごちゃ ごちゃで間違うことがある。

B2:非推移性・intransitivityを評価して、間接エビデンスの仮確 実性（不精確さがまだ）とする 間接エビデンスの仮の仮確実性（非推移性・不精確さがまだ）の評価を行なった後に、非 推移性の評価を行ない、仮確実性（不精確さがまだ）とする。これは自動的に行えず、 チェックリストなどを利用する。 チェックリスト：Development of the Instrument to assess the Credibility of Effect Modification Analyses (ICEMAN) in randomized controlled trials and meta-analyses （ https://www.cmaj.ca/content/192/32/E901?ijkey=b0f2c1d00c7b2b906a25e5e9c10a861d9f5c3fa3&keytype2=tf_ipsecsha） とりあえず、ここまで行なう。

• https://www.cmaj.ca/content/192/32/E901?ijkey=b0f2c1d00c7b2b906a25e5e9c10a861d9f5c3fa3&keytype2=tf_ipsecsha

C1:直接比較と間接比較の仮確実性の比較をして、ネットワークメタ推定値の エビデンスの確実性の仮の仮確実性を決める（出発点・incoherence（非整合 性）と不精確さがまだ）（以前は、高い方となっていたが、アルゴリズムとなった） 直接推定値または間接推定値のいずれかが支配的な場合（すなわち、NMA推定 値の重みの大部分が直接推定値または間接推定値によって提供されている）、 NMA確実性評価の出発点は、支配的な方（直接または間接）とすべきである。 直接推定と間接推定の両方がネットワーク推定に同様に寄与する場合、2つの 確実性評価（直接比較の仮確実性評価（ステップA1）または間接比較仮確実性 （ステップB2））のどちらかを、情報量（ their information size）とエビデ ンスの確実性を考慮して、選択し、出発点とする。 次のスライドのアルゴリズムに従って、エビデンスの確実性の仮の仮確実性を 決める（出発点・incoherence（非整合性）と不精確さがまだ）。アルゴリズ ムは一見、複雑だが、ゆっくり一度読むと、理にかなっており理解できる。

Algorithm to determine the starting point of NMA certainty Dominant: 支配的・優勢・よりウエイトが高い

Algorithm to determine the starting point of NMA certainty 直接エビデン スのみ 直接＆間接：直接 のCOEが高い 直接証拠は適切か？ エビデンスの優勢 な方があるか？ 直接＆間接：直接は高 いがCOEは高くない 直接＆間接：直接COEが 低い 直接証拠は適切か？ エビデンスの優勢 な方があるか？ 直接＆間接：同じ COE 間接エビデンス のみ 間接証拠は適切か？ エビデンスの優勢 な方があるか？ まとめ S1. 直接証拠のみ; 直接使用 S1～S3では、NMAの確実性の出発点は直接証拠に基づいているた S2. 直接＆間接：直接COEが高い；適切；直接使用 S3. 直接のCOEが高い；不十分；支配的直接、直接使用 め、間接証拠とは関係ない； S4. 直接のCOEが高い、不十分、間接支配的、間接使用 S4～S14では：NMAの確実性の出発点は、間接証拠と直接証拠の両 S5. 直接法のCOEが高い、不十分、非支配的、直接使用 方を考慮すべきである； S6. 直接高いが最高水準ではない; 適切; 直接使用 S15では、間接証拠のみを考慮する。 S7. 直接高いが最高水準ではない; 不適切; 直接支配的; 直接使用 S8. 直接高いが最高水準ではない; 不適切; 間接支配的; 間接使用 COE: Certainty of the evidence S9. 直接高いが最高水準ではない; 不適切; 支配的ではない; 直接使用 * The starting point NMA certainty not including incoherence and S10. 直接低い; 適切な間接; 間接使用する S11. 直接COEが低い；間接で不十分；直接支配的；直接使用 imprecision S12. 直接COEが低い、間接不十分、間接支配的、間接使用 S13. 直接COEが低い；不十分な間接；非支配的；直接使用 「優勢」 「適切か？」は、具体的にどのように評価するの S14. 直接と間接のCOEが同じ；直接または間接を使用する S15. 間接のみ；間接使用 か論文では不明。

アルゴリズムの続きに、「Judgment to the adequate amount evidence」とあるので、やはり、 「 adequate・適切か？」は、不精確さで判断するようだ。 すると、実は、D(1)で、「直接推定と間接推定の不精確さを評価する必要はない」と、ここが、 若干矛盾するが、詳細が不明であった。 適切な証拠の量に対する判断 直接エビデンスの場合 バイナリーアウトカムの場合、GRADE論文の最適情報量（OIS）基準を参考に、不精確さを判断する。 連続アウトカムの場合は、経験則による閾値-800（各群400）を用いる。 直接エビデンスのサンプルサイズがOISを満たす場合、直接エビデンスは適切であるとする。 間接的エビデンスの場合 バイナリーおよび連続アウトカムについては、GRADE論文の公式を参照して「有効サンプルサイズ」を計算する。 間接的エビデンスによる「有効サンプルサイズ」がOISを満たす場合、その間接的エビデンスは適切であるとする。 Dominant（優勢・支配的）の判定は、論文に明確な記載がないが、基本は寄与率だろう。寄与率は、計算方法 もあるが、直接推定値と間接推定値の95％信頼区間の幅がより狭い推定値が、ネットワーク推定値に最も寄与す る推定値であることより、おおよその見当がつくので、それで行なわれていると思われる（論文の後半に「直接 推定と間接推定の信頼区間の幅を比較したり、寄与行列のような統計的ツールを用いることで可能である」とあ る。他の論文には、「NMA推定値の点推定値とCOが直接推定値の点推定値とCIに類似している場合、直接推定 値は、NMA推定値にかなり寄与しているだろう」という内容もあるようだ。

ここまでで、「間接推定の確実性の評価は必ずしも必要ではない場合」をまとめると 1. 直接推定値の確実性が「高い・ high」場合、 2. 直接推定が少なくとも間接推定と同程度にNMA推定に寄与していることを確認する。 （例えば、直接推定と間接推定の信頼区間の幅を比較したり、寄与行列のような統計的ツール を用いることで可能） 3. その結果、ネットワーク推定値に対する直接推定値の寄与が、少なくとも間接推定値の寄与と 同程度（または、それ以上）である場合（直接のが寄与している）、 4. その後、非整合性があり、直接推定値・間接推定値・NMA推定値のエビデンスの確実性による 比較選択となっても、間接推定値が選ばれることはないので、評価しなくて良い。 また、直接推定値の確実性が「高い」でなかったり、間接推定値のが寄与していても、アルゴリズムで間 接推定値の仮確実性をNMAの出発点とする可能性があるが、整合性があれば、少なくとも、最終的（不精 確さも評価）な間接推定値の確実性まで、評価する必要はない。 たぶん、「同程度にNMA推定に寄与のためには、信頼区間の幅が間接推定値より直接推定値 が大きく広いことはないので、仮確実性より不精確さを評価して確実性を判定し、直接推定 値が不精確さで中になっても、間接推定値が不精確さが良くて、高になることは、理論的に あり得ない」ということだろう。

C2:incoherence（非整合性）の評価で仮確実性（不精確さがまだ） 直接推定と間接推定は、異なる情報源を用いて同じ効果を反映しているため、偶然を超える差があっては ならない（そのような場合は、推定が首尾一貫coherentしているといい、そうでない場合は首尾一貫して いないincoherentとみなす）。 非整合性のためのノード分割検定のp値＞0.01ならば、整合性ありと判断する事は通常ない。また、直接・ 間接の2つの推定値が同じ方向と程度を示し、信頼区間が重複していれば整合的であるだろう。 直接推定と間接推定の結果が偶然で説明できる範囲を超えて乖離し、レビュアーが説明を特定できない場 合、レビュアーは、NMA推定の確実性が首尾一貫していないとして評価を下げることを検討すべきである。 とりあえず、ここまで行なう。

D:(1) incoherence（非整合性）がなく、NMA推定値が直接推定値や間接推定値よりも 精確preciseである場合、NMAの仮確実性から、不精確さを評価して、エビデンスの確 実性を決定する 背景・理由： 直接推定と間接推定を組み合わせる目的は、効果の推定値の確実性を高めることであるが、NMA推 定が常に最良の選択肢を示すわけではない。 例えば、直接推定と間接推定が矛盾していることが判明した場合、直接推定（通常）または間接推 定（めったにない）の方がネットワーク推定よりも確実性が高く、意思決定を支援するためのより 良い選択肢となる。同様に、ネットワークの異質性が直接比較の異質性よりも高い場合、直接推定 がより精確で、より確実性が高くなる可能性がある。 よって： （1）incoherence（非整合性）がなく、NMA推定値が直接推定値や間接推定値よりも精確precise である場合、レビュアーは、エビデンスの確実性評価に対応するNMA推定値を最良とみなすべきで ある。注意：この非整合性は、ネットワークの全体的非整合性の計算よりでなく、一対比較レベル での非整合性である。 このような場合、直接推定と間接推定の不精確さを評価する必要はない（A2・A3のステップを省く ことができるので、ごく僅か簡略になる）。

参考：Romina Brignardello Petersenのスライドより不精確さ 1. 信頼区間が閾値をまたいでいるか？ 2. 効果推定値は大きいか？ 3. OISをみたいしているか？ スライドでは、全体的な書き方だったが、OISの検討は 直接推定値のはず GRADE guidelines 33と同じずだった。「図2. 各ネットワー ク推定値の不精確さへの対処のプロセス。 効果量(2)は、OISを満たしているかどうかを検討するも う一つの方法であるが、(3)は、2bを検討する際に、査 読者が必要な計算を回避するのに役立つかもしれない ので、別のステップとして図示した。 （2）の「modest・適度な」効果とは何かについては、各シ ナリオに特有の価値判断が必要である（例として、30％ の相対的リスク低減）。 ステップ3は、ネットワーク推定値の基礎となるサンプル サイズを計算し、これを最適な情報量と対比することで 対処することができ、ORやRRの効果測定の場合は、信 頼区間の上限と下限の比（ORなら2.5、RRなら3）を見る ことで対処することができる。」 ●NMA推定値の評価の場合、OISって計算できないのでどうするのかと思っていたら、比を使うという事であった（連続変数 はだめだ）。 ●OISの計算は、ちょっと面倒だし、3.で最後なので、ちょうど良いと考えられていたが、CI上限下限の比なら計算は、ム チャクチャ簡単。それなら、最初に、比で下げなければならないのがわかったら、それは、下げておいて、1と2をみなくても 良いということも考えられる。

参考：スプレッドシートのImprecisionのセルの中の式では 直接比較の不精確さ（一部抜粋、こんな条件で受けから判断している） 1. Manualを選択した場合、 および、 “NMA_CI上限（相対）/NMA_CI下限（相対）”>”CI上限 （相対）/CI下限（相対）” 【 NMAのCIの幅が、直接比較のCIの幅より広い（直接比較のが精 確）】または、 INCOHERENCE=“Serious” または INCOHERENCE=“Very serious” の評価の 場合は、自分で入力します。そうでない場合は、以下の条件で。 2. “Extremely serious”： CI上限（相対）/CI下限（相対）>=30 【30の出典不明】 3. “Not serious”：点推定値（絶対）<=閾値（小）*-1、かつ、CI上限（絶対）<0、かつ、CI上限 4. （相対）/CI下限（相対）<3 【GRADE guidelines 33：シミュレーションから、RRでは、CI の上限と下限の比（CIの幅）が3以上で、ベースラインリスクと治療効果の合理的な組み合わせ であれば、サンプルサイズはOISを満たすには程遠いことが示唆されたため、3以上ならばOISを 計算する必要はない、この場合は3未満なので、OISを満たすだろう 】 OISを満たす “Very serious”：点推定値（絶対）<=閾値（小）*-1 、かつ、 CI上限（絶対）<0 、かつ、 CI OISを満たさない 上限（相対）/CI下限（相対）>=3【比が3以上なので、OISを満たさないだろう】 5. “Not serious”：点推定値（絶対）>=閾値（小） 、かつ、 CI下限（絶対）>0 、かつ、 CI上限 （相対）/CI下限（相対）<3 の場合、結果は となります。【3.4．は、 -1 をかけており、ここ ではかけてないので、CIの下限が0より大と正負が逆になった場合の条件が記載されている】 6. “Very serious”：点推定値（絶対）>=閾値（小） 、かつ、 CI下限（絶対）>0 、かつ、 CI上限 （相対）/CI下限（相対）>=3 7. “Serious”：点推定値（絶対）<=閾値（小）*-1 、かつ、 CI上限（絶対）>0 、かつ、 CI下限 （絶対）>閾値（大）*-1 、かつ、 CI上限（相対）/CI下限（相対）<3 の場合【推定値負が効 果あり：比が3未満なのでOISは満たすが、点推定値が閾値（小）以下なのに、CI上限が0を越え、 CI下限が閾値（大）より大きい場合】 8. “Very serious”：点推定値（絶対）<=閾値（小）*-1 、かつ、 CI上限（絶対）>0 、かつ、 CI 下限（絶対）<閾値（大）*-1 、かつ、 CI上限（相対）/CI下限（相対）<3 【推定値負が効果 あり：比が3未満なのでOISは満たすが、点推定値が閾値（小）以下なのに、CI上限が0を越え、 CI下限が閾値（大）より小さい場合】 OISを満たす OISを満たす 閾値大 小 0

D:(1) incoherence（非整合性）がなく、NMA推定値が直接推定値や間接推定値よりも 精確preciseである場合、NMAの仮確実性から、不精確さを評価して、エビデンスの確 実性を決定する （1）incoherence（非整合性）がなく、NMA推定値が直接推定値や間接推定値よりも精確precise である場合、レビュアーは、エビデンスの確実性評価に対応するNMA推定値を最良とみなすべきで ある。 上記の意味と思うが、原文は、「When neither of those conditions are met (no incoherence and NMA estimate more precise than direct and indirect estimate), reviewers should consider the NMA estimate with its corresponding certainty of evidence rating as the best. In these cases, assessing imprecision for direct and indirect estimates is not necessary, because reviewers do not use the direct and indirect final ratings.」となっており、ここだけ を読むと、 those conditions、 (no incoherence and NMA estimate more precise than direct and indirect estimate)の中を意味しているように思えた。そうすると意味が通らない。 しかし、その前のセンテンスに、「incoherentの場合は、NMAより直接推定値のが確実性が高い」 という文章である。よって、 those conditionsが、前のセンテンスを受けて、「 neither of those conditions （ incoherent）」として、それは、 (no incoherence and NMA estimate more precise than direct and indirect estimate)という事だよと、（）内で説明しているとすると意味 が通る。私の英語力では、難しい～。 また、「 NMA推定値が直接推定値や間接推定値よりも精確preciseである場合」と言うことが、具 体的にどのような場合なのかが不明である。単に、95％CIの幅が狭いかどうかで決めて良いのだろ うか？

D:(2) NMA推定値・直接推定値・間接推定値の3つから検討する場合は、各々 の仮確実性（不精確さを除く）から不精確さを評価して、エビデンスの確実性 を決定して、3つを比較検討する。 （2）直接的な推定値と間接的な推定値が矛盾し ている（非整合性）場合や、NMA推定値が直接 推定値または間接推定値よりも精度が低い場合、 レビューアーは、まず、3つの選択肢（直接、間 接、NMA）の仮確実性より不精確さを評価して、 ３つのエビデンスの確実性を決定する。 そして、その中から効果の最良の推定値を選択すべき。ただし、直接的な推定値または間接 的な推定値の最終的な評価がより高い確実性を示す場合は（高い確実性の評価を持つ推定値 を選択すべき）、NMAの推定値が最良の選択肢となる。

「最良の推定値を選択すべき」の意味 「When, however, direct and indirect estimates are incoherent or NMA estimates are less precise than direct or indirect estimates, reviewers should select the best estimate of effect between the three options (direct, indirect, or NMA). Except for when direct or indirect final ratings result in higher certainty (when the estimate with higher certainty rating should be selected), the NMA estimate represents the best choice (fig 5).」 この文章より、たぶん、「直接・間接・NMAの効果推定値のエビデンスの確実性を比較 する。そして、最も高いものの、効果推定値を、そのNMAとしての最終的な効果推定 値・エビデンスの確実性とする。」となる。よって、最終的にNMA推定値がNMAの結 果とならないこともある、と言うことだ。 また、D:(2) NMA推定値・直接推定値・間接推定値の3つから検討とあるが、実は、間 接推定値は検討しなくて良い場合があるので、実質、直接とNMAの比較の事もある。 よほどのことがない限り、非整合性があれば、NMA推定値のエビデンスの確実性は、出 発点の仮の仮確実性より、非整合性で深刻で下がるので低くなる。と言うことは、不精 確さがよほど良い（不精確でない）かぎり、NMA推定値が選ばれることはないだろう。 非整合性の検討をしたと言うことは直接推定値・間接推定値のどちらもあるので、たぶ ん、直接推定値を選ぶことが多いと思われる。

推定値選択のルールの例 直接推定値と間接推定値に整合性あり（非整合性がない） ⇒ネットワーク推定値とその確実性を選択 直接推定値と間接推定値に整合性なし（非整合性がある） ⇒直接・間接の確実性が、最大でも1段階の差（小さい差、または差なし）： ネットワーク推定値とその確実性を選択 （つまり、非整合性のために確実性を下げて使用） ⇒直接・間接の確実性が、少なくとも2段階の差（大きな差）： 直接・間接・NMAの確実性の、最も高い確実性の推定値とその確実性を選択 （つまり、ネットワークメタ分析の結果の効果推定値が、 NMA推定値でない場合がありうる） 直接推定値・間接推定値の片方しかない場合 ⇒直接推定値とNMA推定値、または、間接推定値とNMA推定値が同じになる よって、ネットワーク推定値（同じだが形式上）とその確実性を選択となる

GRADEアプローチによるネットワークメタ分析のエビデンスの確実性の評価 方法の考え方の基本を、再度まとめると • 間接推定値・ネットワーク推定値のエビデンスの確実性は、それを形成している直接推定値 のエビデンスの確実性が基本となる。直接比較の推定値を大切にしているので、直接比較⇒ 間接比較⇒ネットワークの順番で推定値のエビデンスの確実性を評価していく。 • 95％信頼区間が、直接・間接・ネットワーク推定値で異なる可能性があるので、直接推定値 の不精確さで評価したエビデンスの確実性を、間接推定値やネットワーク推定値に用いるこ とができないので、別々に評価するため、グレードダウンの5要因の中の不精確さの評価を除 いた4要因による予備的グレード（仮確実性）を使う。 • ネットワークエビデンスのグレードは、直接推定値と間接推定値に整合性（実質的に異なら ない）の場合（最終的にNMA推定値を使うパターン）、より確実性の高い推定値に比べて、 より確実性の低い推定値は、バイアスをもたらすことはない。よって、高い確実性の推定値 と低い確実性の推定値からの統合推定値(pooled estimate)は、低い確実性の推定値が高い 確実性の推定値を損なうのではなく、補完していると考え、より高い方をネットワークエビ デンスの確実性（グレード）とする（仮確実性でのアルゴリズムで出発点を決める考え方と なっている）。

GRADEアプローチによるNMAの確実性の評価手順まとめ 1．直接比較の各研究の特徴一覧表・RoB・フォレストプロット・ファンネルプロット作成 2．ネットワークメタ分析を行なったら、ノード分割法を使って、直接推定値・間接推定値・NMA推定値を算出 3．直接推定値の仮確実性：RoB・非一貫性・非直接性・出版バイアス・不精確さ（取り消し線を行なってないので仮となる） 4．間接推定値がある間接比較（A vs B）に対して、それを構成する一次ループ（なければ二次）から、最も優勢なものを選択し、 共通比較を明確とする（C) 5．間接推定値の仮の仮確実性：優勢一次ループを構成する直接比較2つ（A vs CとB vsC）の直接推定値の仮確実性の低い方・ intransitivity（非推移性）・不精確さ（取り消し線を2つ行なってないので仮の仮となる） 6．間接推定値の仮確実性：間接推定値の仮の仮確実性・intransitivity（非推移性）・不精確さ 7－1．直接推定値か間接推定値の片方しかない場合（直接か間接推定値が、NMA推定値と同じなので、 NMA推定値となる）： ・NMA推定値の確実性：直接推定値の仮確実性または間接推定値の仮確実性・不精確さ 7－2：直接推定値と間接推定値の両方がある場合： ・NMA推定値の仮の仮確実性（出発点）：基本的に、直接推定値の仮確実性または間接推定値の仮確実性のより高い方・ 非整合性・不精確さ ・直接推定値と間接推定値のincoherence（非整合性）を確認： （1）非整合性なし⇒ NMA推定値の確実性：NMA推定値の仮の仮確実性・非整合性（深刻でない）・ 不精確さ（NMA推定値を使用） （2）非整合性あり⇒ NMA推定値の仮確実性：NMA推定値の仮の仮確実性・非整合性（深刻）・不精確さ ・直接・間接・NMA推定値の確実性：直接・間接・NMA推定値の仮確実性・不精確さ ・直接・間接・NMA比較の推定値と確実性：確実性が高いものを、基本的に、 今回の推定値として使用し、その確実性とする

1．直接比較の各研究の特徴一覧表・RoB・フォレストプロット・ファンネルプロット作成 2．ネットワークメタ分析を行なったら、ノード分割法を使って、直接推定値・間接推定値・NMA推定値を算出 3．直接推定値の仮確実性：RoB・非一貫性・非直接性・出版バイアス・不精確さ（取り消し線を行なってないので仮となる） Stage Steps (must be completed for each and all comparisons before moving to the next step) Assess risk of bias Assess inconsistency Assessing the certainty of the Assess indirectness direct estimate (for all the comparisons for which there is Assess publication bias direct evidence available) 直接エビデンスがある全ての比較 について、確実性の評価を行なう Assess imprecision Note: This step is optional このステップはオプション（この段階 で全ての比較を行なわず、最後のD で、必要な比較のみ行なえば良い） Data outputs needed （必要なデータ） Actions in the spreadsheet (must be completed for each and all comparisons before moving to the next step) 次のステップに進む前に、全ての 比較について終了している必要がある Risk of bias assessment of individual studies organized Select: “Not serious”, “Serious”, or “Very at the comparison level （比較の段階で元の個々の論 serious” 文のRoB） Forest plots for each comparison （各比較のフォレスト Select: “Not serious”, “Serious”, or “Very プロットより） serious” Corresp onding step in Figure 1 A1 A1 Description of studies characteristics, organized at the comparison level （研究の特徴を一覧表より） Select: “Not serious”, “Serious”, or “Very serious” A1 Funnel plot (if available) （ファンネルプロットなど） Select: “Undetected” or “Strongly suspected” A1 Direct estimates of effects and their corresponding 95%CI Manual option: Select: “Not serious”, “Serious”, “Very serious （非常に深刻）”, or “Extremely serious（極めて 深刻）”4段階 Automatic option: Set thresholds for automatic imprecision assessment in preferences. 不精確 さの評価の閾値を設定できる A2

4．間接推定値がある間接比較（A vs B）に対して、それを構成する一次ループ（なければ二次）から、最も優勢なものを選択し、 共通比較を明確とする（C) 5．間接推定値の仮の仮確実性：優勢一次ループを構成する直接比較2つ（A vs CとB vsC）の直接推定値の仮確実性の低い方・ intransitivity（非推移性）・不精確さ（取り消し線を2つ行なってないので仮の仮となる） 6．間接推定値の仮確実性：間接推定値の仮の仮確実性・intransitivity（非推移性）・不精確さ Find most dominant first order loop. 優勢一次ルー Network plots （ネットワークプロット） プを探すIf none available, find most dominant second order loop なければ二次ループ Assessing the Assess intransitivity （非推移性） certainty of the indirect Assess imprecision estimate Note: This step is optional このステップはオプション（この段階で全ての比較を 行なわず、最後のDで、必要な比較のみ行なえば良 い） Select the common comparator forming the loop ループを 形成する共通の比較を選択する Description of studies characteristics, organized at Select: “Not serious”, “Serious”, or “Very serious” the comparison level （研究の特徴を一覧表より） Indirect estimates of effects and their corresponding 95%CI Manual option: Select between: “Not serious”, “Serious”, “Very serious”, or “Extremely serious” ４段階 Automatic option: Set thresholds for automatic imprecision assessment in preferences. 閾値設定可能 B1 B2 B3

7－1．直接推定値か間接推定値の片方しかない場合（直接か間接推定値が、NMA推定値と同じなので、 NMA推定値となる）： ・NMA推定値の確実性：直接推定値の仮確実性または間接推定値の仮確実性・不精確さ 7－2：直接推定値と間接推定値の両方がある場合： ・NMA推定値の仮の仮確実性（出発点）：基本的に、直接推定値の仮確実性または間接推定値の仮確実性のより高い方・ 非整合性・不精確さ ・直接推定値と間接推定値のincoherence（非整合性）を確認： （1）非整合性なし⇒ NMA推定値の確実性：NMA推定値の仮の仮確実性・非整合性（深刻でない）・ 不精確さ（NMA推定値を使用） Direct, indirect and NMA estimates and their Manual option: Decide if network certainty rating is based corresponding 95%CI, and direct and indirect Select: “Direct”, or “Indirect” アルゴリズムに certainty of evidence ratings without considering 従って直接か間接かを決める on direct or indirect estimates Automatic option: The step can be automated ネットワークの確実性が直接推定値か間 imprecision 接推定値のどちらにも基づくかを決定する （直接・間接・NMA推定値と95％CI、ならびに不 based on the algorithm provided in 精確さを考慮しない直接と間接の仮確実性より） supplementary file 3 Assessing the certainty of NMA Assess incoherence （非整合性） estimates Assess imprecision C1 Direct, indirect and NMA estimates and their corresponding 95%CI. Select: “Not serious”, “Serious”, or “Very serious” C2 NMA estimates of effects and their corresponding 95%CI Manual option: Select: “Not serious”, “Serious”, “Very serious”, or “Extremely serious” 4段階 Automatic option: Set thresholds for automatic imprecision assessment in preferences. C3

（2）非整合性あり⇒ NMA推定値の仮確実性：NMA推定値の仮の仮確実性・非整合性（深刻）・不精確さ ・直接・間接・NMA推定値の確実性：直接・間接・NMA推定値の仮確実性・不精確さ ・直接・間接・NMA比較の推定値と確実性：確実性が高いものを、基本的に、 今回の推定値として使用し、その確実性とする Determine if assessing imprecision If incoherence judgment is “not serious”: Imprecision assessment for direct and Incoherence judgment for each for direct and indirect estimates is indirect estimates is not necessary. 非整合性が「深刻でない」なら、NMA推定値 Selecting best necessary 直接推定値と間接推定値 comparison 各比較の非整合性を判 を使うので、直接・間接は仮確実性のままでよい。 If incoherence judgment is “serious” or “very serious: estimate of effect の不精確さを評価するかどうかを判 断 定する Go back and assess 非整合性があるならば、戻って仮確実性に不精確さを検討 (between direct, indirect, or NMA estimate) 最良の効果推定 値の 選択（直接・ Choose best estimate of effect (i.e.., NMA final certainty ratings (rating 間接・NMA推定値 the one with the highest certainty) including imprecision assessment) の間で） 最良の効果推定値を選ぶ（すなわち、Direct and indirect final certainty 最も確実性の高いもの） ratings (only if necessary) imprecision of direct and indirect estimates. Note: The spreadsheet automatically indicates when assessing imprecision for direct and indirect estimates is necessary. Manual option: select between: “Direct”, “Indirect”, “NMA”, Automatic option: The step is automatically performed based on the final certainty ratings of direct, indirect and NMA estimates. D D