251201_TRIPOD+AI解説_長崎大学佐藤

改めて学ぼう！TRIPOD+AI 声明 大 長 佐藤俊太朗（ 崎 学病院臨床研究センター）

方 門 ・ 大 己 • 佐藤俊太朗（さとうしゅんたろう） • 崎 学病院 臨床研究センター所属（講師） • 専 • 物統計学，疫学の 法論 • 頃のお仕事 • 統計 疫学のコンサルテーション • 研究 • 教育 • 翻訳プロジェクト、テキスト執筆 • AROデータ管理部 の諸々 門 日 生 長 2 自 紹介

CONSORT CONSORT STROBE TRIPOD + AI TRIPOD SPIRIT SPIRIT PRISMA STARD 診断検査 CHEERS 医療経済 5 2 0 5 2 2 0 ARRIVE 動物実験 2 非 3 研究の報告ガイドラインをご存じですか？ • crossover trials クロスオーバー • cluster randomized trials クラスターRCT • randomized pilot and feasibility trials パイロット試験，フィージビリティ試験 • PRO 患者報告アウトカム • noninferiority and equivalence 劣性，同等性 • pragmatic trials プラグマティック試験 • RECORD DB研究 • TARGET target trial emulation • PRISMA-P システマティックレビュー計画 • MOOSE 観察研究のメタアナ

• 研究は，今後数 年にわたり， さまざまな分野や背景を持つ 々によって活 される • 研究内容とその成果を「誰もが」理解し，再現し，応 し， 統合できるように記述するための推奨事項 • 研究結果の記述が容易になり， 透明性の い研究は患者の治療成果向上につながる 論 執筆に有 論 • チェック 線でも • 0からも書きやすい • 他者も理解しやすい • 研究の調査をするときも， 漏れやダブりを把握しやすい 用 用 内容を把握しやすい 人 用 十 用 高 目 文 のチェックに有 • ガイドラインにしたがって書けば， もれなくダブりなく書ける 文 4 研究報告ガイドラインとは何か？

• 2つの 書で構成されることが多い • ガイドライン作成の流れと記載すべき項 のチェックリスト • 詳細な説明（explanation and elaboration, E & E） Apr 5 2 0 2 8 2 5 2 explanation and elaboration: updated guideline for protocols of randomised trials. BMJ. 0 5 2 0 2 5 2 0 目 2 6 8 4 4 5 2 0 2 1 0 0 1 0 1 0 6 6 文 1 9 8 2 0 9 8 5 3 2 8 Apr ]; Available from: http://dx.doi.org/ . /jama. . • Hróbjartsson A, Boutron I, Hopewell S, Moher D, Schulz KF, Collins GS, et al. SPIRIT ; :e . statement: Updated guideline for protocols of randomized trials. JAMA [Internet]. 2 • Chan A-W, Boutron I, Hopewell S, Moher D, Schulz KF, Collins GS, et al. SPIRIT 0 2 2 5 ガイドラインの構成 [cited Apr

CONSORT CONSORT STROBE TRIPOD + AI TRIPOD SPIRIT SPIRIT PRISMA STARD 診断検査 CHEERS 医療経済 5 目 2 0 5 2 2 0 ARRIVE 動物実験 2 非 6 TRIPODに注 • crossover trials クロスオーバー • cluster randomized trials クラスターRCT • randomized pilot and feasibility trials パイロット試験，フィージビリティ試験 • PRO 患者報告アウトカム • noninferiority and equivalence 劣性，同等性 • pragmatic trials プラグマティック試験 • RECORD DB研究 • TARGET target trial emulation • PRISMA-P システマティックレビュー計画 • MOOSE 観察研究のメタアナ

Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD) 個別の予後や診断に関する多変量予測モデルの透明性ある報告 TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods • AIに特化したガイドラインではなく， いた予測モデル開発 ・ 従来から使われる回帰を 用 7 TRIPOD+AIがアップデート！ 検証も含む

https://www.tripod-statement.org/wp-content/uploads/ / 原著者から公式に載せる ねって連絡来たけど， 載らない /primarycarevol no TRIPOD.pdf 0 1 4 2 1 0 0 2 0 https://speakerdeck.com/shuntaros/tripod-plus-ai-expandedtietukurisuto-you-zhi-fan-yi-niyoruri-ben-yu-ban- -dot2 8 日 本語版解説（2015年版）と詳細なチェックリスト（2024年版）を参照

Section/Topic Section/Topic No タイトル モデルの出 要旨 モデルの開発と評価 背景 a, b, c オープンサイエンス データ a, b 参加者 a, b, c 患者と市 アウトカム a, b, c モデルの仕様 予測因 a, b, c モデルの性能 サンプルサイズ モデルの更新 測データ 解釈 法 a, b, c, d, e, f, c, d, e, a, b, c a, b 研究の限界 赤 青 2 1 2 8 1 1 2 8 1 1 2 8 1 1 2 7 0 8 用 力 2 1 2 1 民 9 8 3 6 子 7 3 2 0 8 2 1 2 2 1 方 8 9 6 5 3 7 5 3 2 9 8 5 4 3 2 1 0 6 4 1 g 常診療における モデルの有 性 公平性 0 b, モデルの開発 クラス不均衡 7 a, 参画 研究参加者 データの準備 分析 No 倫理承認 的 6 2 日 2 2 2 2 2 2 2 1 1 1 1 1 1 1 1 1 欠 1 9 8 7 6 5 4 目 3 2 1 9 TRIPOD+AIでのアップデート（ 字：強化， 字：新規） a, b, c f

. 法によらない報告 回帰モデルまたは機械学習（ディープラーニングやランダムフォレスト等）の どちらが使 されていても対応できるような報告ガイドライン . 公平性の強調 多くの項 で公平性への対処が求められる . オープンサイエンスの強化 プロトコル等の研究登録，解析コードの共有など透明性に関わる項 . 患者と市 参画の追加 研究デザイン策定時に，患者や市 等が参加することを積極的に推奨 目 民 用 民 語の明確化 validation→evaluationへ 目 . 0 用 5 4 3 2 手 1 1 アップデートのポイント の強化

Iyama K, Sato S, Akashi R, Baba K, Hayakawa K, Ikeda S, et al. A novel scoring algorithm for chest pain can e ectively support the diagnosis of acute coronary syndrome in prehospital settings: a cross-sectional study. Int J Emerg Med. Oct ; ( ): . 急性冠症候群（ACS） 救急隊員は，胸痛患者を あり なし • 専 的な治療ができる専 病院に連れて くか？ • 般病院に連れて くか？ OK リソース圧迫 救命の遅れ OK 救急隊員が，どの病院に搬送するか現場で判断できるツールがない ・ ff 行 4 2 2 1 門 8 1 1 3 行 5 2 0 2 門 救急隊員が現場の情報のみでACSの可能性を評価できる予測モデル 1 一 1 TRIPOD（2014年版）に即した実例（1） ツールを開発

• ロジスティック回帰モデルをベースに診断予測モデルを開発 • 7つの項 の情報を いたスコアにより，ACSと診断される確率を計算 • 実運 しやすいように，紙媒体のチェックシートとR Shinyを いたWebアプリを作成 用 用 心 子 ・ 目 用 • 筋梗塞 狭 症の既往 • 年齢 • 症状の部位 • 症状の種類 • 症状の持続時間 • ACSリスク因 • 12誘導ECG 2 心 1 TRIPOD（2014年版）に即した実例（2）

感度90%以上 特異度90%以上 ・ 高 高 • 予測確率50%を閾値にしていない • 特異度を くして，陽性的中率を上げている • 感度を くして，陰性的中率を上げている • 事前に決定 • かけの感度 特異度からオプティミズムを引いている 3 見 1 TRIPOD（2014年版）に即した実例（3）

Section/Topic No Checklist item 適 • タイトルだけで何をしたいのかわかるようにする 研究が多変数(多変量)を いた予測モデルの開発もしくは性能評価 • D;E タイトル の研究であることを明確にし，対象となる集団と予測対象となるア ウトカムを明 すること 対応 △ ff 用 示 用 「A novel scoring algorithm for chest pain can e ectively support the diagnosis of acute coronary syndrome in prehospital settings: a crosssectional study」であり， • 対象集団（胸痛患者），アウトカム（急性冠症候群）が特定されている • 予測モデルの開発か性能評価か明確になっていない 4 1 1 Title

TRIPOD TRIPOD+AI Identify the study as developing and/or validating a multivariable prediction model, the target population, and the outcome to be predicted. Identify the study as developing or evaluating the performance of a multivariable prediction model, the target population, and the outcome to be predicted • 性能の妥当性が確認された（validated）モデルは存在しない（validationには検証という訳もある） • 性能評価を表す 語として，testとvalidationが存在 • Validationも曖昧で，ハイパーパラメータ調整，モデル性能評価の2つの意味 途 TRIPOD TRIPOD+AI モデル学習 train（訓練） train（訓練） ハイパーパラメータ調整 validation（妥当性確認） (hyper parameter) tuning （チューニング） モデル性能評価 validation（妥当性確認）/ test（テスト） evaluation（評価） 用 5 用 1 Validation（検証）からEvaluation（評価）へ

• 外的妥当性の確認は 変 • 研究の範囲を明確にする • ちゃんとした査読者なら「内的妥 予測モデル作ろう 開発 当性の評価までする」と宣 ばok 予測モデルの開発 Development すれ 評価 内的妥当性の評価 外的妥当性の評価 Evaluation • ブートストラップ法で過学習分の性能を割り引く • クロスバリデーションで性能のばらつきを定量化 • 訓練と評価データをランダムに分ける 法は， • 訓練と評価データをランダム 内的妥当性確認の最終 段 • むしろ，予測モデルの性能低下につながるの でもったいない 方 言 手 大 方 研究として認められる予測モデル開発の要件 6 1 評価の範囲を明確にする に分ける 法は，外的妥当性 の評価にならない • 別にデータをもってくる • 時間でわける

Section/Topic No 要旨 Checklist item 適 D;E TRIPOD+AIのための要旨チェックリスト参照すること 対応 △ • 概ね対応していたが，「研究登録情報」に対する 及はなかった • 予測モデル開発は，RCT等の 次データや観察データでおこなうため， 言 二 行 用 現 の倫理指針ではUMINへの登録は不要 • この流れを考えると登録するのがベターかもしれない 7 2 1 Abstract

Section/Topic 背景 Checklist item 対応 No 適 a • 予測モデルを作る根拠 既存のモデルを参照しながら，医療に関する背景（診断か予後予測 • D;E かどうかを含む）と予測モデルを開発または評価する根拠 を説明すること ACSの早期特定が重要であること，既存のツールは院外使 と，そして院外使 のためのツールの必要性が説明した 必要性 対象集団， 的，想定されるモデルの使 般市 など）を明確にすること 者（医療専 ○ に適さないこ ユーザー 的を明確化 • 予測モデルの使 場 予測モデルが診療プロセスのどの場 で使われるのかを説明し， • b D;E 家，患者， ○ 用 ・ 用 門 用 面 目 ・ 2 1 目 心 ・ 面 用 用 士 目 民 用 対象集団は「胸痛または 臓病が疑われる参加者」，想定される使 者は 「救急救命 」 であり， 的は「院外におけるACSリスク評価」を通じて患 者搬送を最適化し，予後を改善すること 8 一 3 3 1 Introduction（ / ）

Section/Topic No 背景 c Checklist item 適 対応 • 対象集団における公平性 D;E 統計学的グループ間の既知の健康格差を明 すること • 社会 対応できていないが，性別は既知のリスク因 ではなく，単 開発なのか評価なのか（あるいはその両 × 種であった • 研究の 的と開発の範囲の宣 D;E • 研究の 的を具体的に述べること．これには，研究が予測モデルの 的 ○ なのか）を含む 人 一 示 子 方 言 2 2 非 言 目 目 口 人 用 的は，「新しいACSリスク評価ツール（N-CARD）を開発し，その内的妥当 性を確認し，ACS/ ACS患者を識別するためのスコアを提案すること」であ ると明確に宣 9 目 4 目 3 1 Introduction（ / ）

• 雇 やローンの審査をアウトカムとした予測モデル開発において， 特定の性別，年齢， 種 族，これらの組み合わせ（intersectional）は， 予測性能が低かったり，不利な結果になりやすい • これまで差別を受けてきたことを反映したデータを いて，予測モデルを開発するため • 社会経済的な分野においては，性別，年齢， 種 族は予測モデルに含めない 民 用 ・ 人 民 ・ 人 用 医学においてはどうなる？ 0 2 公平性（fairness）とは どうする？

• 肺の放射線画像に異常所 があ るか深層学習により予測モデル を作成した • 実際は「所 あり」だけど，予 測モデルは「所 なし」と診断 された割合を属性（性別，年 齢， 種，保険制度）により 較 性，若い，黒 ，国からの保 険適 の集団において，「所 なし」と間違って診断される割 合が かった 0 5 9 fi 5 1 0 1 2 0 1 9 5 8 3 0 1 0 1 見 比 1 2 0 見 2 2 8 1 2 – 6 7 1 2 人 見 7 2 見 高 用 人 治療機会の損失 1 Seyyed-Kalantari, L., Zhang, H., McDermott, M.B.A. et al. Underdiagnosis bias of arti cial intelligence algorithms applied to chest radiographs in under-served patient populations. Nat Med , ( ). https://doi.org/ . /s - 4 • 1 女 2 どうなる？ 公平性の不均衡の例（1）

• 来年の医療費をアウトカムに予測モデルを開発 • 医療費が い患者 = ハイリスクと考え， 追加のケアをおこなう • 緊急 院や合併症を減らし， 期的なコストを 抑えたい 系と黒 系で同じ • 予測精度は 系と 較して，黒 系は慢性疾患の数は同じで • も，コストが低かった 9 1 0 2 6 2 1 長 1 0 1 6 6 3 人 人 3 人 白 2 比 4 高 3 2 行 入 3 5 人 – 7 4 受療 動，アクセスの格差， 医療システムの偏り 2 白 4 2 どうなる？ 公平性の不均衡の例（2） Obermeyer Z, Powers B, Vogeli C, Mullainathan S. Dissecting racial bias in an algorithm used to manage the health of populations [Internet]. Vol. , Science. . p. . Available from: http://dx.doi.org/ . / science.aax のFigure

要素 モデルに含めるか？ 性別 • 含める • sexとgenderを区別する 懸念点 • 医療アクセス等の社会的な影響を反映する可能性がある • 理 社会的側 を過度に単純化する • 含める • 連続変数として いて， 年齢 • 医療アクセス等の社会的な影響を反映する可能性がある • 化の 物学的プロセスを粗く代理 適切に変換する • 歴史的，社会的な背景を反映しているだけ • バイアスを再 産 • 部疾患では 種でリスクが異なる • 慎重になるべき 種 Colacci M, Huang YQ, Postill G, Zhelnov P, Fennelly O, Verma A, et al. Sociodemographic bias in clinical machine learning models: a scoping review of algorithmic bias instances and mechanisms. J Clin Epidemiol. Feb ; ( ): . のTable が詳しい） 2 5 2 0 2 6 0 6 1 1 1 6 0 6 1 1 1 8 7 1 1 5 大 2 0 2 面 用 人 生 生 ・ • 公平性を定量化するのが 事 • カテゴライズして公平性の指標を確認（Geo et al. Stat Med. • 公平性の指標をペナルティ項に含めてモデリング 3 一 人 老 生 2 どうする？

) Section/Topic No データ a Checklist item 適 D;E 対応 • 開発 と評価 のデータソースの説明 • 開発 と評価 のデータセットについて，それぞれのデータソー ス，およびそれらのデータを使う理由と代表性について説明するこ と ○ • データソースは， 崎市内の「研究レジストリデータ」であり，院外で収 集された情報で構成されている • すべてのデータがモデル開発と内的妥当性に使 b D;E は，参加者の募集開始 も含む 用 月 日 日 示 月 日 1 1 長 1 用 用 用 用 用 された • 参加者データの対象期間の明 • 参加者データの対象期間となる 時を明らかにすること．これに と終了 データ収集期間は「2023年4 4 日 5 5 2 Methods ( / ，該当する場合は追跡期間の終了 から2024年3 まで」 ○

) Section/Topic No 参加者 a Checklist item 適 • どのような設定で集められたデータか明 • 研究の設定における重要な要素（例：プライマリケア，セカンダリ D;E ケア， 般集団）を明らかにすること．これには，施設の数や場所 も含む 対応 ○ • 設定は「院外」，「 崎市， 本」 の参加者．対象者のデータは救急隊に よって収集された b ○ • 研究参加者の適格基準を説明 • 選択基準は「 崎市内で胸痛のため救急隊が出動し，院外で12誘導ECGを D;E 実施したすべての参加者」 • 除外基準も明記した（ECG未取得，18歳未満，最終診断なし） c • 受けた治療の説明 D;E • 関連する場合，受けた治療の詳細と，モデル開発または評価中にそ れらがどのように扱われたかを記述する 示 日 1 1 長 2 長 一 用 対応できていない 5 6 6 6 2 Methods ( / ×

) Section/Topic No データの準備 適 D;E Checklist item • データの前処理と公平性も考慮した品質について説明 • データの前処理と品質チェックについて説明すること．これには， 関連する社会 統計学的グループ間で同様の処理がおこなわれて いるかどうかも含む • データクリーニングに いたすべてのコードは公開する 用 用 1 1 3 口 人 口 用 人 用 • 予測に いた変数のカテゴライズについては説明 統計学的な変数は含まれてない • 社会 • データクリーニングに いたコードの公開はしていない 6 7 2 Methods ( / 対応 △

) Section/Topic No アウトカム Checklist item 適 a • アウトカムの定義を明確に • 予測対象となるアウトカムと予測の時間的範囲を明確に定義するこ D;E と．これには，アウトカムの評価 法と時期，このアウトカムを選 択した根拠，およびアウトカムの評価 法が社会 統計学的グル ープ間で 貫しているかどうかを含む 対応 △ • アウトカムは，受け れ医療機関によってACSと分類される • 診断された厳密なタイミングはわからない 統計学的グループ間での評価の 貫性については 及していない • 社会 • アウトカム評価が主観的な場合，誰の評価か書く b D;E • アウトカムの評価に主観的な解釈が必要な場合は，評価者の資格と − 統計学的特徴について説明すること 該当なし • アウトカムの盲検化 D;E • 予測するアウトカムの評価における，盲検化について報告すること c 言 口 人 一 方 方 1 1 入 4 一 口 人 口 用 該当なし 7 8 人 8 8 2 Methods ( / −

) Section/Topic No 予測因 Checklist item 適 a 対応 • モデルに使う変数の選択 法 • はじめに候補として考えた予測因 の選択 法（例： 献，過去の D モデル，利 可能なすべての予測因 ）と，モデル構築前の予測因 の事前選択について説明すること ○ • 予測因 は「TIMIリスクスコアとHEARTスコアを参照して」選択されたこ と，および含まれる7つの構成要素からなることを説明 b • 予測因 の明確化 • すべての予測因 を明確に定義し，測定 法や時期（およびアウト D;E カムや他の予測因 に対してある予測因 化したか）を含めて説明すること の評価をどのように盲検 文 方 子 方 子 子 方 1 1 子 5 子 用 子 子 子 用 • 各変数について明確に説明した • すべての変数は，院外で救急隊が測定できるものとした 8 9 子 9 2 Methods ( / ○

) Section/Topic No 予測因 c Checklist item 適 • 予測因 の評価が主観的な場合，誰の評価か書く D;E • 予測因 の測定に主観的な解釈が必要な場合は，予測因 の評価者 の資格と 対応 ○ 統計学的特徴について説明すること • 主な予測因 は患者からの訴え • 12誘導ECGは救急隊が解釈．トレニーングを終えている • 原則，統計的なサンプルサイズ計算をおこなう • 研究の規模（サンプルサイズや施設数など）がどのように決定され サンプルサイズ D たかを（開発と評価とでわけて）説明し，その規模が研究疑問に答 えるのに 分であることを す．サンプルサイズ計算の詳細を含め ること • 統計学的なサンプルサイズ計算をおこなわなかった場合（例：利 可能なすべてのデータを使 した場合），データの規模が研究疑問 に答えるのに 分であったかどうかの妥当性を説明する • 統計的なサンプルサイズ計算はおこなわず，期間に基づいて計算． 用 子 用 示 1 1 6 十 子 口 人 十 子 子 子 用 0 limitationに記載 9 1 9 2 Methods ( / △

「1変数につき10イベント」ルールは古い 4つの 法で計算し，最 のサンプルサイズを必要症例数として設定する . nullモデルにおける，アウトカム期待値の精度ベースでの計算 • 値アウトカムなら，±0.05を推奨 . fullモデルにおける，平均絶対予測誤差ベースでの計算 • 平均絶対予測誤差：予測確率と 値データとの絶対値差の平均 • 候補パラメータ数，アウトカム割合から計算 . 過学習を抑えるシュリンケージ量を . オプティミズムが pmsampsize, R package さく済むようなサンプルサイズを計算 さく済むようなサンプルサイズを計算 • パラメータ数とR 値から計算 1 4 4 8 6 3 8 小 1 二 0 2 0 2 大 小 2 方 Riley RD, Ensor J, Snell KIE, Harrell FE Jr, Martin GP, Reitsma JB, et al. Calculating the sample size required for developing a clinical prediction model. BMJ. Mar ; :m . 0 4 3 2 二 1 3 予測モデル（訓練データ）のサンプルサイズ設計

• Rileyの主張は，4つの 法で計算をすることで • 元にあるサンプルサイズに対する，必要なサンプルサイズの過不 がわかる • 元にあるサンプルサイズで可能な，変数の数がわかる • （個 的には） • 特に 法3（シュリンケージ，しかも正則化ではない）はやるか？ • オプティミズムも補正すれば良いのでは？ • （私 ）ある程度のデータがあって， 足 くモデル開発して，内的妥当性の評価ができれば，それで良いではないか？ 方 高 見 方 人 透明性 1 手 手 3 あるだけのデータ使えば良いんじゃない？

) Section/Topic No Checklist item 対応 測データの説明 測データをどのように対処したのか説明すること．データを除外 した場合は，その理由を説明すること ○ 適 • D;E • 測データ • 予測因 に 測データがあったのは1%であり，その割合が さいため，こ れらの参加者はモデル開発から除外した • データが分析でどのように使 されたか（例：モデルの開発とモデ 分析 法 ルの性能評価のため）を説明 • 必要なサンプルサイズを考慮しながら，データの分割について説明 すること a D b • すべてのデータがモデル開発と内的妥当性の評価に使 された • モデル開発における予測因 の取り扱いを説明 D • モデルの種類に応じて，予測因 が分析でどのように扱われたかを ○ ○ 説明すること（関数形、再スケーリング、変換、または標準化） • 小 用 示 二 子 用 子 1 1 7 欠 子 方 用 2 2 1 筋梗塞の既往でモデルが異なることが 唆されたため，まず既往でデー タを分けた • 各変数も推定の不安定を避けるために 値化 2 心 1 1 欠 欠 1 欠 3 Methods ( /

) Section/Topic No 分析 法 c Checklist item 適 D 対応 • モデル開発と性能評価の詳細を説明 • モデルの種類，根拠[すべてのモデル構築アプローチで分けて]，ハ イパーパラメータ調整を含むすべてのモデル構築 妥当性の評価 法を明記すること 順，および内部 手 用 1 1 8 比 方 力 方 用 2 • ロジスティック回帰モデル • 各変数のオッズ を推定し，スコアを開発 • 識別能 はAUC，較正はキャリブレーションプロットで確認 • 内的妥当性の評価は，ブートストラップ法を いた 3 1 3 Methods ( / ○

) Section/Topic No 分析 法 Checklist item 適 d D;E 対応 • クラスターがある場合は，どう考慮したか • クラスター（例：病院、国）間でのモデルパラメータ値とモデル性 能の推定値の不均 性が考慮され，定量化された場合，その 説明すること • 追加の検討事項はTRIPOD-Clusterを参照せよ 法を − 該当なし e D;E モデル性能を評価するための指標を指定 ○ 評価指標として感度/特異度，AUC，ROC曲線，キャリブレーションプロット を作成 f E • モデルの更新について記載 • モデル評価から じたモデルの更新（例：再較正）について，全体 的なものか，特定の社会 統計学的グループまたは特定の環境に 関するものかを記述すること 方 口 人 1 1 一 9 生 方 用 2 2 2 該当なし 4 1 1 1 3 Methods ( / −

/ Section/Topic 分析 ) No 法 Checklist item 適 g 対応 • 予測モデルをどう使うか す • モデル評価において，モデルの予測がどのように計算されたか E ○ （例：数式、コード、オブジェクト、API）を説明すること クラス不均衡 • スコア表を作成 • モデル開発と性能評価のコードはGitHubで公開 • データ不均衡に対する統計的な対処 法を書く • クラス不均衡に対処する 法を使 した場合は，その理由と 法， D;E 続けて，モデルやモデル予測を再較正するために使 明すること 予測因 は推定の不安定性を避けるため した 法を説 ○ 値化した • モデルの公平性への対処法を説明 D;E • モデルの公平性に対処するために使 したアプローチとその根拠を 公平性 × 説明すること • 方 方 用 二 用 方 用 人 方 示 1 日 1 0 1 日 子 人 方 用 4 3 2 分に検討できていない，性別の情報は取得できていないためfuture work へ． 種は 本で使う 本 に対するモデルなので検討不要 • limitationに記載 5 十 1 1 1 3 Methods (

/ Section/Topic ) No Checklist item 適 • 予測モデルの出 （例：確率，分類）を特定する D • あらゆる分類について，またそれらの閾値がどのように決めたかに モデルの出 ついての詳細を 対応 ○ すこと • ACSかnon-ACSを識別する予測確率のカットオフ値（スコア）は， 感度 モデルの開発と評価 D;E 特異度より設定 • 医療環境，適格基準，アウトカム，および予測因 において，開発 データと評価データの間にある違いを特定すること − 単 データでモデル開発と内的妥当性の評価をしているため，データ間の違 いはない 倫理承認 D;E • 研究を承認した治験審査委員会または倫理委員会の名称を し，参 加者のインフォームドコンセントまたは，倫理委員会によるインフ ォームドコンセントの免除について説明すること 示 子 方 1 1 1 1 力 示 力 大 ・ 一 用 5 7 6 • 崎 学病院臨床研究倫理委員会の承認を得た • インフォームドコンセントはオプトアウト 式 6 長 1 1 1 3 Methods ( ○

Section/Topic 研究資 No Checklist item 適 a D;E 研究資 の出所と資 対応 提供者の研究における役割を すこと ○ 記載 b D;E すべての著者の利益相反と財務状況を開 すること ○ 記載 研究のプロトコルを できる場所を c D;E ていない場合はその旨を述べること プロトコル すか，プロトコルが準備され × 計画書はあるけれども，公開していない 研究の登録情報（登録名と登録番号を含む）を d D;E れていない場合はその旨を述べること 登録情報 すか，研究が登録さ × 登録していない．登録していないことも記載していない データの共有 e D;E 研究データの利 可能性に関する詳細を 示 示 示 示 示 手 入 金 用 用 金 金 用 8 8 8 8 8 メタ解析にのみ利 7 1 1 1 1 1 3 オープンサイエンス（1/2） 可能な旨を記載 すこと ○

Section/Topic コードの共有 No f Checklist item 適 対応 • 分析コードの利 可能性に関する詳細を すこと[分析コードに D;E は，データクリーニング，特徴量エンジニアリング，モデル開発， モデル評価を含む] △ モデル開発と性能評価のコードはGitHubに公開 患者と市 参画 • 研究の設計，実施，報告，解釈，または普及において患者や市 が D;E どのように関与したかを詳述するか，関与がなかった場合はその旨 を述べること × 対応していない • 患者や市 がモデル開発や報告に関わることで，患者と市 のモデルへの受容性を めて， 信頼を構築できる • 公平性の観点からも，患者，市 を含む多様なステークホルダーが関わることで， 高 民 み出したり，悪化させたりしないことを期待する 民 示 生 民 用 民 民 用 9 8 不当な差別を防ぎ，医療格差を 8 1 1 3 オープンサイエンス（2/2）

Section/Topic 研究参加者 No Checklist item 適 対応 • 研究参加者の流れを す • 研究の流れを説明し，アウトカムイベントの有無ごとの参加者数 a D;E や，該当する場合は追跡期間の要約を す • フロー図を使う， 測のある参加者数やイベントの数も含む 章では書いているが，フロー図は △ していない • いわゆるTable b D;E • 表を いるなどして，全体的な特徴と，該当する場合は ○ 各データソースまたは設定ごとの特徴を報告すること した c モデルの評価において，開発データとの の分布を 較する E 較を し，重要な予測因 子 示 比 示 示 示 欠 1 比 用 用 0 0 0 モデル評価が別データではないため，該当しない 9 2 示 2 文 2 3 結果（1/3） ー

Section/Topic No モデルの開発 Checklist item 適 D;E • アウトカムの記述情報を す • 各分析（例：モデル開発，ハイパーパラメータチューニング，モデ ル評価）における参加者とアウトカムイベントの数を明確に述べる こと Table に モデルの仕様 D • モデルを誰でも使えるようにする • 新たな個 での予測を可能にし，第三者による評価と実装を可能に するために，完全な予測モデル（例：予測式、コード、オブジェク ト、API）の詳細を記載すること．アクセスや再利 に対する制限 （例： 由に利 可能、所有権）も含めること 用 示 用 示 人 自 1 用 2 1 対応 ○ した リスクスコア表とwebアプリケーション，開発コードを公表した 0 2 2 4 結果（2/3） ○

Section/Topic No Checklist item 適 対応 • モデルの性能評価を す • 主要なサブグループ（例：社会 統計学的特性）を含む，モデ ルの性能の推定値（信頼区間含む）を報告すること．図表での可視 a D;E 化を検討すること • 公平性を確認する • モデルの性能評価はグラフ化する モデルの性能 △ • オプティミズム補正済みの感度，特異度，AUCは した • 95%信頼区間は していなかった • ROC曲線とキャリブレーションプロットは図 した • 公平性の確認はできていなかった クラスター間のモデル性能の不均 b D;E 報告すること 性を評価した場合は，その結果を ー 該当なし モデルの更新 E モデル更新の結果を，更新されたモデルとその後の性能を含めて報告 すること 示 示 口 一 人 ・ 示 示 用 3 3 4 該当なし 1 2 2 2 4 結果（3/3） ー

Section/Topic No Checklist item 適 の 研究の限界 D;E • 全体的なモデルの解釈はしている • 公平性を含めた解釈はできていない • Limitationの記載 • 研究のあらゆる限界（例：代表的でない標本，サンプルサイズ，過 剰適合， 測データ）とそれらがバイアス，統計的不確実性， 化可能性に与える影響について議論すること 一 行 目 示 示 欠 士 欠 文 用 5 △ 脈における公平性の問題を含める • ECG解釈が救急救命 によること • 測データの除外 • 外部妥当性の未評価 • 統計的な計算に基づかないサンプルサイズ • および公平性の観点の 如 • 般化可能性 6 対応 • 全体の解釈と，公平性を含めた解釈を すこと D;E • 主な結果の全体的な解釈を提 すること．これには 的と先 研究 解釈 2 一 欠 2 2 4 考察（1） 般 ○

Section/Topic No 常診療における モデルの有 性 Checklist item 適 a • 現場におけるモデルの有 性 • 予測モデルを実装する際に，品質の低い データや利 できない データをどのように評価し処理すべきかを説明すること • モデルが 常診療の 部として使 される際に，利 できない予測 因 の値をどのように扱うべきかについて 及する D 対応 ○ 現場で容易に測定可能なデータのみで予測モデルを開発した b • D データの取り扱いやモデルの使 において，利 者が関わる必 要があるかどうか，また利 者にどの程度の専 知識が求められる かについて議論すること ○ • 利 者は救急隊であることを明記 • 12誘導ECGの解釈には訓練が必要 モデルの適 可能性と 般化可能性に特に焦点を当てた，将来の研究 c D;E のための次のステップについて議論すること ○ 比 用 用 用 言 門 言 力 入 用 用 用 用 一 一 自 用 用 日 用 力 子 力 用 7 7 7 外的妥当性評価の必要性，予後改善を確認するためのクラスター無作為化 較試験または 然実験デザイン研究の必要性に 及 3 2 入 2 入 2 日 4 考察（2）

• PubMedで「tripod」 「tripod ai」で検索 • [All Fields]対象 • E&Eはまだ出ていない • 公式もとりあえずTRIPOD 1200 っている Number of articles • まだ普及していない印象 1600 版を使ってと Reporting guideline CONSORT STROBE 800 TRIPOD TRIPOD+AI 400 • すべて網羅すれば，しっかりし 言 5 1 0 プリに移そう Year 25 20 24 20 23 20 22 20 21 20 20 • 分量が多くなるので，適宜サ 0 20 た報告になる 4 2 4 PubMedで「TRIPOD」「TRIPOD+AI」を調べると．．

• Collins GS, Reitsma JB, Altman DG, Moons KGM. Transparent Reporting of a multivariable prediction model for Individual Prognosis or Diagnosis (TRIPOD): the TRIPOD statement. Ann Intern Med. Jan ; ( ): . • Moons KGM, Altman DG, Reitsma JB, Ioannidis JPA, Macaskill P, Steyerberg EW, et al. Transparent Reporting of a multivariable prediction model for Individual Prognosis or Diagnosis (TRIPOD): explanation and elaboration. Ann Intern Med. Jan ; ( ):W - . • （ 本語版）個別の予後や診断に関する多変量予測モデルの透明性ある報告(TRIPOD)のた め の声明: 解説と詳細 • Collins GS, Moons KGM, Dhiman P, Riley RD, Beam AL, Van Calster B, et al. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ. Apr ; :e . • （チェックリスト 本語版）TRIPOD+AI Expandedチェックリスト 有志翻訳による 本語 日 5 1 0 2 8 7 3 8 7 0 5 8 3 6 1 4 3 2 6 0 – 2 5 5 1 2 6 1 6 5 1 0 日 2 3 1 7 1 1 文 1 2 6 日 1 版 version. . 5 6 4 参考 献（TRIPOD関係）

（訳）． 引き．朝倉書店 リスク分野のための機械学 手 川太 ・ 道夫，北條孝佳， ） 妥当性確認 更新の 高 5 2 田 0 2 門 大 文 江洲勲，伊東道明，園 習．O'REILLY Japan（ ・ • 貴志（監訳）．臨床予測モデル 開発 一 良向聡， （2023） 石 • 6 高 手 4 参考 献（予測モデル開発）

• Gao J, Chou B, McCaw ZR, Thurston H, Varghese P, Hong C, et al. What is fair? De ning fairness in machine learning for health. Stat Med. Sept ; ( ):e . • Obermeyer Z, Powers B, Vogeli C, Mullainathan S. Dissecting racial bias in an algorithm used to manage the health of populations [Internet]. Vol. Available from: http://dx.doi.org/ . , Science. . p. . /science.aax • Colacci M, Huang YQ, Postill G, Zhelnov P, Fennelly O, Verma A, et al. Sociodemographic bias in clinical machine learning models: a scoping review of algorithmic bias instances 3 5 – 7 4 fi 4 4 3 2 9 0 1 7 0 2 2 . 2 – 6 0 2 0 6 4 1 4 1 1 1 ): 6 6 6 3 2 0 4 6 ( 3 1 2 5 1 2 1 0 2 8 7 1 Feb ; 1 6 5 2 2 1 0 1 2 0 1 文 and mechanisms. J Clin Epidemiol. 7 4 参考 献（公平性）