万延する研究報告の質の低さの問題への総合的対策
850 Views
May 24, 22
スライド概要
関連スライド
各ページのテキスト
万延する研究報告の質の低さの問題への 総合的対策 奥村泰之 ⼀般財団法⼈ 医療経済研究・社会保険福祉協会 医療経済研究機構 研究部 研究員 ⽇本⼼理学会第78回⼤会 エビデンスの「質」を意識した研究計画への誘い： 研究を始める前に知っておきたい研究報告の国際基準 2014/9/11 (⽊) 15:30~17:30 同志社⼤学今出川キャンパス 良⼼館 RY302
構成 無駄な研究 (2 min) 研究報告の質の低さの問題 (10 min) 研究成果の未公表 選択的報告 不完全な報告 誤解を与える報告 総合的対策 (8 min) 研究の事前登録 研究計画書の公開 報告ガイドライン 継続的専⾨教育 2
ねつ造論⽂の撤回，ワールドレコード ⽇本経済新聞 (http://www.nikkei.com/article/DGXNASDG2904H_Z20C12A6CR8000/) 3
研究不正，結果-結論に関して， 研究の信頼性を損ねる⾏為 ねつ造 Fabrication 改ざん Falsification 盗⽤ Plagiarism [1] COPE: Cooperation between research institutions and journals on research integrity cases (http://publicationethics.org/files/Research_institutions_guidelines_final_0.pdf) [2] ICMJE: Scientific Misconduct, Expressions of Concern, and Retraction (http://www.icmje.org/recommendations/browse/publishing-and-editorial-issues/scientific-misconductexpressions-of-concern-and-retraction.html) 4
糾弾，退職処分や論⽂撤回 東邦⼤学医学部 (http://www.med.toho-u.ac.jp/information/info2012_index/news20120312.html) 5
低い質の研究報告，結果-結論に関して， 研究の信頼性を損ねる⾏為 研究成果の未公表 選択的報告 Non-reporting Selective reporting 不完全な報告 誤解を与える報告 Incomplete reporting Misleading reporting EQUATOR Network: Importance of good research reporting (http://www.equatornetwork.org/toolkits/teachers/teachers-importance-of-good-research-reporting/) 6
論⽂撤回の主因は研究不正， 低い質の研究報告ではない Fang FC et al: Proc Natl Acad Sci U S A. 2012 Oct 16;109(42):17028-33. 7
低い質の研究報告，みんなで⾚信号横断中 8
構成 無駄な研究 (2 min) 研究報告の質の低さの問題 (10 min) 研究成果の未公表 選択的報告 不完全な報告 誤解を与える報告 総合的対策 (8 min) 研究の事前登録 研究計画書の公開 報告ガイドライン 継続的専⾨教育 9
出版バイアス (publication bias) 研究者は 都合の良い研究を公表しがち 10
試験登録後の未出版，29~54% [1] Ross JS et al: PLoS Med. 2009 Sep;6(9):e1000144. [2] Ross JS et al: BMJ. 2012 Jan 3;344:d7292. [3] Jones CW et al: BMJ. 2013 Oct 29;347:f6104. [4] Manzoli L et al: BMJ. 2014 May 16;348:g3058. [5] Khan NA et al: Arthritis Rheumatol. 2014 Aug 25 11
抗うつ薬の治験，出版バイアス FDA申請の抗うつ薬プラセボ対照試験 未出版の治験は効果量が⼩さい Turner EH et al: N Engl J Med. 2008 Jan 17;358(3):252-60. 12
構成 無駄な研究 (2 min) 研究報告の質の低さの問題 (10 min) 研究成果の未公表 選択的報告 不完全な報告 誤解を与える報告 総合的対策 (8 min) 研究の事前登録 研究計画書の公開 報告ガイドライン 継続的専⾨教育 13
選択的報告バイアス (selective reporting bias) 研究者は研究成果の 都合の良い部分を抜粋しがち 14
試験登録~出版時の主要評価項⽬の齟齬， 14~49% [1] Mathieu S et al: JAMA. 2009 Sep 2;302(9):977-84 [2] You B et al: J Clin Oncol. 2012 Jan 10;30(2):210-6 [3] Hannink G et al: Ann Surg. 2013 May;257(5):818-23 [4] Killeen S et al: Ann Surg. 2014 Jan;259(1):193-6 15
評価項⽬の選択は有意性の追求，83~92% [1] Mathieu S et al: JAMA. 2009 Sep 2;302(9):977-84 [2] Killeen S et al: Ann Surg. 2014 Jan;259(1):193-6 16
評価項⽬の選択法 事前設定した主要評価項⽬を削除 論⽂で主要評価項⽬を新設 主要評価項⽬から副次評価項⽬に格下げ 副次評価項⽬から主要評価項⽬に格上げ 主要評価項⽬の評価時点の変更 [1] Mathieu S et al: JAMA. 2009 Sep 2;302(9):977-84 [2] You B et al: J Clin Oncol. 2012 Jan 10;30(2):210-6 [3] Hannink G et al: Ann Surg. 2013 May;257(5):818-23 [4] Killeen S et al: Ann Surg. 2014 Jan;259(1):193-6 17
バラエティ豊かな選択的報告 複数の評価項⽬から選択 複数の評価時点から選択 複数の効果量から選択 複数の統計モデルから選択 複数のサブグループから選択 Page MJ et al: Syst Rev. 2013 Apr 10;2:21 18
構成 無駄な研究 (2 min) 研究報告の質の低さの問題 (10 min) 研究成果の未公表 選択的報告 不完全な報告 誤解を与える報告 総合的対策 (8 min) 研究の事前登録 研究計画書の公開 報告ガイドライン 継続的専⾨教育 19
不完全な報告 (incomplete reporting) 研究者は研究成果を 不完全に報告しがち 20
RCTの質，バイアスへのリスクで決まる バイアスの種類 判断基準 選択バイアス 乱数⽣成 割り付けの隠匿化 実⾏バイアス 患者と治療者の盲検化 検出バイアス 評価者の盲検化 ⽋測バイアス アウトカム測定の完全性 報告バイアス 事前設定したアウトカム報告 Cochrane Handbook for Systematic Reviews of Interventions (http://www.cochrane.org/handbook) 21
集団CBTのRCT (35試験)，60%以上は， 選択・報告バイアスが評価不能 Okumura Y, Ichikura K: J Affect Disord. 2014 Aug;164:155-64. 22
CONSORT声明，RCTの報告ガイドライン Moher D et al: BMJ. 2010 Mar 23;340:c869 23
⼼理社会的介⼊のRCT (239試験)， CONSORT声明を無視 Grant SP et al: PLoS One. 2013 May 29;8(5):e65442. 24
⽇本発のRCT (98試験)， CONSORT声明を無視 Uetani K et al: Intern Med. 2009;48(5):307-13. 25
構成 無駄な研究 (2 min) 研究報告の質の低さの問題 (10 min) 研究成果の未公表 選択的報告 不完全な報告 誤解を与える報告 総合的対策 (8 min) 研究の事前登録 研究計画書の公開 報告ガイドライン 継続的専⾨教育 26
誤解を与える報告 (misleading presentation) 研究者は失敗した研究成果を 盛って報告しがち 27
失敗した臨床試験，結論部を錯乱 錯乱 (spin) とは 主要評価項⽬に統計的有意性が得られない 優越性試験 (失敗した臨床試験) において • 実験的治療の有益性を強調する報告戦略 • 主要評価項⽬の注意を反らす報告戦略 Boutron I et al: JAMA. 2010 May 26;303(20):2058-64. 28
失敗した臨床試験，結論を錯乱，40~59% [1] Boutron I et al: JAMA. 2010 May 26;303(20):2058-64 [2] Yavchitz A et al: PLoS Med. 2012;9(9):e1001308 [3] Lockyer S et al: Trials. 2013 Nov 6;14:371 [4] Patel SV et al: Dis Colon Rectum. 2013 Dec;56(12):1388-94 29
バラエティ豊かな錯乱法 奥村: Monthly IHEP 301: 23-28, 2014 30
錯乱事例，リサーチクエスチョン P : 地域住民 (地方部/都市部) I : 複合的自殺予防プログラム C : 通常の自殺予防対策 O : 自殺死亡者数と自傷搬送者数の合計 T : 治療開始3.5年 Ono Y et al: PLoS One. 2013 Oct 9;8(10):e74902 31
主要評価項⽬，統計的有意性はない 介⼊群が好ましい Ono Y et al: PLoS One. 2013 Oct 9;8(10):e74902 対照群が好ましい 32
地⽅部の副次評価項⽬ (⾃傷搬送者数)， ⼀部のサブグループに有意性 介⼊群が好ましい Ono Y et al: PLoS One. 2013 Oct 9;8(10):e74902 対照群が好ましい 33
要旨の結論部を錯乱 主要評価項⽬の錯乱 複合的⾃殺予防プログラムは，都市部では なく地⽅部で実施できる。 » Our findings suggest that this community-based multimodal intervention for suicide prevention could be implemented in rural areas, but not in highly populated areas. 副次評価項⽬ + サブグループの焦点化 地⽅部における介⼊の効果は，男性と⾼齢 者で⽰された。 » The effectiveness of the intervention was shown for males and for the elderly in rural areas. [1] Ono Y et al: PLoS One. 2013 Oct 9;8(10):e74902 [2] 奥村: Monthly IHEP 301: 23-28, 2014 34
Take Home Messages 学術雑誌に掲載された論⽂が すべての研究成果を代表する 研究成果の全体像を表す 必要不可⽋な情報が書かれている 盛らずに報告している とは限らない 35
構成 無駄な研究 (2 min) 研究報告の質の低さの問題 (10 min) 研究成果の未公表 選択的報告 不完全な報告 誤解を与える報告 総合的対策 (8 min) 研究の事前登録 研究計画書の公開 報告ガイドライン 継続的専⾨教育 36
Lancet, 無駄な研究防⽌の総合的対策 研究疑問[1] •基礎研究から応用につながる可能性を高める方法を検討する •資金提供者は，ユーザーのニーズに合致した研究疑問を考慮し，研究助成プロセスの透明性を向上させる •資金提供者と監査者は，研究助成の申請書における新たな一次研究を行うことの正当性に関して，系統的展望に基いた記載を求める •資金提供者と監査者は，進行中の研究として何が存在しているかを把握できるよう，インフラを整備する •研究計画書，解析手順書，生データを公開する •統計学者と方法論者が関与する，研究法を継続的に教育する，相反関係のない利害関係者が関与する 研究法，実施 •研究の再現性を高める研究活動へ報酬を与える と分析[2] 監査と管理[3] •監査者 (倫理委員会など) は，無駄な研究を減らすように影響力を行使する (e.g., 臨床試験の事前登録を求めるなど) •監査者と政策立案者は，研究者などと協力して研究実施のガイドラインなどを策定し，それらは研究に関連するリスクと釣り合うよう保証する •研究者と研究責任者は，症例登録，欠測，データモニタリング，データ共有の効率を上げ，これらの効率を高めるための研究を行う •すべての人は，通常診療と研究を統合するよう宣伝することで，臨床研究の効率改善に支援する •研究機関と資金提供者は，研究の普及に関する業績評価を適応する (例: 倫理審査承認の研究あたりの，出版割合やデータ共有割合) •研究者，資金提供者，監査者などは，研究計画書やデータ共有の基準を開発・採用する (例: SPIRIT声明やPRISMA-P声明の採用) アクセシビリ •資金提供者，監査者，出版社などは，研究の事前登録，研究の詳細の公開，データ共有を支持・実行する ティ[4] 報告[5] •研究機関と資金提供者は，研究報告の完全性を促進するよう，監査し報酬を与える •資金提供者は，良好な報告と保管を支援するよう，研究報告のインフラ整備に努める •研究機関，資金提供者と出版社は，著者と査読者が研究報告の完全性を高められるよう改善する (例: CONSORT声明やSTROBE声明の採用) [1] Chalmers I et al: Lancet. 2014 Jan 11;383(9912):156-65 [2] Ioannidis JP et al: Lancet. 2014 Jan 11;383(9912):166-75 [3] Al-Shahi Salman R et al: Lancet. 2014 Jan 11;383(9912):176-85 [4] Chan AW et al: Lancet. 2014 Jan 18;383(9913):257-66 [5] Glasziou P et al: Lancet. 2014 Jan 18;383(9913):267-76 37
研究者の関与必須の総合的対策 研究の事前登録 研究計画書の公開 報告ガイドライン 継続的専⾨教育 Study registration Reporting guideline Study protocol Continued professional development 38
ヘルシンキ宣⾔，研究の事前登録義務 35. ⼈間を対象とするすべての研究は， 最初の被験者を募集する前に⼀般的にア クセス可能なデータベースに登録されな ければならない。 ⽇本医師会 (http://www.med.or.jp/wma/helsinki08_j.html#ja) 39
公開データベースの例 [1] ClinicalTrial.gov (http://clinicaltrial.gov/) [2] UMIN Clinical Trial Registry (http://www.umin.ac.jp/ctr/index-j.htm) 40
研究法の概要を事前公開 ClinicalTrial.gov (http://clinicaltrial.gov/ct2/show/NCT01869660) 41
事前登録の必要性，臨床試験に限らない [1] Liberati A et al: PLoS Med. 2009 Jul 21;6(7):e1000100 [2] Dal-Ré R et al: Sci Transl Med. 2014 Feb 19;6(224):224cm1 [3] van der Worp HB et al: PLoS Med. 2010 Mar 30;7(3):e1000245 42
構成 無駄な研究 (2 min) 研究報告の質の低さの問題 (10 min) 研究成果の未公表 選択的報告 不完全な報告 誤解を与える報告 総合的対策 (8 min) 研究の事前登録 研究計画書の公開 報告ガイドライン 継続的専⾨教育 43
研究計画書の公開義務，RCTと系統的展望 [1] Moher D et al: BMJ. 2010 Mar 23;340:c869 [2] Liberati A et al: PLoS Med. 2009 Jul 21;6(7):e1000100 44
研究計画書の報告ガイドライン [1] Chan AW et al: BMJ. 2013 Jan 8;346:e7586 [2] EQUATOR Network (http://www.equator-network.org/library/reporting-guidelines-under-development/) 45
研究計画書，掲載誌の例 [1] TRIALS (http://www.trialsjournal.com/authors/instructions/studyprotocol) [2] BMC Psychiatry (http://www.biomedcentral.com/bmcpsychiatry/authors/instructions/studyprotocol) 46
研究計画書，例数設計の根拠などを明⽰ Ishii M et al: BMC Psychiatry. 2014 Apr 14;14:111 47
構成 無駄な研究 (2 min) 研究報告の質の低さの問題 (10 min) 研究成果の未公表 選択的報告 不完全な報告 誤解を与える報告 総合的対策 (8 min) 研究の事前登録 研究計画書の公開 報告ガイドライン 継続的専⾨教育 48
ヘルシンキ宣⾔，報告の完全性義務 36. (前略) 研究者は，⼈間を対象とする 研究の結果を⼀般的に公表する義務を有 し報告書の完全性と正確性に説明責任を 負う。(後略) ⽇本医師会 (http://www.med.or.jp/wma/helsinki08_j.html#ja) 49
EQUATOR，報告ガイドラインの⼊⼿⽀援 EQUATO Network (http://www.equator-network.org/) 50
200以上のガイドライン EQUATO Network (http://www.equator-network.org/) 51
鉄板は，CONSORT-STROBE-PRISMA [1] Moher D et al: BMJ. 2010 Mar 23;340:c869 [2] Vandenbroucke JP et al: PLoS Med. 2007 Oct 16;4(10):e297 [3] Liberati A et al: PLoS Med. 2009 Jul 21;6(7):e1000100 52
投稿要綱，報告ガイドラインの推奨 BMJ (http://www.bmj.com/about-bmj/resources-authors/article-submission/article-requirements) 53
構成 無駄な研究 (2 min) 研究報告の質の低さの問題 (10 min) 研究成果の未公表 選択的報告 不完全な報告 誤解を与える報告 総合的対策 (8 min) 研究の事前登録 研究計画書の公開 報告ガイドライン 継続的専⾨教育 BMJ (http://www.bmj.com/about-bmj/resources-authors/article-submission/article-requirements) 54
EQUATOR，専⾨教育を配信 EQUATOR Network (http://www.equator-network.org/2014/08/06/scientific-meeting-improvingreporting-to-decrease-the-waste-of-research/) 55
学会主導，セミナー開催 ⽇本疫学会 (http://jeaweb.jp/activities/seminars/pdf/20140830.pdf) 56
研究者主導，シンポジウム開催 ⽇本⼼理学会 (http://jpa2014.com/pdf/JPA_78th_program.pdf) 57
研究者主導，研究会開催 REQUIRE研究会 (http://blue.zero.jp/yokumura/workshop.html) 58
⽇本認知・⾏動療法学会，特集号 ⾏動療法研究 40巻3号から8編 ⾏動療法研究における研究報告に関するガイドラ インの特集に向けて[1] 観察研究の必須事項[2] ⾮薬物療法の介⼊研究の必須事項[3] [1] 奥村ら: ⾏動療法研究 40 (3). 印刷中 [2] ⽵林: ⾏動療法研究 40 (3). 印刷中 [3] 奥村: ⾏動療法研究 40 (3). 印刷中 59
啓発資料の公開 アクセプトされる失敗した臨床試験の粉飾法 http://goo.gl/8I8tqr 臨床疫学研究における報告の質向上に向けて http://goo.gl/V46U6X 臨床研究の再現性向上に向けた国際動向 http://goo.gl/DPP9Ll 60
Take Home Messages 指導的⽴場の⼈は... 学会等で専⾨教育を実施 ⼤学院教育に導⼊ 査読コメントに活⽤ 学術誌の執筆要綱を改定 すべての研究者は... 研究計画時に⾃発的に学習 今⽇の公開資料を宣伝 61