万延する研究報告の質の低さの問題への総合的対策奥村泰之

⼀般財団法⼈医療経済研究・社会保険福祉協会医療経済研究機構研究部研究員

⽇本⼼理学会第78回⼤会エビデンスの「質」を意識した研究計画への誘い：

研究を始める前に知っておきたい研究報告の国際基準2014/9/11 (⽊) 15:30~17:30

同志社⼤学今出川キャンパス良⼼館 RY302

構成無駄な研究 (2 min)研究報告の質の低さの問題 (10 min)研究成果の未公表選択的報告不完全な報告誤解を与える報告

総合的対策 (8 min)研究の事前登録研究計画書の公開報告ガイドライン継続的専⾨教育

2

ねつ造論⽂の撤回，ワールドレコード

3⽇本経済新聞 (http://www.nikkei.com/article/DGXNASDG2904H_Z20C12A6CR8000/)

研究不正，結果-結論に関して，研究の信頼性を損ねる⾏為

4

ねつ造Fabrication

改ざんFalsification

盗⽤Plagiarism

[1] COPE: Cooperation between research institutions and journals on research integrity cases (http://publicationethics.org/files/Research_institutions_guidelines_final_0.pdf)[2] ICMJE: Scientific Misconduct, Expressions of Concern, and Retraction (http://www.icmje.org/recommendations/browse/publishing-and-editorial-issues/scientific-misconduct-expressions-of-concern-and-retraction.html)

糾弾，退職処分や論⽂撤回

5東邦⼤学医学部 (http://www.med.toho-u.ac.jp/information/info2012_index/news20120312.html)

低い質の研究報告，結果-結論に関して，研究の信頼性を損ねる⾏為

6

選択的報告Selective reporting

不完全な報告Incomplete reporting

誤解を与える報告Misleading reporting

研究成果の未公表Non-reporting

EQUATOR Network: Importance of good research reporting (http://www.equator-network.org/toolkits/teachers/teachers-importance-of-good-research-reporting/)

論⽂撤回の主因は研究不正，低い質の研究報告ではない

7Fang FC et al: Proc Natl Acad Sci U S A. 2012 Oct 16;109(42):17028-33.

低い質の研究報告，みんなで⾚信号横断中

8

構成無駄な研究 (2 min)研究報告の質の低さの問題 (10 min)研究成果の未公表選択的報告不完全な報告誤解を与える報告

総合的対策 (8 min)研究の事前登録研究計画書の公開報告ガイドライン継続的専⾨教育

9

出版バイアス (publication bias)

10

研究者は都合の良い研究を公表しがち

試験登録後の未出版，29~54%

11

[1] Ross JS et al: PLoS Med. 2009 Sep;6(9):e1000144.[2] Ross JS et al: BMJ. 2012 Jan 3;344:d7292.[3] Jones CW et al: BMJ. 2013 Oct 29;347:f6104.[4] Manzoli L et al: BMJ. 2014 May 16;348:g3058.[5] Khan NA et al: Arthritis Rheumatol. 2014 Aug 25

抗うつ薬の治験，出版バイアス

12

FDA申請の抗うつ薬プラセボ対照試験未出版の治験は効果量が⼩さい

Turner EH et al: N Engl J Med. 2008 Jan 17;358(3):252-60.

構成無駄な研究 (2 min)研究報告の質の低さの問題 (10 min)研究成果の未公表選択的報告不完全な報告誤解を与える報告

総合的対策 (8 min)研究の事前登録研究計画書の公開報告ガイドライン継続的専⾨教育

13

選択的報告バイアス (selective reporting bias)

14

研究者は研究成果の都合の良い部分を抜粋しがち

試験登録~出版時の主要評価項⽬の齟齬，14~49%

15

[1] Mathieu S et al: JAMA. 2009 Sep 2;302(9):977-84[2] You B et al: J Clin Oncol. 2012 Jan 10;30(2):210-6[3] Hannink G et al: Ann Surg. 2013 May;257(5):818-23[4] Killeen S et al: Ann Surg. 2014 Jan;259(1):193-6

評価項⽬の選択は有意性の追求，83~92%

16[1] Mathieu S et al: JAMA. 2009 Sep 2;302(9):977-84[2] Killeen S et al: Ann Surg. 2014 Jan;259(1):193-6

評価項⽬の選択法

17

事前設定した主要評価項⽬を削除論⽂で主要評価項⽬を新設主要評価項⽬から副次評価項⽬に格下げ副次評価項⽬から主要評価項⽬に格上げ主要評価項⽬の評価時点の変更

[1] Mathieu S et al: JAMA. 2009 Sep 2;302(9):977-84[2] You B et al: J Clin Oncol. 2012 Jan 10;30(2):210-6[3] Hannink G et al: Ann Surg. 2013 May;257(5):818-23[4] Killeen S et al: Ann Surg. 2014 Jan;259(1):193-6

バラエティ豊かな選択的報告複数の評価項⽬から選択複数の評価時点から選択複数の効果量から選択複数の統計モデルから選択複数のサブグループから選択

18Page MJ et al: Syst Rev. 2013 Apr 10;2:21

構成無駄な研究 (2 min)研究報告の質の低さの問題 (10 min)研究成果の未公表選択的報告不完全な報告誤解を与える報告

総合的対策 (8 min)研究の事前登録研究計画書の公開報告ガイドライン継続的専⾨教育

19

不完全な報告 (incomplete reporting)

20

研究者は研究成果を不完全に報告しがち

RCTの質，バイアスへのリスクで決まる

21

バイアスの種類 判断基準選択バイアス 乱数⽣成

割り付けの隠匿化実⾏バイアス 患者と治療者の盲検化検出バイアス 評価者の盲検化⽋測バイアス アウトカム測定の完全性報告バイアス 事前設定したアウトカム報告

Cochrane Handbook for Systematic Reviews of Interventions (http://www.cochrane.org/handbook)

集団CBTのRCT (35試験)，60%以上は，選択・報告バイアスが評価不能

22Okumura Y, Ichikura K: J Affect Disord. 2014 Aug;164:155-64.

CONSORT声明，RCTの報告ガイドライン

23Moher D et al: BMJ. 2010 Mar 23;340:c869

⼼理社会的介⼊のRCT (239試験)，CONSORT声明を無視

24Grant SP et al: PLoS One. 2013 May 29;8(5):e65442.

⽇本発のRCT (98試験)，CONSORT声明を無視

25Uetani K et al: Intern Med. 2009;48(5):307-13.

構成無駄な研究 (2 min)研究報告の質の低さの問題 (10 min)研究成果の未公表選択的報告不完全な報告誤解を与える報告

総合的対策 (8 min)研究の事前登録研究計画書の公開報告ガイドライン継続的専⾨教育

26

誤解を与える報告 (misleading presentation)

27

研究者は失敗した研究成果を盛って報告しがち

失敗した臨床試験，結論部を錯乱錯乱 (spin) とは主要評価項⽬に統計的有意性が得られない優越性試験 (失敗した臨床試験) において•実験的治療の有益性を強調する報告戦略•主要評価項⽬の注意を反らす報告戦略

28Boutron I et al: JAMA. 2010 May 26;303(20):2058-64.

失敗した臨床試験，結論を錯乱，40~59%

29

[1] Boutron I et al: JAMA. 2010 May 26;303(20):2058-64[2] Yavchitz A et al: PLoS Med. 2012;9(9):e1001308[3] Lockyer S et al: Trials. 2013 Nov 6;14:371[4] Patel SV et al: Dis Colon Rectum. 2013 Dec;56(12):1388-94

バラエティ豊かな錯乱法

30奥村: Monthly IHEP 301: 23-28, 2014

錯乱事例，リサーチクエスチョン

31

P : 地域住民 (地方部/都市部)

I : 複合的自殺予防プログラム

C : 通常の自殺予防対策

O : 自殺死亡者数と自傷搬送者数の合計

T : 治療開始3.5年

Ono Y et al: PLoS One. 2013 Oct 9;8(10):e74902

主要評価項⽬，統計的有意性はない

32Ono Y et al: PLoS One. 2013 Oct 9;8(10):e74902

介⼊群が好ましい 対照群が好ましい

地⽅部の副次評価項⽬ (⾃傷搬送者数)，⼀部のサブグループに有意性

33

介⼊群が好ましい 対照群が好ましいOno Y et al: PLoS One. 2013 Oct 9;8(10):e74902

要旨の結論部を錯乱主要評価項⽬の錯乱複合的⾃殺予防プログラムは，都市部ではなく地⽅部で実施できる。

» Our findings suggest that this community-based multimodal intervention for suicide prevention could be implemented in rural areas, but not in highly populated areas.

副次評価項⽬ + サブグループの焦点化地⽅部における介⼊の効果は，男性と⾼齢者で⽰された。

» The effectiveness of the intervention was shown for males and for the elderly in rural areas.

34[1] Ono Y et al: PLoS One. 2013 Oct 9;8(10):e74902[2] 奥村: Monthly IHEP 301: 23-28, 2014

Take Home Messages学術雑誌に掲載された論⽂がすべての研究成果を代表する研究成果の全体像を表す必要不可⽋な情報が書かれている盛らずに報告している

とは限らない

35

構成無駄な研究 (2 min)研究報告の質の低さの問題 (10 min)研究成果の未公表選択的報告不完全な報告誤解を与える報告

総合的対策 (8 min)研究の事前登録研究計画書の公開報告ガイドライン継続的専⾨教育

36

Lancet, 無駄な研究防⽌の総合的対策

37

研究疑問[1]

•基礎研究から応用につながる可能性を高める方法を検討する

•資金提供者は，ユーザーのニーズに合致した研究疑問を考慮し，研究助成プロセスの透明性を向上させる

•資金提供者と監査者は，研究助成の申請書における新たな一次研究を行うことの正当性に関して，系統的展望に基いた記載を求める

•資金提供者と監査者は，進行中の研究として何が存在しているかを把握できるよう，インフラを整備する

研究法，実施と分析[2]

•研究計画書，解析手順書，生データを公開する

•統計学者と方法論者が関与する，研究法を継続的に教育する，相反関係のない利害関係者が関与する

•研究の再現性を高める研究活動へ報酬を与える

監査と管理[3]

•監査者 (倫理委員会など) は，無駄な研究を減らすように影響力を行使する (e.g., 臨床試験の事前登録を求めるなど)•監査者と政策立案者は，研究者などと協力して研究実施のガイドラインなどを策定し，それらは研究に関連するリスクと釣り合うよう保証する

•研究者と研究責任者は，症例登録，欠測，データモニタリング，データ共有の効率を上げ，これらの効率を高めるための研究を行う

•すべての人は，通常診療と研究を統合するよう宣伝することで，臨床研究の効率改善に支援する

アクセシビリティ[4]

•研究機関と資金提供者は，研究の普及に関する業績評価を適応する (例: 倫理審査承認の研究あたりの，出版割合やデータ共有割合)•研究者，資金提供者，監査者などは，研究計画書やデータ共有の基準を開発・採用する (例: SPIRIT声明やPRISMA-P声明の採用)•資金提供者，監査者，出版社などは，研究の事前登録，研究の詳細の公開，データ共有を支持・実行する

報告[5]

•研究機関と資金提供者は，研究報告の完全性を促進するよう，監査し報酬を与える

•資金提供者は，良好な報告と保管を支援するよう，研究報告のインフラ整備に努める

•研究機関，資金提供者と出版社は，著者と査読者が研究報告の完全性を高められるよう改善する (例: CONSORT声明やSTROBE声明の採用)

[1] Chalmers I et al: Lancet. 2014 Jan 11;383(9912):156-65[2] Ioannidis JP et al: Lancet. 2014 Jan 11;383(9912):166-75[3] Al-Shahi Salman R et al: Lancet. 2014 Jan 11;383(9912):176-85[4] Chan AW et al: Lancet. 2014 Jan 18;383(9913):257-66[5] Glasziou P et al: Lancet. 2014 Jan 18;383(9913):267-76

研究者の関与必須の総合的対策

38

研究計画書の公開Study protocol

報告ガイドラインReporting guideline

継続的専⾨教育Continued professional

development

研究の事前登録Study registration

ヘルシンキ宣⾔，研究の事前登録義務35. ⼈間を対象とするすべての研究は，最初の被験者を募集する前に⼀般的にアクセス可能なデータベースに登録されなければならない。

39⽇本医師会 (http://www.med.or.jp/wma/helsinki08_j.html#ja)

公開データベースの例

40[1] ClinicalTrial.gov (http://clinicaltrial.gov/)[2] UMIN Clinical Trial Registry (http://www.umin.ac.jp/ctr/index-j.htm)

研究法の概要を事前公開

41ClinicalTrial.gov (http://clinicaltrial.gov/ct2/show/NCT01869660)

事前登録の必要性，臨床試験に限らない

42

[1] Liberati A et al: PLoS Med. 2009 Jul 21;6(7):e1000100[2] Dal-Ré R et al: Sci Transl Med. 2014 Feb 19;6(224):224cm1[3] van der Worp HB et al: PLoS Med. 2010 Mar 30;7(3):e1000245

構成無駄な研究 (2 min)研究報告の質の低さの問題 (10 min)研究成果の未公表選択的報告不完全な報告誤解を与える報告

総合的対策 (8 min)研究の事前登録研究計画書の公開報告ガイドライン継続的専⾨教育

43

研究計画書の公開義務，RCTと系統的展望

44[1] Moher D et al: BMJ. 2010 Mar 23;340:c869[2] Liberati A et al: PLoS Med. 2009 Jul 21;6(7):e1000100

研究計画書の報告ガイドライン

45[1] Chan AW et al: BMJ. 2013 Jan 8;346:e7586[2] EQUATOR Network (http://www.equator-network.org/library/reporting-guidelines-under-development/)

研究計画書，掲載誌の例

46[1] TRIALS (http://www.trialsjournal.com/authors/instructions/studyprotocol)[2] BMC Psychiatry (http://www.biomedcentral.com/bmcpsychiatry/authors/instructions/studyprotocol)

研究計画書，例数設計の根拠などを明⽰

47Ishii M et al: BMC Psychiatry. 2014 Apr 14;14:111

構成無駄な研究 (2 min)研究報告の質の低さの問題 (10 min)研究成果の未公表選択的報告不完全な報告誤解を与える報告

総合的対策 (8 min)研究の事前登録研究計画書の公開報告ガイドライン継続的専⾨教育

48

ヘルシンキ宣⾔，報告の完全性義務36. (前略) 研究者は，⼈間を対象とする研究の結果を⼀般的に公表する義務を有し報告書の完全性と正確性に説明責任を負う。(後略)

49⽇本医師会 (http://www.med.or.jp/wma/helsinki08_j.html#ja)

EQUATOR，報告ガイドラインの⼊⼿⽀援

50EQUATO Network (http://www.equator-network.org/)

200以上のガイドライン

51EQUATO Network (http://www.equator-network.org/)

鉄板は，CONSORT-STROBE-PRISMA

52

[1] Moher D et al: BMJ. 2010 Mar 23;340:c869[2] Vandenbroucke JP et al: PLoS Med. 2007 Oct 16;4(10):e297[3] Liberati A et al: PLoS Med. 2009 Jul 21;6(7):e1000100

投稿要綱，報告ガイドラインの推奨

53BMJ (http://www.bmj.com/about-bmj/resources-authors/article-submission/article-requirements)

構成無駄な研究 (2 min)研究報告の質の低さの問題 (10 min)研究成果の未公表選択的報告不完全な報告誤解を与える報告

総合的対策 (8 min)研究の事前登録研究計画書の公開報告ガイドライン継続的専⾨教育

54BMJ (http://www.bmj.com/about-bmj/resources-authors/article-submission/article-requirements)

EQUATOR，専⾨教育を配信

55EQUATOR Network (http://www.equator-network.org/2014/08/06/scientific-meeting-improving-reporting-to-decrease-the-waste-of-research/)

学会主導，セミナー開催

56⽇本疫学会 (http://jeaweb.jp/activities/seminars/pdf/20140830.pdf)

研究者主導，シンポジウム開催

57⽇本⼼理学会 (http://jpa2014.com/pdf/JPA_78th_program.pdf)

研究者主導，研究会開催

58REQUIRE研究会 (http://blue.zero.jp/yokumura/workshop.html)

⽇本認知・⾏動療法学会，特集号⾏動療法研究 40巻3号から8編⾏動療法研究における研究報告に関するガイドラインの特集に向けて[1]

観察研究の必須事項[2]

⾮薬物療法の介⼊研究の必須事項[3]

59

[1] 奥村ら: ⾏動療法研究 40 (3). 印刷中[2] ⽵林: ⾏動療法研究 40 (3). 印刷中[3] 奥村: ⾏動療法研究 40 (3). 印刷中

啓発資料の公開アクセプトされる失敗した臨床試験の粉飾法 http://goo.gl/8I8tqr

臨床疫学研究における報告の質向上に向けて http://goo.gl/V46U6X

臨床研究の再現性向上に向けた国際動向 http://goo.gl/DPP9Ll

60

Take Home Messages指導的⽴場の⼈は...学会等で専⾨教育を実施⼤学院教育に導⼊査読コメントに活⽤学術誌の執筆要綱を改定

すべての研究者は...研究計画時に⾃発的に学習今⽇の公開資料を宣伝

61