米国FDA 510(k)申請書作成法と留意事項（Part3)

ミック インターナショナル株式会社高田覚takatas@mici.co.jp２０１9年9月17日

Part 3 講演内容

8．米国医療機器の臨床試験の特徴

9．米国医療機器の臨床試験の統計解析統計解析事例から

(1)計測医療機器の統計解析例

(2)陽性判定医療機器の統計解析例

10．人工知能・AIの申請上の留意点

Part 3 講演内容

8．米国医療機器の臨床試験の特徴

9．米国医療機器の臨床試験の統計解析統計解析事例から

(1)計測医療機器の統計解析例

(2)陽性判定医療機器の統計解析例

10．人工知能・AIの申請上の留意点

臨床試験‐３つの側面

1. 全ての未承認医療機器の臨床使用に適用

2. 同一性を示すための臨床試験

3. 新医療機器の臨床的有用性を示すための試験

IDE = Investigational Device Exemption

(治験医療機器の適用免除)

医療機器の臨床試験実施のためのFDAへの治験届

臨床試験のprotocolについて事前にFDAの見解を得る制度 510(k)についても、申請前にFDAの見解が得られる

FDAは基本的には臨床試験実施者の質問に電話会議、面談、及び書面で詳しく回答、問題点も指摘する。

この制度を活用し、承認されやすいようにFDAの意向を汲んで試験を実施する。

統計解析方法等詳しい見解がでることが多い。

申請時にPre-IDE Communicationの内容を含める。

→Pre-Submission programに統合される

Pre-Submission Program

•リスク分析

•非臨床試験実施内容

•動物試験

•対象患者、治験患者数、統計解析法、

• Endpoint, 市販後試験の期間及び実施内容

等を含む臨床試験プロトコール

治験前相談に含む推奨資料

•非臨床試験のプロトコールにより臨床試

験をサポートする機器の安全性に関す

るデータを得ることができるか？

•一次、二次Endpointはindication for use（案）に対し適切か？

•試験デザイン及び比較対照群は適切か？

•患者数計算法及び関連する統計解析法は適切か？

治験前相談 FDAに対する質問例

臨床試験（IDE） 申請

臨床試験の実施の前にIDE申請を提出する必要がある

IDE申請は承認のための治験、同一性を示すための臨床試験(510(k)申請書資料）、医師主導の試験等未承認医療機器、未承認適応使用を行う場合に提出

IDE申請後３０日でFDAの返事

新医療機器の承認については事前にFDAに確認しておく必要がある。FDAは患者の権利を守ることを主として審

査する。臨床試験の目的が達成されても承認されるとは限らない。

米国では米国臨床試験規則(Part812) が主な規則である。

GCPは二つの側面がある。

患者権利の保護

科学的に妥当であるかどうか

Protocolに準じていない患者も原則統計解析の対象とする。（Intent-Treatment-analysis）

これは一つには意図的に都合の悪い患者を除くようなことを避けるためである。

一方、契約前に行った試験とか一部抜けがあってもそのこと自体が大きな問題になることはなく、基本的に科学的な結論と言えるのか、特に統計学的な観点からFDAは追及する。決して甘いとは言えない。多くの場合、比較試験を実施することが科学的妥当性を与える

GCP, 統計解析‐日米の違い

“Intent-to-treat “（ IDE Manual ）

D. Accountability for Patients

The Agency will require an analysis of the data by "intention-to-treat. " This is an analysis method in which "the primary tabulations and summaries of outcome data are by assigned treatment“ (Meinert, 1986). In such analyses, patients lost-to-follow-up in the intervention and control groups must be counted as though they actually completed the study in their assigned group. Since there is no observation of outcome variable after the time the patient is lost-to-follow-up, the observation cannot be counted as a success (and is considered failure).

「科学的」とは

米国臨床試験規則(Part812) より (b)Protocol. A written protocol describing the

methodology to be used and an analysis of the protocol demonstrating that the investigation is scientifically sound. （Sec. 812.25 Investigational plan.）

(B) For a protocol change, the notice shall include a description of the change (cross-referenced to the appropriate sections of the original protocol); an assessment supporting the conclusion that the change does not have a significant impact on the study design or planned statistical analysis;

（ Sec. 812.35 Supplemental applications. ）

結局 「科学的」とは？

⑴当該医療機器の技術分野の最新知見を踏まえている⑵適切な統計手法に基づいた論理的な結論・判断（サンプル数を含む）

510k申請においても、かなりの統計的な厳密性と現時点での最適な手法の適用が求められる。また要求される水準は特に重要な診断機器においては強化されている。

申請する側においても、両面での理論武装が必要がある。

IDE申請書内容

1. 申請者の名前と住所

2. 従来の試験の概要と臨床試験計画

3. 医師との契約書サンプル

4. すべての治験医師が契約書にサインしたことの

証明書

5. 院内倫理委員会（Institutional Review Board,

IRB）の委員長のリスト

6. 治験参加施設のリスト

7. 製品を有料で提供する場合の価格と販売でないことの説明、コストのみを価格にしていることの説明

8. 製品ラベリングのコピー

9. 患者同意文書を得るために用いられる全ての資料

「統計手法」について

Pre- Sub Meeting での事前提出資料をベースにFDAと積極的に議論をすれば、Statistician が同席し、かなり細部にまでコメント・例示される。申請しようとする機器にガイドラインがあれば、これに沿ってやるようにとの指示がある。

ただし、提出資料には統計学根拠も含めて、きちんとした申請者の考え方を示すことが求められている。率直に考え方・根拠を示すことが重要である。

↓ 積極的にFDAと協議・議論をして、求めている統計手法とその理由をくみとることが重要ポイント

日米の違いについて米国） 非臨床・臨床試験計画書プロトコールを作成し、FDAに提出した上で、Pre- Submission Program を利用することが有用で有り、またその場を活用して、妥協点を探る必要がある。細部の統計学的手法についても、Statisticianが

議論に参加し、 具体的な手法まで提案し、申請者の手法についても科学的な観点から見解を述べてくれる。

日本）対面助言・事前面談など制度ができ、機構が臨床試験について相談に乗ってくれるようになり、担当者によっては、かなりかみ合った議論が出来るようになってきたが。。。

日米の違いについて2

FDA は、以前から自分で解析=検算によっ

て確認するようで、電子ﾃﾞｰﾀの提出を求められ、解析の途中での異常値の処理などで疑義があれば、指摘されることもある。

基本的には、「指導する」という姿勢であり、こまかな「あら探しをする」という姿勢ではない。説明責任が明確である。

第三部 講演内容

8．米国医療機器の臨床試験の特徴

9．米国医療機器の臨床試験の統計解析統計解析事例から

(1)計測医療機器の統計解析

(2)陽性／陰性判定医療機器の統計解析

10．人工知能・AIの申請上の留意点

臨床評価結果の解析結果の記載の方向性

統計学的厳密性

最新の統計学的知見に基づく解析方法

症例数計算

統計学的手法に応じた症例数計算

使用者への情報提供の要求

申請機器の特性、先行機器と置き換えた場合の結果の互換性等について・・

Guidanceが充実している。

CLSI(Clinical and Laboratory Standards Institute）

計測を目的とした医療器については、・CLSI発行の基準を推奨されることが多いCLSI ; Clinical and Laboratory Standards Institute

CLSI(Clinical and Laboratory Standards Institute）

1968年に設立されたNCCLS(National Committee for Clinical Laboratory Standards、米国臨床検査標準委員会)がその前身

2005年1月1日CLSI(Clinical and Laboratory Standards Institute = 臨床・検査標準協会)に名称変更

CLSI は、「グローバルなコンセンサスに基づく

標準、指針、ベストプラクティスを策定し、普及させることを通して医学検査や医療サービスの価値を高める」をミッション(https://clsi.org/)

(1)計測を目的とした医療器の統計解析例

使用する先行機器との比較のための統計手法

① Repeatability Reproducibility

② BlandｰAltman Analysis

③回帰分析

計測医療器；比較のための統計学的手法① Repeatability Reproducibility

Precision の評価=Repeatability とReproducibility;

Repeatability; 同じ条件での測定結果の変動

Reproducibility; 装置間の測定結果の変動

CLSIのStandard “EP05；Evaluation of Precision of Quantitative Measurement Procedures, 3rd Edition （2014/10, CLSI）”による

計測医療器；比較のための統計学的手法① Repeatability Reproducibility

FDAの推奨；

(1) Mixed Model によるANOVA(分散分析)

因子を次の2つに分類

① Random Effect （混合効果）因子によるバラツキ評価の対象

② Fixed Effect （固定効果）

因子ごとのデータ値が評価の対象

(2) Nested Designの許容（vs Crossed Design）患者保護、患者負担の軽減

計測医療器；比較のための統計学的手法② Bland-Altman 解析

Bland-Altman解析は，測定値に系統誤差が混入しているかを検討する手法

結果をどう解析するか

(1) Limits of Agreement = ±1.96 SD（SD差の標準偏差）

(2) Bias ；差の平均

(3) 計測範囲での先行機器との比較における系統誤差の有無・・・視覚的に評価

・系統誤差があった場合には、その誤差に

関する考察および、先行機器と結果の互換性について議論する必要がある。

計測医療器；比較のための統計学的手法② Bland-Altman 解析

計測医療器；比較のための統計学的手法

③ 回帰分析

先行機器との比較あるいはGold Standard

との比較なのか・・・統計手法も異なってくる

先行機器がGold Standardではない場合Deming Regression を使用

x軸、y軸とも誤差をもつ場合の回帰手法

先行機器がGold Standard である場合通常の回帰分析

(3)回帰分析 Deming Regression（デミング回帰）

③ 回帰分析 Deming Regression（デミング回帰

）

切片０、勾配 1 なら、完全に同等だが．．

切片の０からのずれ、勾配の１からのずれを議論する

切片、勾配の信頼区間の評価

実質的に同等あるいは申請機器の特性を議論し、そのずれが医学的に許容できることを論理だてする

(2)陽性／陰性判定医療機器の統計解析ROC解析(ROC=Receiver Operating Characteristic)

第２次世界大戦中に飛行機を発見するレーダー・システムの性能評価を目的として考案された方法

飛来する物体が飛行機なのか鳥の群なのか，低空飛行をしている飛行機が認識できるかどうかといったレーダー・システムの能力を評価するために開発された．

その後，放射線画像診断の判断の評価に適用されるようになった．これは，「レーダー・システム」を「放射線画像システム」に，「飛来する飛行機」を「病変」に，「鳥の群」を「人体の正常構造」に置き換えて考えればよい．つまり，画像診断における”診断の正確さ”を評価するために応用された

陽性／陰性判定医療機器の統計手法ROC解析の概略説明-1

真陽性(True Positive)

偽陰性(False Negative)

偽陽性（False Positive)

真陰性(True Negative)

病変あり

正常

陽性 陰性

感度 = 真陽性数／陽性（病変あり）総数特異度 = 真陰性数／陰性（病変なし）総数

横軸は偽陽性率、縦軸は真陽性率（感度）判定結果を確信度レベルの高い順にそれ以下の確信度について、縦横軸それぞれの率の総和をプロットしたもの※点線は判定が無効、無意味な場合であり、曲線がこれより上にあるほど診断が有効である 点線だと、偽陽性率=偽陰性率

陽性／陰性判定医療機器の統計手法ROC解析の概略説明-2

第三部 講演内容

8．米国医療機器の臨床試験の特徴

9．米国医療機器の臨床試験の統計解析統計解析事例から

(1)計測医療機器の統計解析

(2)陽性／陰性判定医療機器の統計解析

10．人工知能・AIの申請上の留意点

AIの医療への応用 医学的診断・・いわゆるAI ドクター

Draft Guidance が2017.12に公開された

“Clinical and Patient Decision Support Software - Draft Guidance”

CADe device の510k 申請GuidanceCADe = computer-assisted detection device

CADe(=Computer-Assisted Detection Devices) とは

Computer-assisted detection (CADe) devices applied to radiology images and radiology device data

CADe devices are computerized systems that

incorporate pattern recognition and data analysis capabilities

FDA Guidance より

あらためてAIとは？

第一次AIブーム 1960年代「推論と探索」

第二次AIブーム 1980～1987年「エキスパートシステム」・・・専門家（エキスパート）の知識をコンピュータに移植することにより現実の複雑な問題を人工知能に解かせようとするもの

第三次AIブーム 2006年～ディープラーニングによる

ブレイクスルー

現在のAIのキー技術=ディープラーニング（深層学習）

ディープラーニングまたは深層学習（ deep learning）とは、（狭義には4層以上の）多

層のニューラルネットワーク（ディープニューラルネットワーク、deep neural network）による機械学習手法である（Wikipedia)

ニューラルネットワーク人間のﾆｭｰﾛﾝのﾈｯﾄﾜｰｸがﾓﾃﾞﾙであるが、脳の模倣をめざしてはいない・・・・多変量解析の多層化のイメージ

AI 機械学習手法学習内容 目的・用途 手法・アルゴリズム

教師あり学習

正解付きデータから正解を得る特徴を学習し、予測につなげる

回帰線形回帰ベイズ線形回帰ロジスティック回帰

分類Neural Network

教師なし学習正解が不明の与えられたデータを分類

クラスタリング 混合正規分布モデル

情報の圧縮（低次元化）

主成分分析

強化学習

試行錯誤させ「報酬」を与えることで、行動の良し悪しを判断させ、その報酬が最大になる様に学習

ゲームなど囲碁・将棋のAIαGoも

深層学習の特長

画像の特徴を人間が教えなくても、勝手に学習する。特徴のとらえ方が非常にうまい

特徴量が多くても、「次元の呪い」をのりこえられる （多次元=必要データ数増加）

過学習もしなくなった。☆過学習=過学習の原因は、特定の学習データだけに最適になるように学習したため、推定すべき他のデータに対する誤差（汎化誤差）が逆に上がってしまう現象

強化学習にも使える

CADeに関するFDA GuidanceScope(1)

This document provides guidance regarding clinical performance assessment studies for CADe devices applied to radiology images and radiology device data.

……

MRI..CT..PET and digitized film images

CADe devices are computerized systems intended to identify, mark, highlight, or in any other manner direct attention to portions of an

image, or aspects of radiology device data, that may reveal abnormalities during interpretation of patient radiology images or patient radiology device data by the clinician.

CADeに関するFDA GuidanceScope(2)

例として、

a CADe algorithm designed to identify and prompt microcalcification clusters and masses on digital mammograms

a CADe device designed to identify and prompt colonic polyps on CT colonography studies

a CADe designed to identify and prompt filling defects on thoracic CT examination

a CADe designed to identify and prompt brain lesions on head MRI studies

臨床試験デザインに関する GuidanceCADe に特徴的な事項

Retrospective Study を許容あるいは推奨

With CADe vs Without CADe で比較する

Design は Sequential またはCross Over

Cross Over Designの時は、Washout期間を設ける（記憶を消す；4週間以上）

画像データをRandomizeして、各種Biasを回避する

正解データを用意する

非劣性試験を許容あるいは推奨

PowerLook Tomo Detection Software (iCAD Inc)

Study Design

Retrospective

Cross over

※Single Truther；Biopsy

で判断

PowerLook Tomo Detection Software (iCAD Inc)

Study Readers

1．Qualification

All 20 readers had American Board of Radiology certification, qualified

to interpret mammograms under MQSA and had completed eight

hours of initial training in breast tomosynthesis as required by the

FDA.

Readers had a range of experience in the interpretation of breast

images with 55% (11/20) of readers devoting less than 75% of their

professional time to breast imaging for the last 3 years and 45%

(9/20) devoting 75% or more of their professional time to breast

imaging for the last 3 years.

2．Training

Readers were trained in study reading procedures with 30

tomosynthesis cases. Since the readers were fully certified to interpret

tomosynthesis exams and were currently reading tomosynthesis

exams in their clinical practices, no additional tomosynthesis

interpretation training was provided.

The Study was designed to test a pair of co-primary hypotheses

1．ROC曲線のAUCがマージン 0.05で非劣性；有意に劣っていない

a) The reader with ABUS plus QVCAD assistance is non-inferior to the reader with the ABUS image alone. This will be evaluated using the difference in the areas under the Receiver Operating Characteristic (ROC) curves (AUCs), evaluated for non-inferiority (non-inferiority margin = -0.05 for AUC ABUS+QVCAD –AUC ABUS alone );

2．時間短縮b) The reader interpretation time for QVCAD and ABUS combined is reduced demonstrating superiority to ABUS alone. ]

QVCAD System (Qview Midical Inc)Study Endpoints

診断；陽性・陰性判断を目的とした医療器での臨床評価

基本的にROC解析であるが、CADeに適合した手法へと改良されている

ROC解析から FROC解析さらに、AFROC解析へ

陽性／陰性判定医療機器の統計手法ROC解析の概略説明-1

真陽性(True Positive)

偽陰性(False Negative)

偽陽性（False Positive)

真陰性(True Negative)

病変あり

正常

陽性 陰性

感度 = 真陽性数／陽性（病変あり）総数特異度 = 真陰性数／陰性（病変なし）総数

横軸は偽陽性率、縦軸は真陽性率（感度）判定結果を確信度レベルの高い順にそれ以下の確信度について、縦横軸それぞれの率の総和をプロットしたもの※点線は判定が無効、無意味な場合であり、曲線がこれより上にあるほど診断が有効である 点線だと、偽陽性率=偽陰性率

陽性／陰性判定医療機器の統計手法ROC解析の概略説明-2

画像診断で使用される統計手法AFROC解析(alternative free-response ROC)

画像診断では、一枚当たりの病変数は一定せず複数存在する。

ROC解析をこのような場合に適合させたFROC解析（横軸がFPI =False Positive per Image （一枚当たりの偽陽性数））、さらには統計解析可能なように横軸を改良したAFROC解析が行われる 横軸； P（FPI）= 1-exp（-FPI)

（このように横軸値を変換するとP(FPI)の値はFPI→∞のとき1に収斂する）

FROC曲線横軸がFPI =False Positive per Image

(一枚当たりの偽陽性数）

AFROC曲線横軸； P（FPI）= 1-exp（-FPI)

JAFROC解析

FROC曲線のAUCの標準誤差の推定方法を言う

手法としてjackknife 法をもちいて推定する被験者（画像ﾃﾞｰﾀ）を一人ずつ除外したデータを用意、その値から標準誤差を推定する

Chakraborty DP Analysis of location specific

observer performance data: validated extensions of

the jackknife free-response (JAFROC) method..

Acad Radiol. 2006;13(10):1187-93.

DBM Dorfman-Berbaum-Metz法

FROC解析をjacknife法で実施し、平均AUCに関する統計的推測を行う方法

基本的に、混合効果モデルによるANOVAつまりMixed ANOVAである

変量効果因子として、読影者、被験者（画像）およびその交互作用とするMixed ANOVA解析

DBM 症例数計算

非心F分布を利用した計算

読影者数、画像数を求めることができる

詳細は以下の論文参照

Hillis, S.L., & Berbaum, K.S. (2004). Power estimation for the Dorfman-Berbaum-Metz method. Academic Radiology, 11, 1260-1273.

ROC 解析のソフトウエア

最新のこれらのROC解析に関するソフトウェアは下記から入手可能である。

http://www.devchakraborty.com/index.php

非劣性証明

FDAガイドラインでは非劣性の証明が許容されている。つまり、AIによる判断が人間より優れていることを証明する必要はなく、また教師ありの学習であるから、原理的に優れているはずがない。

（もちろん、比較する人間=画像診断医の力量にもよるが．．）

基本的には、評価には一定のトレーニングを受けた画像診断医が参加する

非劣性証明とは？

比較する対照に対して、明確に（統計学的有意差を以て）劣っていないことを証明する。

実際には、どの程度劣っても良いのかを許容限界幅として設定し、比較対照（AIの場合は

人間）よりその許容限界幅以上には劣っていないことを証明する。許容幅は10％とすることが多い。

教師あり学習によるAIとしてはきわめて妥当な基準と思われる。

非劣性証明のイメージΔ以上は劣っていないことを統計学的に証明

非劣性試験の正しい見方 ［J-CLEAR通信（43）］No.4706 (2014年07月05日発行) P.46 折笠秀樹

The Study was designed to test a pair of co-primary hypotheses

1．ROC曲線のAUCがマージン 0.05で非劣性；有意に劣っていない

a) The reader with ABUS plus QVCAD assistance is non-inferior to the reader with the ABUS image alone. This will be evaluated using the difference in the areas under the Receiver Operating Characteristic (ROC) curves (AUCs), evaluated for non-inferiority (non-inferiority margin = -0.05 for AUC ABUS+QVCAD –AUC ABUS alone );

2．時間短縮b) The reader interpretation time for QVCAD and ABUS combined is reduced demonstrating superiority to ABUS alone. ]

QVCAD System (Qview Midical Inc)Study Endpoints

ご清聴有難うございましたご質問をどうぞ