欠測のあるデータに対する総合的な感度分析と主解析の選択

Comprehensive sensitivity analyses and choice of primary analysis when some data are missing.

Masaaki Doi1)

The team for statistical methodologies and SAS programming of data analysis with missing data, task force 4, data science expert committee, drug

evaluation committee, Japan Pharmaceutical Manufacturers Association.1) Toray industries, Inc.

土居 正明1)

日本製薬工業協会医薬品評価委員会 データサイエンス部会 タスクフォース4欠測のあるデータに対する解析方法論・SASプログラム検討チーム

1)東レ株式会社

1

要旨：

欠測のあるデータに対して，主解析・感度分析を含めた解析の全体像を検討する．特に「Estimand」「欠測メカニズム」「完全データの分布」を検討する．また，主解析の性能評価のシミュレーションも行う．

キーワード：感度分析，Estimand，Analytic Road Map,欠測メカニズム，モデル適合，MMRM，wGEE，MI，SM，PMM，SPM，pMI

2

発表構成

1. 解析の全体像とAnalytic Road Map

2. 主解析・感度分析の検討A) EstimandB) 欠測メカニズムC) 完全データの分布（モデル適合含む）

3. 主解析の選択のシミュレーション

3

1.解析の全体像とANALYTIC ROAD MAP

4

欠測のあるデータの解析で気になること

◎この解析で大丈夫？

5

・欠測メカニズムを仮定している・応答変数のモデルを仮定している（ことが多い）・感度分析はどの程度必要？・詳しい感度分析の事例は少ないが，本当に不要？難しくてできてないだけ？

◎なかなか自信を持って判断しづらい・考え方の理解が不十分なのでは？

→ 本発表では「欠測のあるデータの解析で『何を考えればよいか』」を整理する．

重要な視点

①この試験で何が知りたいか？

→ どの解析手法で正しく推定できるか？

6

◎Estimand の特定，estimandに対する感度分析

②解析手法で何を仮定しているか？

→ データは仮定を満たしているか？結果は頑健か？

◎欠測メカニズム，完全データに対する感度分析

主解析・感度分析の全体像

◎NRC (2010)の感度分析(a) 完全データの分布の検討(b) 外れ値・外れた症例の探索(c) 欠測メカニズムに対する感度

→ (c)が最も重要．(c)に絞って解説．

7

◎Mallinckrodt (2013)の考え方“Analytic Road Map” を提示し，NRCの(a)～(c)を含む，広い枠組みを提案（(c)が最も重要）

解析の全体像は？

8

Analytic Road Map

特に注目する事柄

A) Estimand試験の目的を明確に「知りたいこと」が「解析方法」を決める

B) 欠測メカニズムMARかMNARかはType(i)の仮定（検証不能）．NRC (2010)，Mallinckrodt (2013)で「感度分析の中で最も重要」

C) 完全データの分布（モデル適合含む）① 共変量② 残差診断③ 影響診断④ 相関構造 9

以下，A), B), C)に対して感度分析を検討する

2.主解析・感度分析の検討2-1：主解析・感度分析の考え方

10

A) Estimandに関する感度分析：estimandとは？

Estimand = “what is being estimated” (Mallinckrodt , 2013)

◎試験で知りたいものを明確化する．

11

NRC (2010) ・Primary estimandをそのばらつきと共に適切に推定することが臨床試験の目的・試験開始前（プロトコール完成前）に設定しておくこと

12

経時データの1時点を主要評価項目とする試験では，estimandに

・パラメータ（例．平均の群間差）

・時点または曝露期間（例．投与期間8週目）・アウトカム（例．拡張期血圧）

・対象となる集団（例．高血圧と診断された患者）

・中止後に治療(rescue medication)が行われた場合，その後に得られたデータは解析に含めるかどうか

等が含まれる（Mallinckrodt, 2013）

A) Estimandに関する感度分析：estimandとは？

Efficacy：計画通りに投与された薬剤の効果→ per-protocol estimand

Effectiveness：実際に投与された薬剤の効果→ ITT estimand

NRC (2010) 5種類Mallinckrodt et al. (2012) NRC + 1種類 = 6種類Mallinckrodt et al. (2014) 上から3種類 pick up

13

A) Estimandに関する感度分析：estimandとは？

A) 6種類のEstimand (Mallinckrodt et al., 2012)

14

Estimand 仮説 推測の対象 被験者 評価時点Rescue

Medication後のデータ

1 Effectiveness 割り付け群 全被験者計画された時点

主解析に含める

2 Efficacy最初に

割り付けられた治療

最初に耐えられた被験者のみ

計画された時点

主解析に含めない

3 Efficacy最初に

割り付けられた治療

全被験者計画された時点

主解析に含めない

4a) Effectiveness最初に

割り付けられた治療

全被験者 未定義主解析に含めない

5a) Effectiveness最初に

割り付けられた治療

全被験者 未定義主解析に含めない

6 Effectiveness最初に

割り付けられた治療

全被験者計画された時点

補完することが望ましい

※慢性疾患の第III相試験を想定 a) Estimand 4：AUC, Estimand 5：LOCF 等を使用

B) 欠測メカニズムに対する感度分析

・MARかMNARかは検証不能（Type (i)）な仮定→ 主解析でMARを仮定した場合でも，MNARの可能性は否定できない．

・NRC (2010)とMallinckrodt (2013)で「感度分析の中で最も重要」と指摘．

15※各手法の詳細は大江ら(2014)，高橋ら(2014)，駒嵜ら(2014)など参照．

◎MNARの解析は難しかった→ Missingdata.org.uk で公開されたマクロを使えば，

SASでの実行が可能に!!

B) 欠測メカニズムに対する感度分析

・SM：MNARを仮定．◎感度パラメータを設定 → 脱落確率のモデルを「色々試す」

・PMM：MNARに相当する仮定．◎感度パラメータを設定 → 欠測データの分布を「色々試す」

16★SM, PMMで感度パラメータを入れる場所が異なる

C) 完全データの分布に対する感度分析

①共変量②残差診断③影響診断④分散共分散構造

17

欠測の有無に関わらず重要

•デザイン変数・投与群やベースライン時に得られる共変量．・全ての症例に対して観測され，主解析に用いられる．

•補助変数・欠測したデータに対する推測に利用できる共変量．・主解析の共変量には用いられないが，脱落確率や欠測データの分布のモデリングに役立つ．

18

◎主解析（デザイン変数のみ）：Restrictive Model感度分析（デザイン変数 + 補助変数）：Inclusive Model

C) 完全データの分布に対する感度分析（①共変量）

→ 共変量が増えると MNAR が MAR に近づくことも

※大江ら(2014)参照

＜残差診断＞・残差から「全体の傾向」「外れ値」をみる．

＜影響診断＞・パラメータ推定に影響の大きい症例（・施設）をみる．

→ CookのD統計量など

19

PROC MIXED DATA=DAT;CLASS TREAT TIME ID;MODEL OUTCOME = BASELINE TREAT TIME TREAT*TIME

/ INFLUENCE(EFFECT=ID ITER=3) RESIDUAL;REPEATED TIME / TYPE = UN SUBJECT = ID;LSMEANS TREAT*TIME / DIFF;

RUN;

C) 完全データの分布に対する感度分析（②残差診断③影響診断）

（プログラム例）

・MMRMでは Unstructured（無構造）を指定することが多い．

→ 他の構造では？

→ 色々試して①結果の安定性を見る②最適な構造を探索する（AIC等）

20

C) 完全データの分布に対する感度分析（④分散共分散構造）

2.主解析・感度分析の方法2-2：主解析・感度分析の実行

21

シミュレーションデータに対する感度分析の実行（設定）

・対象疾患：うつ病・相：第III相プラセボ対照ランダム化比較試験（2群）・評価項目：HAM-Dスコア（変化量）・評価時点：8週目(時点4）・estimand・primaryは estimand 3

→ 全症例が治療を完了したと仮定した場合の群間差

・secondaryは estimand 6→ 中止症例の影響を評価

22

※Mallinckrodt et al. (2012)参照

主解析の詳細• 帰無仮説：時点4で群間差が0• 有意水準：両側5%• 解析手法：MMRM

– 共変量：（連続値） ベースライン値（カテゴリ値）投与群，時点，投与群と時点の交互作用

– 変量効果：個人の影響を誤差と合わせてモデル化するため，明示的には特定しない（相関構造に含める）

– 相関構造：Unstructured（被験者ごと）収束しなかった場合，①初期値をFisher’s scoringで与える．②相関構造をToep, HCS，AR(1)，CS，VCの順に指定．

– 推定方法：REML– 自由度調整方法：Kenward Rodger

23

主解析・感度分析の一覧

24

仮説 Estimand 欠測メカニズム

解析手法

その他

主解析 Efficacy 3 (primary) MAR MMRM

感度分析1 Efficacy MAR MMRM 残差診断・影響診断

感度分析2 Efficacy

MNAR SM 感度パラメータ-1～1

MNAR PMM NFMV (NCMV)感度パラメータ

-3～3感度分析3 Effectiveness 6 (secondary) MNAR pMI 解析はMMRM

◎3種類の感度分析を実行

0

10

20

30

（平均±SD）

実薬群 プラセボ群

解析対象データ

25

◎うつ病の第III相試験を想定したシミュレーションデータ

●主要評価項目：HAM-D→ スコア低下：改善（解析には変化量使用）

●実薬群 vs プラセボ群・1群100例（ベースライン時）

ベースライン 時点1 時点2 時点3 時点4

例数平均(SD) 例数

平均(SD) 例数

平均(SD) 例数

平均(SD) 例数

平均(SD)

実薬群 100 20.0(4.1) 93 18.1

(4.2) 89 14.9(5.4) 84 11.0

(6.3) 83 8.5(6.8)

プラセボ群 100 20.1(4.2) 90 17.5

(4.2) 87 15.4(4.6) 85 13.3

(6.3) 80 11.0(6.1)

ベースライン 時点1 時点2 時点4時点3 ◎単調な欠測のみ

主解析の結果

26

解析手法時点4における各群の点推定値(SE) 群間差 群間差のSE p値

実薬群 プラセボ群

MMRM -11.22 (0.69) -8.97 (0.70) -2.26 0.99 0.024

◎この値がどの程度安定しているか？

◎モデルは妥当そうか？

感度分析1（残差診断・影響診断）の結果

除外判定基準 症例数 データ数 群間差 群間差のSE主解析 183 691 -2.26 0.99感度分析1（外れ値除外）

Student化残差絶対値2以上 183 660 -2.37 0.87

感度分析1（外れた症例除外）

Cook's D0.03以上 182 687 -2.24 1.00

27

Student化残差

CookのD統計量

感度分析2（欠測メカニズムの検討）の結果

28

SM (MNAR)

横軸：感度パラメータ

PMM(MNAR)

群ごと

群ごと

群間差

群間差

群間差はほぼ一定

感度パラメータ：小→ 群間差：小

点推定値±SD

感度分析3（estimandに対する感度分析）の結果

29

解析手法

時点4における各群の点推定値(SE)

群間差 群間差のSE

実薬群 プラセボ群

pMI -11.03 (0.70) -8.97 (0.71) -2.06 0.99

◎Estimand 3（primary な estimand）に対するEstimand 6（secondary なEstimand）の結果

主解析・感度分析の結果

解析手法

その他群間差

最小 最大主解析 MMRM -2.26

感度分析1 MMRM 残差診断・影響診断

-2.24 -2.37

感度分析2SM 感度パラメータ ： -1～1 -1.92 -2.56

PMM NFMV (NCMV)感度パラメータ ： -3～3 -2.07 -2.07

感度分析3 pMI -2.06

30

◎群間差は少なくとも -1.92 ⇒ 有効性の結果は頑健．

実際に適用する際の注意点

31

① Estimandを明確化する．② 仮定を意識して適切な感度分析を計画・実行する．

③ 感度パラメータの適切な範囲を検討する（群毎に異なる場合も）．

④ 公開されているマクロを使用する場合，バリデーションを十分に取る．

⑤ 感度分析の結果が主解析と大きく異なる場合，慎重に解釈を行う．

3.主解析の選択のシミュレーション

32

主解析の選択

Analytic Road Mapで主解析の候補として挙げられた，・MMRM・MI・wGEE

と・LOCF

を，シミュレーションで比較する．

33

・αエラー・検出力・MSE（時点4の群間差）・推定値の平均

を比較

シミュレーションの設定

34

測定値の平均値

ベースライン

時点1

時点2

時点3

時点4

実薬群20.0 (4.0)

18.0 (5.0)

15.0 (5.0)

12.0 (6.0)

9.0 (6.0)

プラセボ群20.0 (4.0)

18.0 (5.0)

16.0 (5.0)

14.0(6.0)

12.0 (6.0)

ベースライン

時点1

時点2

時点3

時点4

ベースライン

1 0.3 0.3 0.2 0.1

時点1 － 1 0.6 0.55 0.5時点2 － － 1 0.6 0.55時点3 － － － 1 0.6時点4 － － － － 1

各時点の平均（SD） 相関構造（両群同じ）

・投与群：2群（ ：実薬群， ：プラセボ群）・被験者数：100例/群・時点数：ベースライン ＋ 4時点（時点4が主要評価時点）

◎αエラー計算時は，平均構造は両群プラセボ

シミュレーションの設定

35

MAR ：

MNAR：

◎繰り返し回数：10,000回欠測確率：以下の2パターン

：時点 の測定値

が欠測する確率は以下の通り（両群共通）．

それぞれ10,000回ずつ

時点1 時点2 時点3 時点45% 10% 13% 15%

【欠測確率の目標値】

• MMRM– 解析方法：感度分析で用いたモデルと同じ

• wGEE– 共変量：MMRMと同じ– 脱落モデル：logisticモデル（共変量は主解析と同じ）

• MI– 補完モデル：投与群ごとの単調回帰モデル

（共変量：ベースライン，各時点の応答変数の変化量）

– 補完回数：5回– 解析方法：共分散分析

• LOCF– 解析方法：共分散分析 36

解析手法

シミュレーション結果

37

MAR 時点4における検出力（%）

時点4におけるαエラー（%）

時点4における群間差に対する

MSE

時点4における群間差の

推定値の平均

MMRM 90.40 4.79 0.8250 -2.9988MI 89.19 4.80 0.8397 -2.9984

wGEE 69.31 11.12 2.3016 -2.9975LOCF 83.42 4.78 0.9293 -2.8162

MNAR 時点4における検出力（%）

時点4におけるαエラー（%）

時点4における群間差に対する

MSE

時点4における群間差の

推定値の平均

MMRM 90.53 4.84 0.8055 -2.9688MI 89.16 4.70 0.8250 -2.9654

wGEE 69.28 10.40 2.1840 -2.9678LOCF 86.33 4.76 0.8731 -2.8562

シミュレーション結果

【αエラー】MMRM，MI，LOCFが5%未満．wGEEはインフレ大．

【検出力】MMRM ≓MI > LOCF > wGEE

【MSE】 MMRM ≓MI < LOCF < wGEE

【推定値の平均】MMRM, MI, wGEE ≓真値．LOCF：過小評価

38

◎MMRMが最もよさそう．MIも悪くない．LOCFは特に優れた点がない．

注）2シナリオのシミュレーションのため，本結果を過大評価しないこと．

使用する際の注意

【欠測メカニズム】・MARを仮定して本当に大丈夫か？

【データの分布】・外れ値がある場合・欠測データが観測データと大きく異なる分布の場合・ベースラインと時点の交互作用がある場合

【欠測の発生確率】・欠測が増えるのは，応答変数が大きいとき？小さいとき？・補助変数があるときは？

39

◎以下の点などを考慮して，試験ごとに十分な検討が必要．

まとめ

40

◎Mallinckrodt (2013)のAnalytic Road Mapに従った主解析・感度分析を検討した．・estimand・欠測メカニズム・完全データの分布

◎主解析の選択のためのシミュレーションを実施した．・MMRM, MI, wGEE, LOCFの比較．・αエラー，検出力，MSE，群間差の推定値の平均を比較

◎利用する際は，各試験の特徴を踏まえて十分な検討をすることが必要．

参考文献1. 駒嵜弘，高橋文博，横溝孝明．(2014)． 欠測メカニズムに対する感度分析. SASユーザー総会論文集．2. Mallinckrodt, C. H. (2013). Preventing and Treating Missing Data in Longitudinal Clinical Trials.

Cambridge Press.3. Mallinckrodt, C. H., Chuang-Stein, C., Molenberghs, G., O’Kelly, M., Ratitch, B., Janssens, M., and Bunouf,

P. (2014). Recent development in the prevention and treatment of missing data, Therapeutic Innovation & regulatory Science ,48, 68-80.

4. Mallinckrodt, C. H., Lane, P. W., Schnell, D., Peng, Y., Mancuso, J. P. (2008). Recommendations for the Primary Analysis of continuous Endpoints in Longitudinal Clinical Trial, Drug Information Journal, 42, 303-319.

5. Mallinckrodt, C. H., Lin, Q., Lipkovich, I., and Molenberghs, G. (2012). A structured approach to choosing estimands and estimators in longitudinal clinical trials, Pharmaceutical Statistics, 11, 456-461.

6. Molenberghs, G., and Kenward, M. G. (2007). Missing Data in Clinical Studies. Wiley.7. National Research Council. (2010). The Prevention and Treatment of Missing Data in Clinical Trials. The

National Academies Press. 8. 大江基貴，土居正明，縄田成毅．(2014)． 解析手法の解説1. SASユーザー総会論文集．

41

参考文献9. O’Kelly, M., and Ratitch, B. (2014). Clinical Trials with Missing Data –A Guide for practitioners-. Wiley.10. 高橋文博，藤原正和，大浦智紀，横山雄一．(2014)．解析手法の解説2. SASユーザー総会論文集．11. Verbeke, G., and Molenberghs, G. (2000). Linear Mixed Models for Longitudinal Data. Springer.

42