ほくそ笑む

R言語と統計解析について

メモ: Local Explain における Fidelity の評価

機械学習モデルの解釈において、Local Explain が流行っている。 Global Explain の場合、解釈手法の評価は Fidelity によってなされる。 Fidelity (忠実度) は、解釈したいモデル f(x) を説明 g(x) がどれくらい忠実に模倣しているかを測る指標である。 通常は f(x) を正解として g(x) の精度 (AUC や F-measure などの普通の指標) として定義される。 しかし、Local Explain の場合、Fidelity の評価は難しそうだ。

LIME の場合、5.2 で次のように評価している。

  1. 特徴量の重要度のわかるモデル (スパースロジスティック回帰と決定木) に対して、訓練データを学習する。
  2. 重要度の高い上位 10個をゴールドフィーチャとする。
  3. LIME で説明を作り、説明で使われる特徴量がゴールドフィーチャに含まれる割合を出す。

LIME では平均して 90% 以上がゴールドフィーチャに含まれたようだが、なんというか、コレジャナイ感が強い。 Local Explain (というか Outcome Explain) における Fidelity の評価方法については一考の余地がありそうだ。