ほくそ笑む

R言語と統計解析について

A Survey Of Methods For Explaining Black Box Models メモ (2)

機械学習の解釈可能性についてのサーベイ

  • Guidotti+ (2018) "A Survey Of Methods For Explaining Black Box Models"

のメモ

4 Open The Black Box Problems

  • このセクションではブラックボックス問題を4つに分類する
  • まず「リバースエンジニアリング」と「設計」の問題に分かれる
  • 前者は次の3つに分かれる
    • ブラックボックスのモデル説明問題 (=グローバル)
    • ブラックボックスの出力説明問題 (=ローカル)
    • ブラックボックスの検査問題
  • 後者は「ブラックボックスの設計問題」
  • これらの問題の共通の課題は「解釈可能で正確な予測モデルを提供すること」
  • これは機械学習における分類問題の特殊ケースである

4.1 Problem Formulation

  • 問題の定式化を行う
  • 予測器とは特徴空間からターゲット空間への写像である
  • 学習器関数とは、(特徴空間 x ターゲット空間) -> (特徴空間 -> ターゲット空間) の写像である
  • 教師あり学習ではデータセットは訓練とテストに分けられる
  • 解釈不能なモデル b
    • b がブラックボックスとは、関数の背後にある推論が人間には理解できず、返された結果はその選択の手がかりを与えないことである。
  • 理解可能なモデル c
    • c はグローバルまたはローカルな説明が可能
  • 予測器の性能評価は、精度と忠実度で行われる
    • これらは同じ方法で計算できる

Black Box Model Explanation

  • ブラックボックスのモデル説明問題とは、ブラックボックスの動作を模倣することができ、人間が理解できる解釈可能で透明なモデルを提供することである
    • ブラックボックスを近似する解釈可能なモデルはグローバルに解釈可能でなければならない

Black Box Outcome Explanation

  • ブラックボックスの出力説明問題とは、解釈可能な出力を与えることである。これはブラックボックスの出力に対して説明を与える方法である
    • ブラックボックスの背後にあるロジック全体を説明する必要はないが、特定のインスタンスの選択に対する理由を説明する必要がある

Black Box Inspection Problem

  • ブラックボックスの検査問題とは、ブラックボックスモデルがどう動くか、またはブラックボックスが他の予測でなくこの予測を返したのはなぜかを理解するための表現(視覚的またはテキスト的)を提供することにある
  • 例えば、ブラックボックスモデルの入力を変化させたときの予測の変化を観測するような視覚化を与える

Transparent Box Design Problem

  • 透過ボックスの設計問題とは、局所的または大域的に解釈可能なモデルを与えることである
  • 例えば決定木のような解釈可能なモデルを設計する

  • このサーベイで「ブラックボックスを開く」というとき、上記の4つのどれかを指している

5 Problem And Explanator Based Classification

  • このセクションでは、既存研究を分類するための特徴を説明する
  • 主な特徴は次の4つ
    • 問題のタイプ (セクション4で述べた)
    • 説明のタイプ
    • ブラックボックスモデルのタイプ
    • データのタイプ
  • セクション6以降の構成
    • セクション6: ブラックボックスのモデル説明問題を解く手法を提示した論文
    • セクション7: ブラックボックスの出力説明問題を解く手法を提案する論文について
    • セクション8: ブラックボックスを検査するための手法を提案する論文について
    • セクション9: ブラックボックスの「不透明な obscure」制限を克服するための透過的な予測器を設計する論文について
  • さらにそれぞれのセクションは説明のタイプによってサブセクションに分かれる
    • Decision Tree (DT)
    • Decison Rules (DR)
    • Feature Importance (FI)
    • Salient Mask (SM): 画像やテキストデータに対して、特定の出力を引き起こす原因となる部分を視覚的に強調する
    • Sensitivity Analysis (SA): 入力の不確定性のさまざまな原因に関するブラックボックスの出力の不確定性を評価する (?)
    • Partial Dependence Plot (PDP)
    • Prototype Selection (PS): 出力と一緒に、分類されたレコードに非常によく似た例を返して、予測がどの基準で返されたかを明確にする
    • Neurons Activation (NA): 特定の入力レコードに関して活性化されるニューロンの観察
  • 開かれるブラックボックスモデルのタイプ
    • Neural Network (NN)
    • Tree Ensemble (TE)
    • Support Vector Machine (SVM)
    • Deep Neural Network (DNN)
    • AGN (Agnostic Explanator): 特定のタイプのブラックボックス、説明、データタイプに関連付けられていない、理解可能な予測器
  • データのタイプ
    • Tabular (TAB): 表形式のデータ
    • Image (IMG): 画像
    • Text (TXT): テキスト
  • p20 表1 は既存研究を網羅的に示し、それぞれの特徴を記したもの

Reverse Engineering: A Common Approach For Understanding The Black Box

  • ブラックボックスの「モデル」「出力」「検査」問題を解く一般的なアプローチはリバースエンジニアリングである
    • 特定のデータに対するブラックボックスの出力をオラクルとし、理解可能な予測器を訓練する
  • オラクルを生成するための入力データを作成する方法は2つある
    • 制御された方法で入力を生成
    • 入力のランダム摂動 (random perturbations) を使う
  • リバースエンジニアリングは一般化可能かどうかで分類できる
    • 一般化可能とは、オラクルを得るためにブラックボックスへ渡すのは入力データのみである場合
    • 一般化可能なアプローチは任意のモデルに適用可能 (agnostic)
    • 一般化可能でないとは、入力データの他に特定のブラックボックスモデルの特性を渡す場合
    • 例えば、ランダムフォレストを開く場合に、ツリー間の距離を使用するなど
  • p20の表1 では、General 欄で一般化可能かどうか、Rondom 欄でランダム摂動を使うかどうかを示す

A Survey Of Methods For Explaining Black Box Models メモ (3) - ほくそ笑む