ほくそ笑む

R言語と統計解析について

A Survey Of Methods For Explaining Black Box Models メモ (1)

機械学習の解釈可能性についてのサーベイ

  • Guidotti+ (2018) "A Survey Of Methods For Explaining Black Box Models"

のメモ

1 Introduction

  • 現在、センシティブな個人情報を予測する機械学習モデルはブラックボックスである
    • クレジットスコア、保険リスク、健康状態など
    • データにバイアスや偏見が入っている場合、学習モデルはそれを継承する危険性がある
  • 一般データ保護規則 (GDPR) が欧州で施行される
    • 自動化された意思決定が行われたとき、個人が論理的で意味のある説明を受ける権利が含まれる
  • 理解できない意思決定システムは倫理、安全性、生産責任の上で問題がある
    • データにはバイアスが紛れる可能性がある
    • 学習モデルは間違った意思決定を下す可能性がある
    • ガートナー「2018年までにビジネス倫理違反の半分がビッグデータ分析の不適切な使用により発生する」
    • 学習モデルには「説明」が必要である
  • 解釈可能な機械学習は長く研究されてきたが結果をまとめたものはない
    • 多少はあるが問題点がいくつかある
    • (なのでこの論文でまとめる)

2 Needs for Interpretable Models

  • このセクションではブラックボックスの危険性について述べる
  • 人間の判断に基づくデータを使って学習すると、意図せずに偏見を持つ分類器になることがある
  • 古くは1980年代にセントジョージ病院医学部の入学試験の一次審査を行うプログラムで、女性と少数民族を差別していた
  • 最近では propublica.org のジャーナリストは「犯罪再犯の危険性」(Northpointe 銀行の企業秘密)の予測モデルである COMPAS スコアが強い民族的偏見を持っていることを示した
  • Princeton の研究は、黒人の名前は白人の名前に比べて不愉快な言葉に関連していることを示した
  • Amazon.com は2016年に無料の即日配達を提供する米国の地域を決定するために使用されたプログラムが、無意識的に少数民族の地域を排除した
  • 3つの主要米国銀行(Experian、TransUnion、Equifax)の間でクレジットスコアが大幅に異なることが示された
    • 大きなばらつきがあるということは3つの採点システムが大きく異なっており隠れたバイアスを持っているか、非常に恣意的であることを意味している
  • バイアスの例として、1つ目は軍の作成した敵タンクと味方タンクを画像識別する分類器が、テストスコアは良好だったのに実戦ではまるで役に立たなかった
    • のちに判明した原因は、味方タンクの画像は曇りの日に撮られ、敵タンクは晴れの日に撮られたことだった
  • バイアスの例の2つ目は、オオカミとハスキー犬を区別する分類器が、背景に雪のある場合のみをオオカミと判別していた
  • ディープニューラルネットワーク(DNN)は画像判別やテキスト分類に関して精度が良い。
    • しかし人間にはわからないノイズを加えることで誤判別する
    • このようなシステムを信頼するのは難しい

3 Interpretable, Explainable and Comprehensible Models

  • このセクションでは解釈可能性、説明力(explainability)、理解可能性(comprehensibility)とは何かについて述べる
  • 解釈可能性は、人間に理解可能な用語で意味を説明または提供する能力と定義される
  • 予測結果に対して意思決定を下さないなら解釈可能でなくて良い

3.1 Dimensions of Interpretability

  • 解釈可能性にはいくつかの次元がある
  • Global <-> Local
    • モデルのすべてのロジックが理解できる <-> 予測結果に対してなぜそうなったかが分かる
  • 解釈に要する時間が短い <-> 長い
    • 災害時の判断は迅速に行う必要があるが、ローンの解約手続きにはより詳しい説明が好まれる
  • 解釈者の専門性が高い <-> 低い
    • 解釈者の知識はバラバラであり、専門性が高い解釈者にはより詳細な説明が必要
  • 既存の文献では Global <-> Local の次元しか考えられていない

3.2 Desiderata of an Interpretable Model

  • 解釈可能なモデルを実現するには次のことを考慮する必要がある
    • 解釈可能性: モデルの複雑さ。モデルサイズで測る
    • 精度: 予測の正確さ。F1-score などで測る
    • 忠実度:予測器を正確に再現できるか。F1-score などで測るが、精度と異なり結果の再現度を測る
  • モデルにさらに必要なもの
    • 公平性、プライバシー
    • 単調性(ある数値特徴量が増えるとクラス割り当て確率が増えるなど)があると解釈しやすい
    • ユーザビリティ:人々はタスクを達成するのに役立つ情報を提供するモデルを信頼する
    • 信頼性、堅牢性、因果関係、スケーラビリティ、一般性

3.3 Recognized Interpretable Models

  • 現在、解釈可能とされるモデルは、決定木、決定則、線形モデルの3つ
  • 決定木は if-then 形式の決定則に変換することが可能
    • if-then ルール: if 条件 then 結果
  • 決定則は if-then ルールの他に次のルールを含む
    • m-of-n ルール: n個の条件のうち m個が真ならば真
    • list of rules: given an ordered set of rules is considered true the consequent of the first rule which is verified
    • falling rule lists: consists of a list of if-then rules ordered with respect to the probability of a specific outcome and the order identifies the example to be classified by that rule
    • decision sets: an unordered set of classification rules is provided such that the rules are not connected by else statements, but each rule is an independent classifier that can assign its label without regard for any other rules
  • 決定木と決定則の解釈可能性の違い(ここらへん何いってるかわからなかった)
  • 線形モデルは特徴量に対する係数の符号と大きさで結果への寄与がわかる
  • 予測が間違うようなインスタンスの分析は重要である(ここらへんもようわからん)

3.4 Explanations and Interpretable Models Complexity

  • モデルの複雑さを評価するのは難しいのでモデルサイズにより粗い近似が使われる
  • 線形モデルの複雑さ: ゼロでない係数の数
  • 決定則の複雑さ: 条件の長さ
  • (ここら辺わからん)
  • 決定木と決定則の違いについて(わからん)

3.5 Interpretable Data for Interpretable Models

  • データのタイプによっても解釈可能性は異なる
  • 人間にとって最も理解しやすい形式はテーブル(表)
  • 画像とテキストは人間に理解されやすい
    • アルゴリズムに直接入れることはできない
    • ベクトルへの変換が必要 → ベクトルは人間には理解不可能
    • SVMニューラルネット、DNN などは解釈困難
    • 通常はこれらが使われるため画像とテキストに解釈可能なモデルを直接適用できない
  • 他にもシーケンスデータ、時空間データ、複雑なネットワークデータなど
    • これらに取り組んだ既存研究はない

A Survey Of Methods For Explaining Black Box Models メモ (2) - ほくそぽえむ

参考

【記事更新】私のブックマーク「機械学習における解釈性(Interpretability in Machine Learning)」 – 人工知能学会 (The Japanese Society for Artificial Intelligence)