モデル選択――予測・検定・推定の交差点


モデル選択――予測・検定・推定の交差点【統計科学のフロンティア3】 (岩波オンデマンドブックス)

著者:竹内 啓,下平 英寿,伊藤 秀一,久保川 達也 … 

こちらの作品は、以前は半額くらいで売っていたのですが、オンデマンド出版となって、一気に値段が上がりました。いかがなものかと思いますが・・・・。手に入らないよりも入る方がいいのですが何のための仕組みなんでしょうね。このシリーズは優れモノが多いのでより安く提供してほしいですね。(Inobe.Shion)

「probability」の画像検索結果

内容紹介

統計的に推定や検定を行う際には,最適なモデルを選択することが重要である.情報量規準AICやMDL原理などを用いたモデル選択の手法を実際的な例を用いて解説し,モデルの信頼性を評価する手法を紹介する.

この分野を勉強していくうえでの真髄というのはなんですが、そういうところ、改めて気づかされました。

統計学では観測されるデータを発生する機構として、未知のパラメータを含む確率モデルを考える。データはこのモデルの中の1つの確率分布から出るものとして、未知パラメータを推定して分布を同定したり、事前に想定した分布からデータが発生したとする仮説が正しいかどうかを検定したりする。これが古典的な統計的推計であり、、統計学の基礎としてたいへん役に立つ枠組みである。(編集にあたって v)
モデルを複雑にすればするほど、その説明能力を高めることができる。しかしながら、これではデータ発生の確率的な揺らぎにまで付き合ってしまっていて、データの背後にある分布を扱えたとはいえない。ではどうしたらよいだろう。それには今あるデータではなくて、今後発生するデータに対してうまく合うもの、つまり将来のデータの予測説明能力が高いものがよいということになる。(編集にあたって vi)
今までのデータにどのくらい合うか合わないかの誤差を、パターン認識など学習の手法を用いる分野では訓練用のデータに含まれる誤差、訓練誤差と呼ぶ。これに対して、将来のデータに対する誤差を汎化誤差と呼ぶ。推論は汎化誤差を最小にするように選ぶ劇であり、ここからどのモデルを採用すべきかが出てくる。このためには、訓練誤差と汎化誤差の関係を明らかにしなければならない。(編集にあたって vi)
こうした考えから、モデル選択の基準を提案し、統計学の世界に新風を吹き込んだのが赤池氏であり、その基準が赤池情報量規準(AIC)である。これと並んでBayse推論の立場からのモデル選択を行うBIC情報理論の立場から記述長最小を基本原理としてモデル選択を行うRissanenのMDL(記述長最小規準)などが出てくる。(編集にあたって vi)
赤池情報量規準(Akaike infomation criterion)、略してAICはモデルの良さを測るための規準であり、統計数理研究所の赤池弘次氏によって1971年ころ編み出された。AIC値を最小にするモデルを選ぶという簡単だが強力な手法は、次第に多くの分野に広まり根付いたのである。AICは統計科学の伝統的な原理である最尤法や尤度比検定と密接な関連を持ちながらも、そこにはまったく新しい視点を持ち込んだ。つまりモデルが正しいか否かということよりも、モデルが将来のデータを予測する際に良い近似を与えるか否かという問題意識に切り替えた点が重要である。そもそも正しいモデルなど存在しないことが一般的だからである。(p.3)
t-検定では、どれか1つだけ説明変数を落とした時にどれだけ当てはまりが悪くなるかを調べている。(p.10)
AICは正しいモデルを選ぶための手法ではない。現実のデータ解析では、そもそも候補モデルM1, ・・・,Mkのどれかが正しいモデルなどということは稀だろう。確率モデルはあくまでもデータの生成メカニズムを近似し情報を抽出するための手段に過ぎない。いくつかの確率モデルを通して様々な視点からデータを解釈することによって現象の理解が深まる。モデル選択では、「どのモデルが正しいか」ではなくて、「どのモデルが良い近似を与えるか」という問題設定が現実的である。(pp.25-26)
AICは確率モデルによってどれほど良い予測が期待できるかを評価している。確率モデルのパラメータ値を最尤推定によって定めた確率分布は予測分布と呼ばれるが、これが真の分布の近似としてどれほど良いかを測ることによって予測の良し悪しを測るための「誤差」を定義する。(p.26)

まだまだここから専門分野に入っていくのは、そこは個々人でお勉強をしてください。

(気に入ったら投票をお願いします!)

にほんブログ村 経営ブログへ
にほんブログ村

 

 

 

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください