what_a_dudeの日記

統計学の父R.A.フィッシャー−フィッシャー哲学を学ぶエッセイ3本

科学, むかしばなし

エフロンのことを書いていて、

「よく考えたら俺フィッシャー信者を自称してるくせにフィッシャーの最悪っプリしか紹介してないな…」

と思ったので、ブートストラップについて書く前にフィッシャーへの愛を語ることにする。

フィッシャーの最悪っプリについての過去記事はこちら。

最悪の人格に宿った最高レベルの知性−ロナルド・エイルマー・フィッシャー

　

↑若かりし頃のフィッシャーさん。あまりに目が悪かったので、彼は高等数学をG.H.P.メイヨーから口頭で、ペンとノートを使わず学んでいたそうであります。フィッシャーの業績はブログで紹介するにはあまりに巨大なので、避けてきたわけですが、現在の統計科学における概念のほとんどをフィッシャーが用意したといっていいと思います。エフロンが言うところ、「経済学における、アダム・スミス、カール・マルクス、ジョン・メイナード・ケインズの三人の業績を一人で為した」かのような巨人です。フィッシャーが導入した統計概念を列挙するだけでも大変なのですが、まずフィッシャーの大きな仕事として、統計科学の問題をキレイに整理したことが挙げられると思います。フィッシャーは統計学の目的を「データの縮約(the reduction of data)」と規定して、以下のように整理しました。

1．特定化(specifications)

2．推定(statistical estimation)

3．統計量の分布(sampling distribution)

　フィッシャーの考えは、採集してきたデータの母集団が、どのような分布となっているか、モデルの形式はどうすべきなのか、というのは、実際の解析を行う前に決定されている必要があって、2のパラメータ推定の段階とは分離されているべきものである、というものでした。テューキー流に言うと特定化とは探索的データ解析のことにあたるでしょうか。フィッシャーは特定化は統計学を利用する各分野の専門家によって、なされるべきものであるとしています。最近の傾向では1の特定化に一定の留保を置きつつ、2が行えるような手法が好まれているかもしれません。フィッシャーが特に重視したのが2の推定で、彼の最も偉大な業績の一つでもあります。

　フィッシャー前夜の統計学というのはラプラスの確率論を背景に持つ亜ベイズ統計学派とカール・ピアソンに代表される原頻度主義学派によって論争が行われている状態でした。フィッシャー以前において、そのどちらの派においても、推定量の良さを判断する基準は、サンプルを無限に集めてきた時の分散がほぼ0になるという、一致性(consistency)のみであったと言えます。フィッシャーは統計学史に燦然と輝く大論文、1925年のTheory of Statistical Estimationにおいて、ほぼフィッシャー統計学を完成させているのですが、ここに２つの概念を導入します。有効性(efficiency)と十分性(充足性sufficiency)です。　

　有効性とは、一致性の文脈において、サンプル数nが大きくなっていくにつて、平均θの正規分布に漸近する分布をもつ統計量の、分散がどれほど早く小さくなるかを示す概念です。これは後年になって、フィッシャーの弟子であるC.R.ラオやエフロン、R.R.バハデュールらによってさらに発展していきます。この分散は一定以下にはならないのですが、最も小さい分散(クラメール・ラオの不等式の下限Cramer-Rao lower bound=CRB)を達成するものを有効統計量(efficient statistics)と言います。

　一致性や有効性は大きなnについての概念ですが、フィッシャーはより少ない、現実的なnに対して、統計量の妥当性を評価しようと、内在的精度(intrinsic accuracy)という概念を導入します。内在的精度とは別の言葉で言えば統計量の持つ情報のことです。内在的精度は０〜１の値を取り、特に１の時にその統計量を十分統計量(sufficient statistics)といいます。十分性が満たされている場合、それ以上いくらnを増やしても、情報は増えません。内在的精度は１標本あたりの母数に対するフィッシャーの情報量に対応します。フィッシャーは情報量の損失で、有効性が評価できると予想しました。

　ここで導入された統計量の重要な３つの性質、一致性、有効性、十分性を全て満たすものをフィッシャーは最適統計量(optimal statistics)と呼び、これを求めることを目標として、最尤法の原理を導入します。最尤法自体は、フィッシャー以前に、ポワンカレ、ケインズ、エッジワースらによって利用されていましたが、フィッシャーは尤度関数の微分可能仮定をおいて、尤度を最大化するパラメータが漸近的に有効性を持つことを示し、最尤法が一般的に有用な手法であることを明らかにしました。その後、フィッシャー、ホテリング、ドゥブらによって十分性条件が明らかにされていきます。フィッシャーのモチベーションというか、怒りの源泉みたいなもののひとつに、ベイズの定理への反感が挙げられると思います。ラプラスの確率観に基づいて、無知を根拠に事前分布に一様分布を仮定する(ハロルド・ジェフリーズが主な論争相手)ということがとりわけフィッシャーには許せなかったようで、フィッシャーはとにかくベイズの定理に基づく逆確率の計算を全く用いない方法を模索して、最尤法にたどり着いたのですね。最尤法を用いるに当たっては1909年からケンブリッジにてケインズらと優生学研究会でさまざまな議論をしていたと思われるので、その辺りの影響があるのかもしれません。ケインズは1911年に最尤法を用いた論文を書いているはずです。*1フィッシャーは現実に手に入ったデータによらない知識(a priori knowledge)は使わない理論構成を目指しています。この辺は最近流行の最大エントロピー原理と通じるものがありますし、この間紹介した記事で、エフロンが無情報一様分布や、共益事前分布を無批判に受け入れるベイジアンに対して述べていた苦情と全く同じものだと思われます。しかし、こうやって哲学的に真反対をむいた手法が、同じ結果をもたらす*2というのは面白いものです。後で述べるエッセイの中でラオは「フィッシャーは経験ベイズを全く否定していなかった」と言っているのも興味深いですね。攻撃しているうちに、正当な理由で攻撃しているのにもかかわらず、「とにかく気にいらねぇンだ」みたいな空気を醸し出していく所も私的萌えポイントです。悪口雑言のように見えて、フィッシャーの哲学はかなり整合的なものだと私は感じます。

　フィッシャーは1934の論文、Two New Properties of Mathematical Likelihoodにおいて、条件付き推定原理に関し、ある母数に左右されない確率変数、補助統計量(ancillary statistics)の概念を明確にし、フィッシャーの意味での統計的推定の基本概念を完成させました。

　フィッシャー統計学の基本的な部分は、等分散性、独立性、正規性というかなり強い仮定に立脚して導かれたものですが、フィッシャーの統計学に果たした大きな貢献として、標準的に使われるほぼすべての分布と正規分布との関係を詳細に調べ上げたことも忘れるわけにはいきません。フィッシャーは1922年に中心極限定理が証明されるより前に、ほぼ全ての分布に基づいた統計量が、サンプル数の増大共に正規分布に近づくことを示し、正規性仮定に漸近的根拠を与え、有効な変換形式について言及していきました。

　フィッシャーのもう一つの大きな業績は実験計画法を整備したことです。1.反復、2.ランダム化、3.局所管理というフィッシャーの3原則によって、誤差推定、独立性担保のための効果の分離、交互作用の検証といったことが、1930年代あたりから形式化され、実験計画に基づいた処理を行い、データをとり、分散分析や回帰といった諸手法を用いて解析する、という今日当たり前のように行われている統計解析の流れが明確に意識されるようになりました。フィッシャーの業績の中で今日的に最も強くその影響を見て取れるのが、工業、農業における実験計画分野であると言ってよいと思います。

　

　さてフィッシャーの哲学を手軽に学びたい、と思った時にどうするのがよいか、というと、統計学者による解説を読むのがやはりわかりやすいと思います。フィッシャーの著作は大概難しいです。これは哲学に限らずですが、数学的議論もいきなり結論だけ書いてあって、「これはどうやって出てきたんだろう」というようなトラブルが多いです。日本語では竹内啓先生がさまざまな著作の中で折に触れて、フィッシャーとネイマン、そしてベイズについて、分かりやすく解説しています。竹内先生は、その手の解説がべらぼうに上手い人なので、大変読みやすいですね。「統計的方法と科学的推論」については林さんの一連の記事で一部読むことができます。確率に対する捉え方に関しては

にもブリーフな紹介があります。

　

　さて今回はネットで誰でも読める(英語ですが)超一流学者たちによるフィッシャーに関するエッセイをご紹介しましょう。年代順に並べると

1．On reading R.A.Fisher. L.J.Savage(1976)

2．R.A.Fisher:The founder of modern statistics. C.R.Rao(1992)

3．R.A.Fisher in 21st Century.　B.Efron(1998)

の三本です。サヴェージはベイズの再興をもたらしたド・ベイジアンです。ラオはフィッシャーの直弟子の中で恐らく最も成功した統計学者でしょう。エフロンはこの間書いたように、頻度主義とベイズの融合を図っている人です。

　このうちサヴェージのものはサヴェージ自身が学生時代に触れたフィッシャーの著作についての感想などから始まっていて、これがなかなか面白いのです。30p以上あるので詳しくは紹介できませんが、個人的に面白かったところを少しメモ的に。

フィッシャーは広い一般教養の持ち主で彼より前の統計学に関する文献を非常に良く読み込んでいた。古いもので言うと*3トマス・ベイズの有名なエッセイは、フィッシャーのような人よりも、私のような、ベイジアンと呼ばれる人々にとってより刺激的なものだと思われる。（フィッシャーがベイズを高く評価しているという）この認識は、私にはなかなかしっくりこなかった。なぜならフィッシャーはベイズの定理とその他の「慣用的な」事前分布について完全に拒絶していたからで、それは彼が確かに、一般的な意味でのベイジアンでないことを意味している。フィッシャーのベイズ師に対する尊敬というのは、むしろ帰納的推定(inductive inference⇔注：ネイマンの帰納的態度inductive behaviorと（フィッシャーによって）強く区別される)にこそ現れているようで、彼自身も度々ベイズ師について言及している。

　推定はフィッシャーにとって最重要の問題であった。しかし私は彼が「推定」の明確な定義をしようとしていたとは思えない。おそらく、安全に言って、フィッシャーにとっての推定は、ある統計量であり、それは実際の値を持つもので、何かを推定しようという目的で作られるものだった、とは言えるだろう。フィッシャーの著作や、その他の統計学者の文脈において、「推定」とはしばしば、一つ一つがあるサンプルサイズを持つ統計量のシーケンスを意味するものに見える。「推定」がなされるとき、それは統計量のシーケンスの漸近的な振る舞いの文脈において成り立つものなのだ。だからフィッシャーは、単に省略しすぎていた、というだけではなく、このような漸近的な考え方の中では、実用的な結論のための、統一的な定義の必要性を欠いていると考えていたように思える。例えば、が漸近的に正当であって、例えばn<10^1000のデータについてアイデンティカルにゼロだと言える場合、それを使っての推定値が（その区間の）いたるところで漸近的に0だということは正当であるが、同じようにデータを無視して、推定値に全て0を用いるということは正当性を欠いているだろう*4

　フィッシャーが"推定(estimation)"という単語を使うとき、それは主にいわゆる「点推定」を意味していた。特筆すべきなのは彼は「フィデューシャル区間」(fiducial interval 信頼区間に似たもの)を「推定」としては扱わなかったことである。「点推定」という単語はフィッシャーを神経質にさせた。なぜならその単語はフィッシャーにとって正確性に配慮しない推定を連想させるものであって、正確性に配慮しない推定というものをフィッシャ−は馬鹿げていると思っていたし、そういう考えを支持する人々が出てしまうように考えていたからだ。

　まだまだ主観確率派ベイジアンとしてのサヴェージならではの批判的な視座のコメントもいろいろありますが、サヴェージのはこのへんで。p.456以降のPoints of controversyの所が特に面白いのでオススメ。ただしこの三者の中で際立って読みにくいです。英語も。シートスタイルも。

　

　ラオのものはフィッシャーの業績を上手くサマライズしたものです。私の上の駄文など読まずに、このペーパーだけ読めばいいかと思います。英語が平易なのと、ラオ自身の整理の上手さも感じさせてくれます。ラオの教科書はフィッシャーを反面教師にしたのか、数学的記述などを際立って丁寧にやっています。奥野先生らによる訳があったラオの名著「統計的推測とその応用」はベクトル、行列から始まる、統計学科向けの教科書として素晴らしいものだと思います。単なる統計ユーザーには辛い。日本語版は絶版で入手困難ですが、英語版はまだ比較的安価に手に入ります。*5Amazon.comなら今120ドルなので、10000円弱、Amazon.co.jpでも11500円ぐらい。私の手元にあるものが1977年の発刊で定価7000円になっているので、物価を考えると英語版のはまぁ妥当な値段じゃないでしょうか。

やっぱりこれからはインドだよ（違）。

フィデューシャル確率に関するラオのまとめと、フィッシャーによる今後の統計学への期待のところだけ少しご紹介。フィデューシャル確率とはなんぞやというのは主観確率のことについて書く事があればまとめて書きたいとは思っているのだけれども、今のところは、「極限における頻度」ではない、「何らかの根拠によって信用に値する極限を仮定しない頻度」ぐらいに思っていただいて。フィッシャーのサヴェージ＝ド・フィネッティ流のド・主観確率にも依りたくない、という悩みの中から編み出された産物です。

フィデューシャル確率はフィッシャーによって試みられた、未知パラメータに関する確率に言及するときにベイジアン流の事前分布を用いない方法のことである。サヴェージ（1981）の言葉を借りると

フィッシャーの確からしさの議論(fiducial arguments)は勇敢なものだと言えるが、成功はしていない。それはベイジアンの卵を用いることなく、ベイジアンのオムレツを作るようなものだったのだ。

フィッシャーは統計的推定における事前確率の有用性を十分に認識していたが、それらは（各問題に）固有で、既知の知見に裏打ちされていたり、集団の選定やサンプリングをランダムに行なったものによって導入されていたり*6、データから推定可能な場合（=経験ベイズ）などに限られるとしていた。事実彼は、この枠組みを遺伝統計学において、遺伝子選抜における判別分析に利用したりもしている。しかし彼は時に事前分布が全く存在しない場合もあるとも考えていた(例えばある化学物質の原子の重さは決定されなければならないように)。彼は公理的に説明し、事前分布を(根拠によらず)主観的に決定するアプローチを「インチキ(bogus)」だとさえ言った。しかしフィッシャーの、枢軸量によってもたらされる情報に基づいた未知パラメータの確率へのアプローチはその論理的な難しさから散逸してしまった。

インド統計研究所で1954年から1955年に行われた一連の講義の中でフィッシャーは黒板に、いつもとは違う形式の量的な統計的推定に関する括りを、不完全なリストの形で書いた。[]括弧内は私（ラオ）による注釈である。

1.有意性検定[論理的選言](Tests of significance[logical disjunction])

2.数学的尤度[合理性の確信度合い](Mathematical likelihood[a measure of rational belief])

3.フィデューシャル確率[枢軸量の反転](Fiducial probability[Inversion of a pivotal quantity])*7

4.ベイズの定理[固有の事前分布がある場合に限って](Bayes Theorem[when there is an inherent prior])

5.…

6.…

私はフィッシャーに５、６が何を意味するのかを尋ねた。そうすると彼は「これはおそらくまだ発見されていないであろう他の方法を表している。それを見つける仕事はより若い世代の人たちの肩にかかっている。」と言った

ラオによるまとめ

フィッシャーやその他の先駆者たちによって作られてきた解析や統計学というのは、究極的には「ものの考え方」(way of thinking)なのだということは指摘しておきたい。統計学的方法論というのは、調べている現象に深く切り込んでいく中で生まれてくるデータを解析する過程なのであり、最終的な決断の処方箋ではないということだ。*8すべての疑問について、答えるための固定されたルールというのは存在しない。新しい手法の探索というのはずっと続くだろう。もう一度、フィッシャーの1950年の著作、「数理統計学への貢献」の巻頭言を思い起こしておこう

これらの様々な分野において、なされるべきことというのは数多くある。私は、私自身の研究においても未だに、様々な問題に直面することも多過ぎるほどあるし、それらに自信をもって解答を提示することができないことも多い。それらは、最終的な解決をみた、といいたくなるようなものに関してもそうである。(だからほかの誰かがこのようなことを主張するときは、非常に深刻に受け止める*9。)

フィッシャーのこういう不断の改善への努力を重要視するアタリが好きなんですよね。赤池先生とかもそうなんですが。この柔軟性みたいなのがフィッシャーの知性だと思うんですよね。例えばさまざまなギョーカイではp<0.05であることが極めて重要視されていて、なんとかしてp<0.05を実現しようという涙ぐましい努力が行われたりするんですが、フィッシャーはいかなる時でもp=0.05を有意水準にするのっておかしくねぇ？みたいなことをよく言ってるんです。例えば相関係数の有意性とか考えるとわかると思うんですが、サンプルがとにかくたくさんあればR2＝0.01とかでも有意になります。コックスなんかに言わせれば、「現実のデータは一つや二つ、普通ではない特性を持っている」んですよね。やっぱり個別具体的にしっかり検討していかなくっちゃ。赤池先生のお言葉を借りて口汚く言うんであれば「他人が使った方法をまんま自分のデータに当てはめて、ファイナルアンサーとかいってんじゃねぇぞゴルァ」って感じですかね。

　

　さてエフロンのものはより俯瞰的な感じで楽しむエッセイになっております。エフロンは頻度主義者とベイジアンの対立点を4つに分類し、それぞれについてのフィッシャーの立場を示しています。4つの分類におけるフィッシャーの立ち位置を示したのが以下の図。

それぞれについてエフロンのコメントを短く意訳すると

・個別的か全体的か

　ベイジアン、特にサヴェージ、ド・フィネッティら主義のベイジアンは、個人的決断というものをよく強調する。そしてそれはビジネス分野で広く成功してきた。ビジネス分野では個別の決断というものが最重要課題だからだ。頻度主義者は推定がもっとユニバーサルに受け入れられることを目指す。フィッシャーは統計学のもともとの領域はサイエンスだと考えていたようだ。少なくとも科学の分野においては、(誰がやっても)同じように妥当な結論に達する必要がある、と考えていていたので、頻度主義者の側に大きく偏らせた。しかしフィッシャーはこの面でサヴェージ−ド・フィネッティ学派もネイマン−ピアソン−ウォルド学派も、両方を攻撃する。

・統一性か最適性か

　ベイジアンの理論はテクニカルにも統一的であることを強調するが、もっと広い意味においても違う側面での意思決定に対しても、統一的な関係をもったアプローチをする。頻度主義者のセンスでの最適性は頻繁に非統一的になりうる*10例えばの最小分散不偏推定量(UMVU)はθのUMVUを求めてからエクスポネンシャルをとった時に一致していないことがある。さらにまずいことに両者の間をつなぐ統一的な関係式すらなかったりする。フィッシャーは統一性と最適性の両方を求めて、最尤法にたどり着いた。実際最尤法によって求められたθは以下の式を満たす。

　しかしフィッシャーのある面での問題意識は統一性を重視しているし、ある面では整理された解答を得るために統一性を犠牲にすることもあった。なので、若干ベイジアンよりにしたが、その振れ幅は非常に大きくした。

　

・統合的か解析的か

　ベイジアンの意思決定は全ての入手可能な情報を集めて、それを統合して最終的な推定をするという点をよく強調する。一方頻度主義者は問題を細かく分割していき、それぞれの細かい問題を最適性を重視しながら解析していく傾向にある。フィッシャーは妥当な答えに行き着くために、入手可能な情報をできるだけ利用することをよく強調していたし、そうすることを妥当な推定の指標としていた。なのでここはベイジアンよりと言えるだろう。この面ではフィッシャーは理論的にも方法論的にもベイジアンであったと言える。最尤法と、フィッシャー情報量に基づく区間推定は、とてもベイジアンの主義にかなっている。しかしイエーツによると、フィッシャーはデータを統合して、大規模なデータを解析するよりかは自分で作った小さなデータセットを解析することをより好んだということなので、フィッシャーは堕落したフィッシャリアンだと言えるかもしれない。

・楽観的か悲観的か

　フィッシャーの典型的なフィッシャリアン的な側面として、根拠のある妥協と、注意深くありながら、過度に過誤を恐れない*11という点が挙げられる。これに私はいつも「ほとんどの現実の問題に対する態度としてこれが正しい」とシビれてしまう。今の私たちの視点から見るとフィッシャーの態度は、ベイジアンと頻度主義の、極めて明敏な妥協になっていると理解できる。フィッシャーはしばしば、まるで統計的推定の論理を完全に掌握していたかのような書きぶりをするのだが、そのことは新しいアイデアが出てきたときに彼のシステムが改善していくことを決して止めはしなかった。

　フィッシャー統計学はベイジアンと頻度主義者の明敏な妥協になっている、としてきたが、フィッシャー統計学の真髄はそれだけではない。簡単に使える、ということが最も重要なポイントだった。もし21世紀にフィッシャーにとって変わるようなものが出てくるのであればそれは、同じように簡単で、毎日の解析に利用できるようなスタイルになっているはずだ。

　

　そのほかフィッシャーが現在の統計学に及ぼした影響としていろいろ書いていますが、エフロン言うところの「Plug-Inの原理」というのが非常に面白いのでオススメです。まぁざっくり言うと、最尤推定という形で最適な推定値を求めてしまうことには非常に正確性を要求するのだけれども、それを真の値の代わりにプラグインして使ってしまう、ということには非常に楽観的というかまぁなんというかそんな感じです。エフロンのブートストラップ本にもPlug-In Principleというのが経験分布をどうやって使うか的な話として書かれますが、エフロン的には非常に影響を受けている部分だと思います。あとは様々な手法について、フィッシャリアン、ベイジアン、頻度主義者の三角形の中のどのへんに位置するか、というような図があったりとか面白いです。

　

とまぁこんな感じで。わかったようなわからんような感じですが、今回はこの辺で。

しばらく電波の届かない地域に参りますので少しの間更新が途絶えます。

Permalink | コメント(0) | トラックバック(0)