シグナルを探せば探すほどノイズにまみれる、その覚悟を持ってデータと向かい合いたい。 ネイト・シルバー／シグナル＆ノイズ

アメリカの大統領選挙の予想をピタリと当てたことで話題になったお方。

2008年には、ファイブサーティーエイト（Fibe Thirty Eight）というウェブサイトを開設し、次の

選挙を予測した。ここで大統領選の当選者について50州のうち49州の結果を当て、また、上院議員選

挙では35人の当選者すべてを当てた。
P.11

今、一番ホットなデータ分析の人。
ビッグデータやデータ・サイエンティストといった
ブームの先端をいく人の著作なのだけど、
第一線で活躍する人は浮ついたブームとは違う、
地に足のついた話が多くとても参考になった。

シグナル&ノイズ 天才データアナリストの「予測学」

シグナル&ノイズ 天才データアナリストの「予測学」

大量の情報の本質的な弊害

あまりにも多くの情報を手にすると、私たちは本能的に気に入ったものを選び、それ以外は無視する

道を選ぶ。そして同じ選択をした人たちを味方とし、それ以外を敵とするのである。
P.5

情報に向き合う姿勢が問われている。
大量の情報があるがゆえに偏った見方になってしまう危険性に常に晒されている。

数字自体は何も語らない。語るのは私たちだ。シーザーのように自分に都合のいいように解釈し、客

観的な事実から離れていく危険もある。
P.10 -P.11

数字を解釈するのはあくまでも人。
恣意的な解釈の結果事実から遠ざかってしまうリスクがあることを忘れてはいけない。
数字＝客観的、みたいな考え方はとても危険だと言うことを肝に銘じないと。

前例の無い事例は予測できない

何を当たり前のことを、と思うかもしれないが、
このアウト・オブ・サンプルは身の回りにたくさん潜んでいる。
凄く秀逸な例えをしていたので、長いけど引用。

あなたは自動車の運転が得意だとしよう。ほとんどの人は自分は運転がうまいと思っているが、あな

たの場合は実績がある。30年間で2万回は運転してきて、ちょっとこすったことが2回あるくらいだ。

もともとお酒はあまり飲まない。飲酒運転などもちろんしたことがない。しかし、ある年、オフィス

で開かれたクリスマスーパーティであなたは羽目をはずしてしまう。仲のよい同僚が会社を辞めるの

で、あなたはもやもやした思いを抱えている。1杯のウォッカが気づくと12杯になっていた。かなり

酔っ払っている。あなたは車を運転して帰るべきか。
それともタクシーを呼ぶべきか。
簡単な問題だ。答えは「タクシーを呼ぶ。そして翌朝の会議はキャンセルする」である。
しかし、あなたは自分で運転して帰ることについて、おかしな理屈をこねはじめる。1万回運転した

というサンプルのうち軽い事故を起こしたのは2回だけだ。残りの１万9998回は無事に目的地に着い

ている。かなりいい確率だ。このような圧倒的な証拠があるのに、なぜタクシーを呼ばなくてはなら

ないのか。
問題は、もちろん、その2万回のうち今回のように酔っ払っていたケースはゼロだということだ。
飲酒運転のサンプルは2万回ではなくてゼロなのだから、事故を起こすリスクを過去の経験を使って

予測することはできない。これがアウト・オブ・サンプルである。
P48-P49

サブプライムローンの破綻からリーマンショックに至る一連の流れの中で、
なぜ格付会社はモーゲージ証券の評価を誤ったのか？
それは過去のデータを元にしたモデルで評価していたから。
住宅価格は過去着実に上昇していたので、
逆に下落した時に何が起こるかはわからない状態になっていた。
暗黙の前提に何を想定しているのか、ということを常に意識しないといけない。
その前提が崩れるとき、まったく考慮していなかった現実が襲ってくる。
すべてを考慮に入れた分析、予測などは不可能。
だとすれば、分析や予測はある前提を置いた限られた世界の中での
話しだということを忘れてはいけない。
逆に、変数を絞り、単純化したモデルを想定しないと実務は進んでいかない。
じゃあそんな分析は無駄なのかと言うとそんなことはない。
経済学はあえて合理的な人間を仮定することであそこまで深化した。
でもそれだけではすべてを説明できないので今度はその前提を疑う形で
行動経済学などに発展してる。

「知っていること」と「知っていると思っていること」の間の溝かどんどん広がっていくという危険

に直面している。その結果、一見もっともらしく見える予測がまったく当たらないということが起こ

る。
P.51

この知ってるつもり、は本当によくあること。
データや分析を過信しすぎると、大やけどをする。
逆に数字が苦手な人の方が数字万能幻想を抱いていたりするのでこれもまた厄介。

ハリネズミとキツネ、2つのタイプ

ハリネズミというのは、いわゆる“Ａ型タイプ”で、大きな考えを信じている人たちだ。あたかも自

然界の法則であるかのように機能し、社会のすべての相互交流を実質的に支える基本原則があると信

じている。力－ル・マルクスと階級闘争、フロイトと無意識、あるいはマルコム・グラッドウェルと

「ティッピング・ポイント」がいい例だ。
一方、キツネはこれといった原則を持たない生き物で、たくさんの小さな考えを信じており、問題に

向けてさまざまなアプロ－チを試みる。彼らは微妙な差異や不確実性、複雑性、異なる意見に寛容で

ある。ハリネズミが大物を狙う狩猟者なら、キツネは採集者である。
テトロックは、キツネのほうがハリネズミより予測する能力に秀でていることに気づいた。
P.59

向き、不向きと言うのはあるんだと思う。
この話は別にキツネ礼賛な訳じゃない。得意不得意の話。
ハリネズミは逆に現象を一般化し、理論を生み出す力に秀でている。
組織にはどちらのタイプも必要。

「キツネは、ハリネズミが集まっておこなうようなことを、自らの頭のなかでやってしまう」。
テトロックはそう話してくれた。
つまり、キッネというのは、コンセンサスにいたるプロセスを自ら実行する能力を持っているのだ。
専門家に訊かずに、自分自身に問いかける。１つの情報にとらわれすぎることなく、いくつもの情報

に目配りする。いろいろな考えを持つ人々の集団なら自然におこなうことだ
P.73

これはコンサルの人とかもよく言う思考法のひとつ。
一人脳内ディベートをして思考を深くしていくやり方。
こういう思考法に関しては先日読んだ「瀧本哲史／武器としての決断思考」が
わかりやすくまとめてくれていた。

自分の意見を自分で否定し、色々な想定をしてブラッシュアップしていく。
なぜそこまでやるのか。それは客観的であることがとても難しいことだから。

本書では、「客観的」と「主観的」という言葉を注意して使っている。客観的という言葉は定量的と

いう意味で使われることがあるが、実際には違う。客観的とは、個人のバイアスを超えて、問題の真

実を見ることを言う。客観的であることは理想だが、いつも客観的でいることは難しい。
P.79

自分の思考が何を前提としていて、何に囚われているのかを
自分でしっかりと認識することはとても難しいこと。
だから、自分で自分とディベートしながら思考の落とし穴を潰していくことが大切。

予測の品質を決める3つの定義

1993年、オレゴン州立大学の気象学者だったアラン・マーフィーは論文のなかで、予測の品質を決め

る３つの定義について述べた。どれも気象予報の業界では一般的なものである。マーフィーが意図し

たのは定義に優劣をつけることではなく、忌憚ない議論を展開することだった。これらの定義は、予

測がおこなわれる分野ならどこでも当てはまるものである。マーフィーは予測を評価する１つの方法

－おそらく一番わかりやすい方法－として「品質」をあげているが、「正確性（acuracy）」と言っ

たほうがいいだろう。つまり、実際の天候は予測通りだったのかということだ。
2つ目としてマーフィーは「一貫性」（consistency）をあげるが、私はそれは「正直さ（honesty）

」のことだと思う。たとえ予測が当たったとしても、それはそのときの予報官にとってベストの予報

だったか。予報者の最良の判断を反映していたか、それとも公表する前に何らかの修正が加えられた

のか、という点だ。
最後は予測の「経済的価値（economic value）」だ。予測が官民両方でよりよい決断の助けになった

かどうか、である。
P.142-P.143

正確性と正直さと経済的価値。
経済的価値ってのは重要。
分析や集計でよくあることだけど、やたらと数字知りたがる人とか、
もう少し考えた方が良い。
それを知ってどうするの？ということ。
それがわかると何かが変わるの？
そういうことを何も意識しないで数字ばかり欲しがる人はとても危険。
往々にしてそういう輩には数字が万能だと思い込んでる人が多く、
自分は客観的かつロジカルだと勘違いしている。

西洋の地震にまつわるイメージ

へぇ～って思ったのでメモ。

ハリケーンは天から降ってくるものであり、神の摂理にたとえられることもあるのに対して、地震は

地の底からもたらされるものであり、神の怒り、無関心、あるいは非存在のあらわれとされることが

多い（1755年のリスボン地震は、伝統的なカトリック教会の権威を揺さぶり、のちに啓蒙思想や近代

科学が発展するきっかけとなった）。
P.160

過剰適合

実務ではよくあるタイプの話。

これが過剰適合である。
そしてこれが間違った予測につながる。
過剰適合という名前は、統計モデルが過去の観察結果に適合することに由来する。適合度が低すぎる

場合（適合不足）は、シグナルをまったく把握できない。適合が高すぎる場合（過剰適合）は、基礎

となる構造を解明せずに、データのなかのノイズに適合してしまう。
後者の過ちは実際によく見られるものだ。
P.180

テストの結果、説明力の強そうなモデルが作れても、
それは予測に使うテストデータ（学習用データ）に過剰適合しているだけってやつ。
この辺は要注意。

頻度主義は理論面でも実践面でも客観的であるとは言えない。それどころか、数多くの前提に頼って

いる。多くの場合、測定の根本にある不確実性は、釣鐘曲線か正規分布の形をとるとしている。たい

ていはそれで足りるが、株式市場のように複雑な変動を見せるケースでは、そのような前提ではうま

くいかない。また、頻度主義ではサンプル集団を決める必要がある。選挙の世論調査のようなケース

ではわかりやすいが、実際には難しいことが多い。どんな“サンプル集団”を使えば、9.11という結

論が出てくるというのだろうか。
研究者のバイアスが入らない完璧な統計手続きを追求する頻度主義のさらなる問題は、その研究者が

現実の世界から完全に切り離されてしまうことだ。このアプローチにしたがう研究者は、内在する文

脈や自分の仮説の妥当性をあまり検討しなくなる。ペイズの理論で事前確率として求められる部分だ

。こうして、私たちはヒキガエルが地震を予知したとか、大型小売店舗が人種差別集団を生み出した

といったようなことを真剣に論じる文章を読まされることになる。
いずれも頻度主義の検定では。統計的に有意々な-しかし明らかにばかばかしい-結果とされたもので

ある。
P.277

チェスの話

このカスパロフの一手には、前例の少ないパターンに持ち込むという狙いもあった。まだカスパロフ

が3手、ディープーブルーが2手しか動かしていないにもかかわらず、この状態（図表9-2に示した）

は、ディープーブルーのデータベース上にある数十万というゲームのなかで、たった1回しかないパ

ターンだった。
P.296

前例が無いパターンに持ち込めば予想できなくなるはず。
先のアウト・オブ・サンプルの状態に持っていってしまうと言うやり方。
この話を読んだとき、カスパロフって凄い頭いいなと思いました・・・。

コンピュータに向いていること

コンピュータはとにかく計算が速い。しかも誠実だ。疲れ知らずで、感情的にもならないし、途中で

分析方法を変えたりもしない。
しかし、だからといってコンピュータが完璧な予測をするということにはならない。
人間より正確に予測ができるかどうかもわからない。GIGO（garabge in. garbage out.＝ゴミを入れ

ればゴミしか出てこない）という単語がこの問題を要約している。お粗末なデータをコンピュータに

入力したり、意味のない指示を入れたところで、いい結果は出ない。わらを紡いでも金にならないの

と同じである。また、コンピュータは戦略を練ったり、世界がどう動くかについての理論を構築する

といった、創造性や想像力を必要とする夕スクを得意としない。
P.316

創造性や想像力を必要とする夕スクはあくまでも自分の頭で考えること。
コンピュータが完璧な答えを用意してくれるわけじゃない。
当たり前のことなんだけど、自分がデータと格闘している最中に
こういった当たり前のことをしっかりできるかが成否を分けるんだろうな。

シグナル&ノイズ 天才データアナリストの「予測学」

シグナル&ノイズ 天才データアナリストの「予測学」