HPO機密日誌

自己をならふといふは、自己をわするるなり。

AIの前提となる統計学とは?

AI技術者が足りないらしい。

www.nikkei.com

すごく、不思議でしょうがないのがこれだけ、AI、AIと言われるのに統計学の基礎の基礎が社会で徹底されていないこと。過ぎたことだが、ブラック=ショールズのオプション価格の式が正規分布を前提としていることがおかしいと誰も思わなかったから、リーマンショックは起こったといっても過言でないだろう。

ふと気になったのだが、いまの大学では統計学はきちんと教えられているのだろうか?ブラックショルズが実際のオプション価格にあてはまらないとか、教育現場における偏差値の誤用とか、結構統計をめぐる混乱は多い。すべての統計値を出す場合にまず母集団の分布を検証することがあたりまえだと思うのだが。

統計学と分布 - HPO機密日誌

ブラック=ショールズが正規分布を仮定して金融市場を分析し始めるはるか前から、金融市場はべき分布だと知られていた。

金融市場ではマンデルブロが60年代から提唱していたように、明日どれだけ極端なことがおこるか分からない。

「コール!」 - HPO機密日誌

となると、AIの技術者達は統計学の常識は当然持ち合わせていらっしゃるのだろうか?AIが学習してくれるとしても、学習するデータがどのような母集団なのか、分布はどうなっているのか?

まがりなりにも統計学を学んだ者として、ビッグデータに違和感を覚え続けてきた。ランダムサンプリングができれば、母集団(ビッグデータ)すべての要素を処理することは必要ないと。母集団の正規分布が保証されていれば、標本抽出のみをランダムに行えばいいと。

Big Data + AI x Deep Learning = The Future of Google - HPO機密日誌

タレブの言う1001日目の七面鳥が存在する確率、リスクは計算されているのだろうか?

「アンチフラジャイル(抗脆弱性)は、ブラック・スワンへの対抗策です。まずはブラック・スワンについて話をしたいと思います。ほとんどありえない事象、誰も予想しなかった事象、それがブラック・スワンです。ブラック・スワンの話をする時に七面鳥の話をよく例にします」と言って、七面鳥に起こった1,001日目の悲劇を例にブラック・スワンを説明。1,000日間大切に育てられた七面鳥は、それが未来永劫続くと信じて疑わずに1,001日目に絞められてしまいます。

特別講演:Hitachi Social Innovation Forum 2016 TOKYO

どうもAIのパワーに圧倒されていて、AI処理に潜むリスクの算定が疎かになっている気がしてならない。

hpo.hatenablog.com