clew

気になるモノ 気になる人 気になる言葉

*

トレーニングデータから作る予測モデルの評価関数は役に立たないか?

   

トト予想においてはモデル評価関数は必ずしも当てにならない。

これね、予測対象がどういう性質を持っているのかでだいぶ変わると思います。

トト予測でいうと、予測モデル評価指数はまったく役に立ちません。

トレーニングデータにおいて 「良くあてはまること」 と、「未知の結果を計算すること」 はまったく別モノです。

いろいろ計算して比較したんですが、評価指数が非常に良いモデルというのはそれほど苦労しなくても作ることはできる。ただ現実の出力結果というのはびっくりするほど良いわけではない。むしろ悪いときさえあります。

求めているのは未知の結果をまえもって知ること。別に機械学習の予測精度、分類精度の高さを極めることではないです。

具体的にいうと、ディープラーニングで作られた予測モデルというのは、評価関数の値はものすごくいい。だけど現実にはあまり正確な予測はできないです。これはモデルが悪いとかデータがまずいという意味ではなくて、ただ単に 「現実に合っていない、マッチしていない」 ということ。

現実に合うという観点からみると、ナイーブベイズの方が全然いいです。ただし予測モデルの評価指数はとても悪く見える。なぜかは分からないけど、モデルとしてはまったく良くないにもかかわらず、実際の出力結果は現実とよくマッチしているように見える。

知識や理解が足りないから上手く説明できないけれども、識別能力というのはディープラーニングがダントツに優れている。だけど知りえたデータから 「この場合はどうなるか?」 といった予測能力、あるいは推理能力というのはナイーブベイズの方が向いてるような気がする。

こういうのはどう説明したらいいのか分からない。

アナロジー 類推 ?

数学音痴なので数式など難しいことは置いておきます。ナイーブベイズというのは言葉で考えるなら類推というのが近いような気がします。

人間が過去データの統計をパッと見て、瞬時に判断するアレです。この働きを機械がやってるような感じ。出力結果をあらためて見た印象というのは 「すごく人間的判断に近い」 全く同じではないけれども、なんとなく空気読んでるというか、まあ支持率なんかに近い判断のものもあったりして妙な感じを受ける。

トンチンカンな結果になるときもありますけど、案外いけるんじゃないかなぁ。

 - トト予想