0

ロスファンクションとしてベルヌーイの交差エントロピーを使いたいと思っています。

1つ目の引数は真の確率です。そしてもう1つがソフトマックスを使ったラベルに対応する予測の確率です。この交差エントロピーを図りたいといった状況です

実際ドキュメントに次のようにあるのですが、
http://docs.chainer.org/en/stable/reference/generated/chainer.functions.bernoulli_nll.html

これはシグモイド関数を使っています、ぼくはソフトマックスが使いたいといった状況なのでこちらは使えません。また
http://docs.chainer.org/en/stable/reference/generated/chainer.functions.softmax_cross_entropy.html
についてもこれはラベルを使って計算していますが、ぼくは確率そのものを扱いたいので使えません。

よろしくお願いします

6
  • この問題に関して、1年ほど前に実装の提案が為されましたが (Sigmoid) Cross entropy loss with probabilistic target distributions、反応がないままに失効(stale)しています。
    – user39889
    Commented 2018年8月5日 0:17
  • ありがとうございます。もし仮に作ろうと思うとどういった作業をする必要がありますか?、かなりのプログラミングスキルが必要ですか?
    – user28277
    Commented 2018年8月5日 0:18
  • おそらく、プログラミングスキルはそれほど必要はなく、Japanese Student さんが欲している結果を出力する具体的な計算式を導出する必要があるかと思います。したがって、この方面の研究者の方に尋ねられた方がよろしいのではないかと思う次第です。
    – user39889
    Commented 2018年8月5日 0:34
  • 1
    この方面の研究者、がいないのでそれは無理なんですが、ひとまず作れるのであれば自分で作りたいと思っています。具体的がわかりませんが計算式はあります。ソフトマックスで計算させた確率と真の確率の交差エントロピーをlossとして出力したいです。しかし、ぼくがみている限りドキュメントにあるlossでないと.backward()ができない?ようなのでどうすればいいんだ、、といった状況です
    – user28277
    Commented 2018年8月5日 0:38
  • 先のコメントで言及した gihub で実装の提案した方であれば Japanese Student さんの質問に答える事ができるかと思います。名前から察するに、おそらく日本人で、文面を読むと研究者なのではないかと。
    – user39889
    Commented 2018年8月5日 0:49

1 件の回答 1

1
from chainer import functions as F

crossEntropy = - F.sum(t * F.log_softmax(y))

もし確率分布の距離を最小化したいのであればKL-divergenceを使ったほうがいいと思うよ.ぜひ貴方のメンターと相談してみてください.

entropy = - F.sum(t[t.data.nonzero()] * F.log(t[t.data.nonzero()]))
klDivergence = (crossEntropy - entropy) / y.shape[0]

追記:
なんでdonw voteされてるのかわからないのですが,まだ質問者がいるようなので,メモを残しておきます.
「確率分布の距離」は対象となる確率分布の確からしさによって正当な計量が変わります.

「ラベルが既知」という普通のクラス分類課題では,正解ラベルの分布(one-hot vector)は「真の確率分布」であると言えます.対して,推定したラベルの分布は「確かではない分布」であるといえます.このような場合,推定分布の真の分布に対するKL-divergenceを求めることが適切です.

KL-divergenceを求めるコードは上に記されているので,ご参考に.

一方で,「推定されたふたつの分布を近づけたい」ようなときには,KL-divergenceを用いることはできません.そもそも,KL-divergenceは分布A→分布Bの「違い」と分布B→分布Aの「違い」が異なる計量なので,このような事態には不向きです.

多くの場合,このようなときには,地球移動距離(Earth-mover divergence: Wasserstein divergence)を用いることが一般的です.コードは「Chainer」「WGAN」あたりでググると出てくると思います.

参照リンク

この質問に回答するには、ログインする必要があります。