Up 誤差 (得失) 作成: 2025-06-03
更新: 2025-06-20

    [ o_i ] から導いた [ p_i ] は，一般に [ x_i ] を指さない。

    [ x_i ] を指すとは，つぎのこと：
    　・i < LEN(S) に対し，p_i は ID_(i+1) 番目の値が「ほぼ１」
    　・p_LEN(S) は, ＜EOS＞のトークンID 番目の値が「ほぼ１」

    one-hot で [ x_i ] を指す [ p_i ] を， [ true_i ] で表す。
    ── one-hot とは，｢要素が１つだけ１で他は０｣。


    ここからは，いまの [ p_i ] を [ true_i ] に近づける行程に入る。
    方法は, TV と W の調整：
    　　　TVとWの調整 → [ o_i ] → [ p_i ]

    true_i は，p_i の 「正解ラベル」の位置づけになる。
    この正解ラベル true_i に対する p_i の「誤差」を，先ず表現する。

    これは，「クロスエントロピー損失関数（Cross-Entropy Loss）」を使って，つぎのように定義する：
    　　　loss_i = cross_entropy ( p_i, true_i ) )
    　　　　　＝ - log( p_i (true_i)^T )
    （この定義の形は，理論上絶対であるわけではない。）

    Python コード
      loss_i = CrossEntropy( o_i, true_i )