Up 応答テクストの生成 作成: 2025-05-25
更新: 2025-11-06

    "Training" を終えた Transformer 脳は，テクストの入力
    　　S → T = [ t_1, ‥‥, t_m ] → X = [ x_1, ‥‥, x_m ]
    に対して出力される
    　　　P = [ p_1, ‥‥, p_m ]
    が，つぎのようになる：
    　　　p_i ( i = 1, ‥‥, m ) は, 「ほぼ one-hot」

    ChatGPT は，この p_i の生成を続けさせて，応答テクストをつくる。
    以下のように：


    p_i は「つぎのトークン」の ID を指示するので，p_i の生成はトークンの生成を導く：
    　　　[ x_1, ‥‥, x_m ] → x_m のつぎ y_1
    　　　　[ x_1, ‥‥, x_m, y_1 ] → y_1 のつぎ y_2
    　　　　　　：

    このトークン生成は，＜EOS＞ (文末を表すトークン) に至る。
    即ち，Transformer 脳の「"Training" 飽和」には，「Ｓが通常のテクスト なら，いつか＜EOS＞を出す」が含まれている。

    ChatGPT は，y_1 から＜EOS＞までのトークンを，「Ｓに対する応答」として逐次出力する。
    実際，これは「応答」のテクストになっている。
    即ち，Transformer 脳の「"Training" 飽和」には，「Ｓから導出した y_1, ‥‥, ＜EOS＞ が，Ｓに対する応答になる」が含まれている。