Up "Training" 作成: 2025-08-04
更新: 2025-11-23

    Transformer 脳の "Training" は，｢入力テクストをなぞる｣ である。
    Transformer は，処理レイアｰの数だけ，テクストを頭の中で繰り返す格好になる。
    これは，人間がテクストを記憶しようとして何度も繰り返して口に出すのと，同じである。

    実際，Transformer は "Training" の中で知識を記憶していく。
    ChatGPT がこのことの実証である。


    Transformer 脳の更新は，パラメータ値の更新である。
    パラメータは，＜想起＝テクスト生成＞の機構である。
    パラメータは，そこに記憶をさがすようなものではない。

    ChatGPT に搭載の Transformer 脳は，固定脳である。
    更新できないので，新しい情報の記憶はできない。


    ChatGPT のテクスト生成は，ユーザの入力が頼み。
    想起は，先行するテクストがこれのトリガーだからである。

    ひとは，何かの名前を忘れたとき，頭の音を「あ, い, う,‥‥」と探っていくと，名前が出てくることがある。
    名前の想起は文字列の生成なので，文字列生成のシミュレーションがうまくいったというわけ。