Up 「記憶する」 作成: 2025-10-20
更新: 2025-11-09


    Transformer 脳の "Training" は,テクストを入力してこれをなぞらせるというものである。
    Transformer は,処理レイアーの数だけ,テクストを頭の中で繰り返す格好になる。
    これは,人間がテクストを記憶しようとして何度も繰り返して口に出すのと,同じである。

    実際,Transformer は "Training" の中で知識を記憶していく。
    ChatGPT がこのことの実証である。