Up 忘れる・忘れない 作成: 2025-10-20
更新: 2025-11-09

    記憶した「円周率 3.14」は，その後ずっと使わないでいると，生成されなくなる。
    即ち，「忘れる」。
    こうなるのは，脳は更新されるものだからである。

    Transformer 脳の "Training" は，テクストを入力してこれをなぞらせるというものである。
    「なぞる」の内容は，パラメータの調節。

    入力テクストＡをなぞるように調節したパラメータは，つぎの入力テクストＢをなぞることにはならない。
    そしてＢをなぞるようにパラメータを調節すると，そのかわり，Ａをなぞらなくなる。
    これは，Ａを「忘れる」ということである。


    しかし，入力テクストごとに調節を繰り返したパラメータ値は，厖大な数のテクストをこなしていくうちに，固定していく。
    これは，「一度憶えたことは忘れない」を意味する。
    以降は，テクストをこなせばこなすだけ，知識が増えることになる。

    こうして Transformer は，厖大な知識をもつものになる。
    ChatGPT がこのことの実証である。