Up

ChatGPT 探求 第2部 ｢Transformer 脳｣

作成: 2025-05-16 更新: 2025-11-09

---

『ChatGPT 探求』＞

生命｜

脳 |

能力｜

自己｜

思想｜

研究型 |

漂泊型

導入 　　 　0.1　本論考について 　0.2　結論から：Transformer とは何か 　探求方法・コンセプト 　1.1　｢野生の思考」との対峙 　1.2　コンセプト 　　1.2.1　｢テクストの軌道｣ 　　1.2.2　自己参照・再帰 　　1.2.3　大数・複雑・冗長 　　1.2.4　知識の生成 　　"Training" 前 　　 　2.1インストール 　　2.1.1　｢埋め込み (embedding)」 　　2.1.2　トークン ID (固定) 　　2.1.3　トークベクトル (ランダム初期設定) 　　2.1.4　位置エンコーディング (固定) 　　2.1.5　重み行列 W_Q, W_K, W_V (ランダム初期設定) 　　2.1.6　重み行列 W_Ｏ (ランダム初期設定) 　2.2学習テクスト　 　　2.2.1　学習データセット 　　2.2.2　入力テクストの長さ制限 　　"Training" 　3.1　入力層──学習テクストの入力 　3.2　レイヤー構造の繰り返し処理 　3.3　順伝播 　　3.3.1　Self-Attention 　　　・Self-Attention がしていること 　　　・通説の「Query･Key･Value」解釈 　　　・Multi-Head Attention 　　3.3.2　FFN (FeedForward Network) 　　3.3.3　LayerNorm (Layer Normalization) 　　3.3.4　[ p_1, ‥‥, p_m ] の導出 　3.4　逆伝播 　　3.4.1　処理の流れ 　　3.4.2　誤差 (得失) 　　3.4.3　誤差逆伝播 　 ｢学習｣ 　4.1　用語 ｢学習」はミスリーディング 　4.2　Transformer は ｢教師あり学習｣ ではない 　4.3　知識の記憶 　　4.3.1　記憶する 　　4.3.2　忘れる・忘れない 　　4.3.3　｢記憶｣ の存在論 　　"Training" の終了 　5.1　"Training" の終了 (切り上げ) 　　ChatGPT 　6.1　ChatGPT : 体を得た Transformer 脳 　6.2　RLHF 　6.3　ユーザの入力に応答 　　6.3.1　応答テクストの生成 　　6.3.2　入力テクスト依存の様相 　　6.3.3　入力テクストの軌道の惰性 → 応答生成 　　6.3.4　HTML の応答