LayerNorm

スポンサーリンク
AI関連

Duplicate article: ゼロから作るLLM Part4: GPT-2の実装

「transformers の中身、結局よく分かってないな…」とモヤモヤしたこと、ありませんか?モデルは呼べる。Fine-tune もなんとなくできる。でも「中で何が起きてるか説明して」と言われた瞬間に手が止まる——あの感じです。そんなとこ...
AI関連

LayerNorm vs BatchNorm 解説記事

「なんでTransformerは全部LayerNormなんだよ、BatchNormで統一してくれよ…」そう心の中でツッコんだこと、ありませんか?😇画像モデルばかり触ってきたエンジニアがNLPやLLMのコードを開くと、だいたいこうなります。#...
スポンサーリンク