RMSNorm

「なんでTransformerは全部LayerNormなんだよ、BatchNormで統一してくれよ…」そう心の中でツッコんだこと、ありませんか？😇画像モデルばかり触ってきたエンジニアがNLPやLLMのコードを開くと、だいたいこうなります。#...