ZeRO

「GPUメモリが足りないから、モデルを泣く泣く小さくした」「分散学習の sharding 地獄に数週間持っていかれた」 ……そんな経験、ありませんか？ 正直、ここ2〜3年のAIインフラって「計算よりメモリがボトルネック」なんですよね。計算性...