トークン/秒

「GPU増やしたのにレイテンシが全然下がらないんだけど？😇」LLMプロダクション運用をやっていると、こういう “違和感” にぶつかったことはありませんか？A100/H100 を積み増したのに、トークン生成の体感速度があまり変わらないリクエス...