ONNX

スポンサーリンク
AI関連

NvidiaによるGroq買収とデータセンターテックトレンド

「GPU増やしたのにレイテンシが全然下がらないんだけど?😇」LLMプロダクション運用をやっていると、こういう “違和感” にぶつかったことはありませんか?A100/H100 を積み増したのに、トークン生成の体感速度があまり変わらないリクエス...
AI関連

SenseVoice日本語対応高速音声認識モデル紹介

「日本語の音声認識、クラウド料金か精度かどっちか諦めろって話?」そう思ってきた人、多いんじゃないでしょうか。Google / AWS に毎月それなりの額を払い続けるかWhisper を自前で回して GPU を燃やし続けるかそのどちらも嫌で「...
スポンサーリンク