Qwen3 Series and Related Evaluations

「RAGの精度を上げたいのに、
・埋め込みはベンダーA
・LLMはベンダーB
・リランカーは謎のSaaS C
みたいな“寄せ集めスタック”に疲れてませんか？🤯

「検索はそこそこ当たるけど、微妙に噛み合わない」「日本語だけ精度が落ちる」「マルチモーダルやりたいけど構成がカオスになる」——このあたりに心当たりがあるなら、Qwen3シリーズは完全に“要チェック案件”です。

---

一言でいうと：Qwen3 は「RAG界の Elasticsearch + Kibana」っぽい

一言で言うと、Qwen3シリーズは RAG界の Elasticsearch + Kibana です。

• LLM（小〜大、マルチモーダル）
• 埋め込みモデル
• リランカーモデル（テキスト & マルチモーダル）
• しかも全部、日本語もちゃんと強い

を ひとつのファミリーで 揃えてきた。
以前は「埋め込みはbge-m3で、リランカーは別のOSSで、LLMはGemma3かLlama…」みたいな寄せ集めを頑張ってつなぐしかなかったのが、Qwen3だと 最初から“全部入りRAGスタック” が前提になっている。

Elasticsearch が「ログ検索の一連の流れ（インデックス＋検索＋可視化）」をまとめてくれたおかげで、SIerのダッシュボード工事が劇的にラクになったのと感覚が近いです。
Qwen3 は「RAGの埋め込み〜リランク〜生成」を同じ流儀でまとめてくれている。

---

何がそんなに“新しい”のか：モデル単体じゃなく「シリーズ設計」が本体

小型モデルが「日本語ローカル用の本命」になりつつある

Zenn の小型LLM日本語ランキングを眺めていて一番インパクトがあったのはここです：

「このモデルは次元が違うね。これに勝てるのは、6倍から8倍も大きいモデルだけだよ。」

ぶっちゃけ、この手の褒め言葉はコミュニティだと盛りがちなことも多いんですが、
Qwen3-1.8B / 4B クラスが 日本語タスクで Gemma3 と普通に殴り合っている のは数字上も確認できる。

• 要約・QA・指示追従：日本語で Gemma3 小型と互角〜優位
• しかも、量子化（Q4_0 など）前提だとローカルでも“爆速”クラス

正直、「小型モデルならとりあえず Gemma か TinyLlama 入れておけばいいでしょ？」というデフォルト思考は、
日本語に関してはもう通用しない と感じています。

特に日本市場向けで：

• Mac / コンシューマGPU に載せたい
• でも変な敬語や不自然な日本語はイヤ
• コンテキストそこそこでサクサク応答してほしい

という現実的な条件だと、
「まずQwen3小型を試す」が 2026年時点の合理的な選択肢 になってきている。

埋め込み & リランカーが「最初から一枚岩」

ここが Qwen3 シリーズの一番ヤバいところだと思っています。

• Qwen3-Embedding-xxx：多言語（日本語含む）向けの専用埋め込み
• Qwen3-Reranker-xxx：テキスト専用とマルチモーダル両方
• そして LLM 本体も同じデータ分布を共有

これによって何が嬉しいかというと：

• 埋め込みとリランカーと LLM の “世界観のズレ”が減る
• 「埋め込み的には近いのに、LLM的には全然関係ない話を返してくる」問題が減る
• ベクトル空間と最終応答のチューニングを シリーズ内で完結 させやすい
• 日本語特有の言い回し・敬語・同義語も 同じ流儀で扱われる

これまでだと、
- bge 系埋め込み
- 別ベンダーの rerank API
- さらに別の LLM

みたいな構成になりがちで、「なんか英語は強いけど日本語混じると怪しい…」という“RAGあるある”が多かった。
Qwen3 はそこを 最初からシリーズ設計で潰しに来ている 印象です。

マルチモーダル RAG が“変態構成”じゃなくて済むようになった

今までマルチモーダルRAGをやろうとすると：

• テキスト埋め込みモデル
• 画像埋め込みモデル（CLIP など）
• それぞれのベクトルを late fusion とかでゴニョゴニョ
• 最後に LLM で再解釈

……という、アーキ図がカンファレンス映えはするものの、
運用する側としては「こんなん保守したくない」構成になりがちでした。

Qwen3 のマルチモーダル・リランカーは、

• 入力：テキスト ＋ 画像
• 出力：関連度スコア

を 一つのモデルでやってくれる。
つまり、

1. 埋め込みは基本テキストで素直にベクトル検索
2. 上位候補だけ画像付きでマルチモーダル・リランカーに投げる

という、現実的に運用しやすい構成がとれる。
EC検索やマニュアル＋図版の検索など、日本のプロダクトでありがちな要件にはかなりハマるはずです。

---

とはいえ：Gemma3 や TinyLlama はもう要らないの？比較して見えてくる「立ち位置」

Qwen3 vs Gemma3：日本語ローカル開発では、かなり分が悪くなってきた

Google Gemma3 は間違いなく優秀で、
- 英語中心のタスク
- Vertex AI / GCP との統合
- 既に Gemma 生態系を使っている

ならまだまだ十分“正解”足り得ます。

ただ、今回の Zenn の日本語ランキングとコミュニティの声を合わせて見ると：

• 日本語の自然さ・敬語・ニュアンス
• Qwen3 小型が 明確に良い場面が目立つ
• モデルラインナップの「RAG前提感」
• Qwen3：埋め込み＋リランカー＋マルチモーダルがパッケージ
• Gemma3：LLM 本体はあるが、RAGスタックは別ベンダー前提になりがち

という差がはっきりしてきた。

日本語中心のローカルアプリなら、
「Gemma3 を第一候補にする」理由はかなり薄くなっている のが正直なところです。

逆に、社内が GCP で固まっていて外に出づらい場合は、Gemma3 継続利用の合理性はまだあります。

TinyLlama など汎用小型LLM勢は、正直かなり厳しい

TinyLlama 系や古い Qwen2 系小型モデルは、

• 英語タスク中心
• 日本語は「動くけど、まぁこんなもんだよね」レベル

という“昔の常識”の延長で存在している感じです。

Qwen3 小型が：

• 日本語で Gemma3 と殴り合える
• コーディングや数学系でも「小さいのに結構イケる」と評価されている
• コミュニティでも「6〜8倍大きいモデルじゃないと勝てない」という声が出る

レベルまで来ると、
「とりあえず TinyLlama で遊んでみるか」は、研究・趣味用途以外ではだんだん意味が薄くなる と思っています。

---

コミュニティの温度感：モデルは熱狂、Mac は阿鼻叫喚

面白いのは、Reddit（r/LocalLLaMA）や各所を見ていると、
モデルそのものへの評価はかなり熱狂的 なのに、
Mac サポート周りはかなりストレスが溜まっている というギャップです。

• 「このモデルは次元が違う」
• 「4Bとは思えない性能、どうやってるんだ…？」

という一方で：

「今のところ、Macで動くMLXやGGUFモデルはリリースされてなくて、LM Studioとかllama.cppでも動かなかった」

みたいな悲鳴も多い。

つまり現状は、

• Linux + GPU 勢：Qwen3 最高！もっと寄越せ！🚀
• Mac 勢：これ絶対いいの分かってるのに、ちゃんと動かせねえ…😇

という状態。
この“フォーマット・ツールチェーンの遅れ”は、採用のボトルネックとしてかなりリアルです。

---

「思考モード」と distillation：小型モデルの裏側にある“設計思想”

論文ベースの話も少しだけ。
Qwen3 が単に「データ盛りました」モデルではないのが好感ポイントです。

統合された「思考モード」と「非思考モード」

• ChatGPT 系でいう「普通のチャット」と「Chain-of-Thought推論」
• QwQ-32B みたいな“推論特化モデル”

本来は別モデルにしがちなこの2つを、Qwen3 は ひとつのフレームワーク内でモード切り替え できるようにしています。

• ユーザーのプロンプトやテンプレートから
• 「サクッと答えるモード」
• 「じっくり考えるモード」
  を自動・半自動で使い分けられる。

さらに「思考予算」という概念で、

• どこまで深く考えさせるか
• トークン数とレイテンシをどうトレードオフするか

を制御できるようにしている。
これは エンタープライズ向けのSLO設計と非常に相性がいい です。

Strong-to-Weak Distillation：小型モデルを「ちゃんと賢く」している

小型モデルが強いのは、単に「縮小版」だからではなく、

• フラッグシップ（235B MoEなど）から小型モデルへの 体系的な蒸留
• しかも GPU コストを10分の1くらいに抑える訓練パイプライン

を組んでいるから。
単に「フルモデルで学んだことを雑に引き継いでいる」のではなく、

• CoT を含む“思考の仕方”まで蒸留
• Pass@1 だけでなく Pass@64 まで含めた「探索能力」も維持

という、かなりガチめの設計をやっている。

ぶっちゃけ、「4B なのに想像以上に解ける」感は、この辺の真面目なエンジニアリングの成果だと思っています。

---

ただ、懸念点もあります…🤔

モデル動物園が広すぎて、普通のチームにはつらい

• 0.5B / 1.8B / 4B / 7B / 14B / 32B…
• Embedding 512 / 768 / 1024…
• Reranker テキスト版 / マルチモーダル版…

選択肢が多いのはオタク的には嬉しいんですが、
普通の開発チームにはかなりしんどい です。

• 「とりあえず 4B にしとく？」で行ったら、実は 1.8B で十分だった
• Embedding も、用途に対して過剰 or 不足
• チーム内でモデル選定方針がバラバラになりがち

正直、「Qwen3 のどれを選べばいいかガイド」が公式にもコミュニティにももっと必要だと思います。
今のままだと、ベンチマーク記事依存の選定 になりやすい。

ドメイン適合は結局「自前評価」が必須

評価記事や論文はかなりポジティブですが、
- 法務
- 医療
- メーカーの保守マニュアル
- 自社プロダクトのサポートログ

みたいな ドメイン固有のガチ案件 に持ち込むと、
どのみち自前での評価＆微調整は必要です。

• RAG のエラーを見るスクリプト
• 埋め込み・リランカー・LLMの組み合わせ比較
• 軽い LoRA / SFT の検討

このあたりの「地味な評価工事」は、Qwen3 を使おうが Gemma を使おうが どのみち避けられない。
Qwen3 がそこを魔法のように消してくれるわけではありません。

Alibaba エコシステムへの“重力”

Qwen3 自体は Apache 2.0 でオープンですが、
- Qwen の公式ツール
- Alibaba Cloud との連携
- シリーズ内で揃えたくなる心理

を含めると、組織としては Alibaba/Qwen グラビティ にかなり引き寄せられます。

• 埋め込みも Qwen
• リランカーも Qwen
• LLM も Qwen

とすると、技術的にはいつでも乗り換え可能でも、
組織的には乗り換えコストが跳ね上がる。
ここはエンタープライズ導入時にちゃんと意識しておくべきだと思います。

Mac ローカル勢には、まだストレスが多い

コミュニティの声にもある通り：

• MLX 向けビルドなし
• GGUF 変換が十分に行き渡っていない
• LM Studio / llama.cpp で素直に動かないモデルがある

という現実があり、
「とりあえず MacBook で試してみる」層にはまだ敷居が高い のは否めません。

Linux + GPU サーバー前提なら問題はかなり小さいですが、
ローカルLLM文化が強い日本だと、このギャップは結構大きいです。

---

じゃあ、プロダクションで使うか？正直まだ様子見？僕の結論

僕ならこう使う（2026年・日本語プロダクト前提）

日本語中心のRAGプロダクトを新規に作るなら、現時点での僕の“デフォルト案”はこうです：

• 埋め込み：Qwen3-Embedding-768 相当
• ベクトル長・精度のバランスが良さそうな中庸サイズ
• リランカー：
• テキスト中心なら Qwen3-Reranker-Base
• 商品画像 / 図版ガチなら マルチモーダル版
• 生成LLM：
• サーバー側：Qwen3-4B-Instruct or 7B-Instruct
• ローカル / Edge：Qwen3-1.8B-Instruct の量子化（Ollama / llama.cpp 系）

でスタートしつつ、

• まずは Qwen3 スタックで通し
• その後、Gemma3 や他モデルを A/B 試験ベースで差し込んで比較

という形にします。

「プロダクション即採用か？」という問いへの本音

• PoC / 社内ツールレベル
  → 迷わず Qwen3 試していい。特に日本語RAGとコーディング用途はかなり有望。

• 本番クリティカルなサービス（法務・医療・金融系など）
  → 正直、まだ様子見しつつ部分採用 が現実的かな、という感覚です。

• 評価基盤をちゃんと作る
• 既存スタック（例えば OpenAI + bge + rerank）と並走させて比較
• 数ヶ月単位で運用データを見てから全面移行を判断する

Qwen3 は “すぐ飛びついて全部置き換える” タイプではなく、
「まずは Qwen3 だけで一枚岩スタックを組んでみて、
そこから他ベンダーとの差分を見るための“基準点”になるモデルファミリー」
として捉えるのが一番健全だと思っています。

---

まとめ：Qwen3 は「日本語RAGの新しい基準値」になりうる

• 小型でも日本語が強く、ローカルでも現実的に回る
• 埋め込み〜リランカー〜マルチモーダルまで シリーズで統一
• 思考モード統合と蒸留で、小型モデルも“それなりじゃなくてガチで強い”
• ただしモデル選定の複雑さ・Macサポート・エコシステム重力という懸念もある

正直、
「日本語でまともなRAGやるなら、まず Qwen3 スタックを一度は試さないと話にならない」
というレベルまで来ていると感じています。

Gemma3 や既存スタックを完全に捨てる必要は全くありませんが、
これからの数ヶ月〜1年は、

• Qwen3 を基準に他モデルを相対評価する
• 特に日本語とマルチモーダルRAGの“新しい当たり前”を探る

そんなフェーズになるのかな、というのがベテランエンジニアとしての今の肌感です。

「とりあえず bge + 適当LLM + 適当Rerank」で組んでいた RAG、
そろそろ “Qwen3一本でどこまで行けるか” を試してみる価値はかなり高い と思います。