Strata と Strata-Lite で Qwen3.8 Flash Next と Gemma4 を動かしてみた

Page content

ローカルで LLM を動かしていると、常に付きまとうのが VRAM 容量の壁と推論速度（トークン生成速度: tps）の兼ね合いです。

特に最近のモデルは賢くなっている反面、パラメータ数が大きくなるとコンシューマ向け GPU の VRAM に載せるだけでも一苦労ですし、載ったとしても推論速度が遅くて実用に耐えない、ということがよくあります。

そんな中、比較的限られた VRAM 容量でも大型モデルを高速に動かせるエンジンとして登場したのが Strata です。

今回は、手元の RTX 5070Ti 環境で Strata、そしてその fork である Strata-Lite を使い、Qwen3.8 Flash Next や Gemma4 26B A4B を実際に動かして検証してみた話です。

Strata と Qwen3.8 Flash Next (125B)

まずは本家である Strata から試してみました。

Strata は、Qwen3.8 Flash Next (125B) という巨大なモデルを、わずか 12GB の VRAM で動かすことができるという、ローカル LLM ユーザーにとっては非常にありがたい LLM エンジンです。

125B クラスのモデルといえば、通常であれば量子化を施したとしても、まともに動かすには数十 GB 以上の VRAM や複数枚の GPU が必要になるのがこれまでの常識でした。それが 12GB という、一般的なミドルハイクラスの GPU に収まるだけでも驚きです。

手元の RTX 5070Ti での実測

実際に手元の RTX 5070Ti（16GB VRAM 搭載）で Qwen3.8 Flash Next を動かしてみたところ、驚くべきことに 100 tps 前後 の性能が出ました。

16GB 程度の VRAM 消費に抑えつつ 100 tps というのは、ローカルで動かしているとは思えないほどの凄まじい実効性能です。 プロンプトを投げた瞬間にスラスラとテキストが流れてくる感覚は、 高価なクラウドよりもローカルの方が高速に動作しているようで感動すら覚えます。

Qwen 系の日本語の癖

この実行速度自体には大満足だったのですが、実際に使ってみると別の問題が気になりました。

悲しいかな、Qwen 系はパラメータ数がこれだけ大きくても、日本語がやや不自由という欠点があります。

もちろん、技術的な解説文や論文の要約のような「お堅い文章」であれば、問題なくこなしてくれるのかもしれません。 しかし、ちょっとした日常会話や口語表現、ニュアンスを含んだ自然なやり取りをさせようとすると、 どうしても不自然さが目立ち、個人的にはともかく苦手に感じてしまいます。

実際、Qwen3.8 Flash Next については「一般的なチャットボット用途というよりは、コーディングエージェント向きのモデルだ」という話も耳にします。

プログラミングのコード生成やリファクタリング、構文解析やツールの呼び出しといった用途であれば、自然言語の口語表現の巧拙はそこまで大きな問題にはなりません。 そうしたコーディング用途に絞って使うのであれば、この 100 tps という生成速度は強い見方になってくれるはずです。

ただし、コーディングエージェントは 100 tps でも力不足に感じてしまうでしょう。

日本語を重視したい: Gemma4 への期待

やはり普段使いのローカルモデルとしては、日本語が流暢に通じるモデルを手元で快適に動かしたいところです。

個人的に、現在のオープンソース（OSS）モデルの中で日本語の表現力に最も強みを感じているのが Gemma4 です。 文脈の理解力も高く、日本語特有の言い回しや口語表現も自然に返してくれます。

そこで、「Strata のような少ない VRAM で高速に動かすアイデアを、Gemma4 にも適用した LLM エンジンはないだろうか？」と考えて調べてみることにしました。

Strata-Lite の発見

調べてみた結果、見つけたのが Strata-Lite というプロジェクトでした。

Strata-Lite はその名前が示す通り、Strata の fork（派生）プロジェクトです。

興味深いことに、このプロジェクトは「ほぼ Claude Code によって開発された OSS」とのことでした。 最近は AI コーディングアシスタントを活用して OSS を高速に開発・フォークする動きが活発ですが、 まさにその典型例と言えます。

リポジトリの状況と安全性チェック

リポジトリを確認した時点でのスター数は、わずか「2」でした。

これだけ見ると「大丈夫か？」と思ってしまうかもしれませんが、 そもそもリリースされてから 2 日しか経っていないプロジェクトなので、 スター数が少ないのもある意味仕方がないと言えるでしょう。出来立てホヤホヤのプロジェクトです。

とはいえ、リリースされたばかりで実績の少ないリポジトリのコードをそのままローカル環境で動かすのは、 セキュリティ的にも少々不安があります。

そこで、コードの中身を Claude Code に読み込ませて解析・レビューを行なわせました。 怪しいネットワーク通信や不審な処理が含まれていないかを確認したところ、 「特に問題となるような不審な処理は見当たらない」という結果だったので、 実際に手元で動かしてみることにしました。

Gemma4 26B A4B を Strata-Lite で動かしてみた結果

実際に手元の RTX 5070Ti 環境で、Strata-Lite を使って Gemma4 26B A4B を動かしてみました。

その結果ですが、こちらも 100 tps 越え という素晴らしい実行性能を叩き出してくれました。

Qwen3.8 Flash Next の時と同様、手元の環境で 100 tps を超える速度で 日本語がサクサク生成されていくのは非常に爽快です。 Gemma4 の自然な日本語力と、この圧倒的な生成速度が合わさることで、 ローカル LLM の実用性が一気に引き上がった印象を受けます。

llama.cpp との性能比較

この 100 tps 超えという数値がどれほど凄いのかを確認するために、 オリジナルの llama.cpp と比較してみました。

執筆時点での llama.cpp のバージョン v0.6.0 を使い、 同じ Gemma4 26B A4B を手元の環境で動かしてみたところ、推論速度は 50 tps 前後 でした。

つまり、Strata-Lite は llama.cpp v0.6.0 と比較して 約 2 倍 の推論速度を達成していることになります。

50 tps でも十分に実用的ですが、 それが一気に倍の 100 tps 超えになるというのは、体感としても明らかにレスポンスのキレが違います。

なお、 lm studio の最新版 0.4.26 では、 30 tps 強です。 これは、 lm studio が使用している llama.cpp のバージョンが少し古くなるためです。

今後の展望: llama.cpp への取り込み

これだけ高速化されるのであれば、いずれ llama.cpp 本家にも同様の最適化手法が取り込まれるのではないか、と気になるところです。

そこで Claude に「今後 llama.cpp に Strata-Lite のような高速化対応が入る予定はあるのか？」と尋ねてみました。

すると、どうやら「すでにその一部のアイデアや最適化処理は llama.cpp 側にも取り込まれ始めている」とのことでした。

ただし、現在リリースされているバージョン v0.6.0 ではまだ有効になっておらず、使うことはできません。

もちろん、プレリリース版の最新バージョンを利用すれば、最新の機能を利用できます。

とはいえ、おそらく数週間もすれば正式なリリース版に取り込まれて使えるようになっているだろうと思われます。

まとめ

手元で検証してみた結果をまとめると、以下のようになります。

  • Strata は 125B クラスの Qwen3.8 Flash Next を 16GB VRAM で動かし、 RTX 5070Ti で約 100 tps という驚異的な速度を出す。
  • ただし Qwen は日本語の口語表現が苦手な印象があるため、 文章生成よりもコーディングエージェント等の用途に向いている。
  • 日本語に強い Gemma4 26B A4B を動かすために Strata-Lite を試したところ、こちらも 100 tps 超えを達成。
  • llama.cpp v0.6.0（約 50 tps）と比較して約 2 倍の実行性能が出ている。
  • 将来的には llama.cpp にも同様の仕組みが取り込まれる見込みだが、 それまでの「繋ぎ」として使うには、Strata-Lite は十分に価値のあるツールと言える。

手元の限られた VRAM 環境でも、 工夫次第で 100 tps を超える速度で実用的なモデルが動かせるようになってきているのは、 ローカル LLM ユーザーとして非常に嬉しい進化です。

本家 llama.cpp への完全な統合を待ちつつ、 それまでは Strata-Lite を活用して快適なローカル LLM 環境を楽しんでみようと思います。