Hugging Face に登録されている Gemma-4 派生モデルの調査と、そこから見えたもの

Page content

OSS として Google がリリースした LLM の Gemma-4。 そんな Gemma-4 をベースとした派生モデルにどのようなジャンルがあるのか気になって、 少し調べてみることにした。

序盤のミスと怪我の功名

まず最初に、今回の調査における決定的なミスについて書いておく。 それは、Hugging Face 上で Gemma-4 の派生モデルを検索・ピックアップする際に使用したキーワードが、 ハイフン入りの "Gemma-4" であったことだ。

調査が一通り終わってから分かったことなのだが、 実は本来使うべきだった正しいキーワードはハイフンなしの "Gemma4" だった。

実際、Hugging Face における登録件数を比較してみると、その差は歴然だ。

  • "Gemma4" で登録されているモデル：約 6500 件
  • "Gemma-4" で登録されているモデル：約 900 件

圧倒的に "Gemma4" の方が多い。 そもそもオリジナルの Google 自身がキーワードとして "gemma4" を使っているため、 コミュニティのモデルもそれに追随するのが主流なのは当然と言える。 ハイフンを入れたばかりに、全体の 7 分の 1 程度しかカバーできない微妙な調査になってしまったわけだ。

ただ、言い訳のようではあるが、どちらのキーワードで検索しても、 登録されている派生モデルの系統やカテゴリの割合自体はそこまで大きく変わらないのではないかと思う。 そのため、全体の傾向を掴むための参考程度として読んでいただければ幸いである。

また、本音を言えば、 個人で稼働させているローカル環境で 6500 件ものモデル情報を処理するのは正気の沙汰ではない。 900 件の処理でも時間がかかったので、ある意味で間違えておいて良かった、怪我の功名だったとも言える。

調査のアプローチとローカル LLM の活用

今回の調査では、各モデルの README.md に記載されている内容のみを確認対象とした。 実際にモデルをダウンロードしてローカルで動かし、 その挙動を一つずつ評価したわけではない（さすがに 900 モデルも動かしていたら時間が足りない）。

具体的には、以下の項目に焦点を当てて調査を行った。

  • 単なる量子化（GGUF版やEXL2版など）モデルかどうか？
  • ファインチューニング（追加学習）が施されているモデルかどうか？
  • ファインチューニングされている場合、どのような用途や目的をターゲットにしているか？

約 900 件もの README.md を人間が手作業で読み込んで分類するのは現実的ではないため、 この解析・まとめの処理自体にも LLM を使用した。

使用したモデルは、ローカル環境で動作させた Gemma-4-12B (Reasoning) である。

なぜわざわざローカル LLM を使ったのかというと、セキュリティやアカウント保護の観点からだ。 Hugging Face に登録されている有象無象のモデルの README.md には、時として奇妙な記述や極端な表現、 あるいは検閲に引っかかるような NSFW（Not Safe For Work）系のテキストが含まれている可能性がある。 そのようなテキストを API 経由で大手のクラウドサービス（OpenAI や Anthropic など）に 大量に投げつけると、コンテンツポリシー違反と判定されてアカウントを BAN（凍結）される危険性がある。 そんな理由で開発アカウントを失うのは絶対に嫌だったので、 クローズドなローカル環境で処理することにした。

ローカルで Gemma-4-12B を使ったため、 商用クラウドの巨大モデルと比べれば精度面でチョットあやしい分類や見落としもあるかもしれないが、 そこはご容赦いただきたい。 また、約 900 件の解析とはいえ、 ローカルの 12B クラスの推論速度で全件処理を回すのは想像以上に時間がかかった。 ローカル LLM の限界と付き合うのは、やはりそれなりの忍耐が必要である。

派生モデルの 10 大カテゴリ分類

Gemma-4-12B (Reasoning) を用いて約 900 件の README.md を解析し、 登録されている派生モデルをその方向性ごとに分類したところ、 大まかに以下の 10 のカテゴリに分けることができた。

  • ハードウェア最適化および量子化技術

    • VRAM 効率の向上や、Apple Silicon（Mac）での動作最適化、 GGUF や NVFP4、EXL2 といった軽量化・圧縮技術を用いたモデル群。
    • 一般ユーザーがローカルでモデルを動かすための必須技術であり、登録数も非常に多い。

  • 高度な推論能力・思考プロセス

    • Chain-of-Thought（思考の連鎖）プロンプトへの最適化、 数学的な問題解決、科学的推論、複雑なロジックパズルの解法などに特化したモデル群。
    • 推論特化型モデルの台頭に伴い、近年特に注目が集まっている。

  • プログラミング・ソフトウェア開発

    • 特定のプログラミング言語（Python、Go、Rust など）や、 コーディングアシスタント、DevOps 関連のドキュメント生成、技術タスクへの最適化が行われたモデル。
    • 開発者の日常ツールとしての実用性が重視されている。

  • 専門ドメイン知識

    • 医療、法務、財務、生物学、化学といった、一般的な LLM では ハルシネーションが起きやすい専門分野の学術データや規制文書を学習させたモデル群。

  • 検閲解除・非検閲モデル

    • いわゆる "Uncensored" モデルや、"Abliteration"（アブリテレーション）と呼ばれる手法によって、 モデルが本来持っている「安全性のための回答拒否反応」を取り除いたもの。
    • 自由な自己表現や制限のないプロンプト応答を目的に開発されている。

  • マルチモーダル処理

    • テキストだけでなく、画像認識、音声認識（ASR）、 あるいは視覚言語モデル（VLM）としての機能などを統合・最適化し、 複数のモダリティを処理できるようにマージまたは追加学習されたモデル。

  • 自律型エージェント・ツール利用

    • Function Calling（外部ツールの呼び出し）の精度向上や、タスク管理、 MTP（Multi-Turn Planning）、自動化ワークフローにおける実行能力を強化したモデル。
    • エージェント開発において非常に重要なカテゴリである。

  • 多言語対応・翻訳・文化的背景

    • 英語以外の特定言語（日本語、中国語、韓国語、欧州諸国など）への言語適応を強化したり、 文化的ニュアンスやジョークを理解しやすいように追加コーパスでファインチューニングされたモデル。

  • 研究開発・特殊アーキテクチャ

    • SAE（Sparse Autoencoders）による内部表現の解析や、 複数のモデルを組み合わせるマージ技術、知識蒸留、 実験的なモデル構造の検証を目的としたアカデミック寄りのモデル。

  • ロールプレイ・創造的執筆・物語作成

    • NSFW な表現や、キャラクター性の模倣、ファンタジー小説の執筆、 ERP（Erotic RolePlay）などに特化したファインチューニングモデル。

所感と今後の展望

LLM のファインチューニングについて深く調べたのは今回が初めだ。

実際に調べてみると、思っていた以上にユニークで面白そうな派生モデルが転がっており、 コミュニティの熱量の高さを感じることができた。 画像生成AIのときは「自分で LoRA を作ってみよう」とは特に思わなかったのだが、 LLM のファインチューニングは工夫次第で面白いことができそうで、 少し自分でもやってみようかという興味が湧いてきた。

とはいえ、実際に LoRA などを使ってファインチューニングを行うとなると、 学習に必要な計算資源と時間は膨大なものになる。 個人が所有するローカルのコンシューマー向け GPU では、比較的小さな LLM であっても、 学習を終わらせるのはかなり厳しいのが現実だ。

結局のところ、「楽しそうだな」と思いつつも、ハードウェアの壁を考えると 「まぁ、結局は自分でやるのは厳しいし、やらない気がするな」というのが今の率直な気持ちである。 コミュニティの優秀な開発者たちが公開してくれる派生モデルを有難く使わせてもらうのが、 現実的で賢い選択肢かもしれない。