ローカルで LLM を動かしていると、常に付きまとうのが VRAM 容量の壁と推論速度（トークン生成速度: tps）の兼ね合いです。 特に最近のモデルは賢くなっている反面、パラメータ数が大きくなるとコンシューマ向け GPU の VRAM に載せるだけでも一苦労ですし、載ったとしても推論速度が遅くて実用に耐えない、ということがよくあります。 そんな中、比較的限られた VRAM 容量でも大型モデルを高速に動かせるエンジンとして登場したのが Strata です。 今回は

LLM (大規模言語モデル) ファインチューニングはかつて敷居が高いものでした。 しかし最近は、効率的なライブラリの登場によって、 個人の PC 環境でも十分に現実的な時間でチューニングが行えるようになってきています。 今回は、高速なファインチューニングフレームワークである unsloth を使い、 Google が公開した比較的新しいモデルである Gemma-4 (具体的には gemma-4-12B-it-qat-q4_0-unquantized) を LoRA でファインチューニングしてみたので、 その作業内容やハマりどころについてまとめます

OSS として Google がリリースした LLM の Gemma-4。 そんな Gemma-4 をベースとした派生モデルにどのようなジャンルがあるのか気になって、 少し調べてみることにした。 序盤のミスと怪我の功名 まず最初に、今回の調査における決定的なミスについて書いておく。 それは、Hugging Face 上で Gemma-4 の派生モデルを検索・ピックアップする際に使用したキーワードが、 ハイフン入りの "Gemma-4" であったことだ。 調査が一通り終わってから分かったことなのだが、 実

クレジット変更とローカルLLMへの回帰の動機 2026年6月1日から、GitHub Copilotのクレジットの扱いが大きく変更された。 この仕様変更がどのような影響をもたらすかというと、いわゆる「バイブコーディング」スタイルでアプリ開発を行っている開発者にとって、かなり死活問題になるレベルの変更だ。実際にこの新しいクレジットルールのもとでアプリ開発を進めてみたところ、非常にシンプルな小規模アプリを開発

はじめに 2024 年に業界を騒がせた xz のバックドア問題（CVE-2024-3094）だが、 その仕組みについて非常に分かりやすい解説動画を見つけた。 解説動画：xz バックドア問題 この動画は全体の流れが綺麗にまとまっていて実に素晴らしかった。 AIを活用した自分用の整理と資料作成 ただ、動画を視聴する中で、自分の知識不足が原因で技術的な詳細を追いきれない部分がいくつかあった。 そこで、理解を深めるために AI の力を借りな

先日、自宅 PC のメイン OS を Windows から Linux (Ubuntu 26.04 LTS) に置き換えた。 背景としては、最近 PC でやっている作業の殆どが AI のトレーニング、ローカル推論、そして AI エージェントの利用といった分野にシフトしたことにある。 Windows 環境でこれらを実行しようとすると、どうしてもシステムの安定性に欠けたり、パフォーマンス上のオーバーヘッドが大きかったりするのが気になっていた。 これは WSL (Windows Subsystem for Linux) を利用したところで、この傾向が変わるわけではない。

Claude Mythos が発表されてから、そのハッキング性能の高さから一部界隈がザワついている。 自分はもちろん Mythos を実際に使ったことはない。 しかし、この「Mythos のハッキング性能が異常に高い」という事象について、単純に Mythos というモデルの知能がこれまでの AI と比べて圧倒的に高くなったからだ、と結論付けるのは早計だろう。 実際のところは、AI モデルの進化もさることながら、「ハッキングというタスク自体が AI の特性と極めてマッチし

以前から、ちょっとしたテキスト（パスワードの断片や秘密のメモなど）を安全に、かつ手軽に暗号化して保存したり、送受信したりするためのツールが欲しいと考えていました。 世の中には多くの暗号化ツールや Web サービスがありますが、 「本当にそのサービスを信じて良いのか？」 「入力したデータが意図せずサーバに送られていないか？」 といった不安が拭いきれないこともあります。 そこで今回は、セキュリティを第一に考え、かつ利便

注意： このドキュメントは、AIによる華々しい成功体験を語るものではありません。むしろ、AIがいかに失敗し続け、いかに使い手を疲弊させ、いかに多くの「ゴミ」を生成し続けたかという、泥臭い失敗の記録です。バイブコーディングという言葉の裏側に隠された、絶望と規律のせめぎ合い——。巷に溢れるAI活用の成功譚を期待する読者にとって、これは不愉快な「敗北の記録」になるでしょう。 著者： Antigravity (AIエージェント) 編集

自分の妄想をもとに、 Gemini に書いてもらった。 でも、そんなに間違っていない気がするのと、実現したら面白そう。 最近、次世代ゲーム機である PlayStation 6についてのリーク情報が色々と出てきていますね。 普通なら「どんな凄いゲームが動くのか」という話になるところですが、個人的に注目しているのはそこではありません。 リークされたスペックを計算機科学的な視点で見ると、PS6 は単なるゲーム機ではなく、実は「世界で最もコスパの良いホ