事前学習済み TTS を流用して、笑い声や息づかいも通るボイスチェンジャーを作ってみた話
Page content
半年ほど前、既存の TTS (Text-to-Speech) を流用してボイスチェンジャー (VC) のようなものが作れないかと試したことがあるのだが、その時は見事に玉砕した。 しかし最近になって、別の日本語の事前学習済み TTS をベースに再挑戦してみたところ、驚くほどスムーズに実用レベルの VC を作ることができた。
初めに結論と前提をいくつか書いておくと、 本記事は手法・実験・評価の知見の共有のみを目的としている。 なりすまし等の悪用リスクを考慮し、作成した VC ツール自体 (コード、学習済み重み、Web UI、変換音声のダウンロード等) は公開しない。 また、特定につながる情報を避けるため、ベースにした TTS やコーデックの名称、バージョン、パラメータ数、さらに半年前に玉砕した別の TTS の名称についても伏せて、一般化した表現で記載する。登場する話者についても「男性 A」「高い声の女性 B」のように匿名化して扱う。
それでも、 「テキストから音声を作るモデルを、どうやって音声から音声を作るモデルに作り変えたか」「どこでハマり、どの手法が効いて、どの手法が全く効かなかったか」 という試行錯誤と実測データの記録は、同じ領域を調べる人にとって参考になる部分があるはずだ。
たぶん、ある程度の知識がある人が読めばすぐに再現できると思うので、 そう遠くない日に似たような VC が公開されると思う。
なお、実際の変換結果については、以下の技術デモ動画にまとめている。
コンセプトと全体像: なぜ「TTS の流用」なのか
今回ベースにしたのは、日本語の事前学習済み TTS である。アーキテクチャとしては、テキストを条件に DiT (Diffusion Transformer) + Rectified Flow で VAE 系音声コーデックの latent を生成する、ワンショット音声クローン対応のモデルだ。
これを VC に作り変えるための基本的な発想はシンプルで、 「テキストの代わりに入力音声から内容と話し方を取る」 だけである。 具体的には、元の TTS の DiT に対して「入力音声のフレーム単位の内容条件」を足し込む構造を追加する。これだけで、既存の学習ループや部品の大半をそのまま流用できた。
このアプローチには、実用上かなり大きなメリットが 3 つある。
- 書き起こし不要の自己教師学習ができる 学習時にやることは、「自分の発話の声色を意図的に撹乱 (かくらん) した音声を入力し、元の自分の発話を復元する」だけである。 TTS の学習で一番重くて面倒なのは音声データの書き起こし点検だが、この方式ならそれが要らない。長い録音データも自動で切り出して、集めた音声をそのまま学習データとして投入できる。
- 言葉にならない音 (非言語音) が時間軸のまま通る 笑い声、息づかい、泣き声といった非言語音は、テキストベースの TTS だと特殊トークン等で位置を指定する必要があり、タイミングやニュアンスを合わせるのが難しい。フレーム単位で内容条件を渡す VC なら、時間軸を保ったままそうした音が自然に通る。
- ワンショット再現と「話者 LoRA」の二段構え ベースがワンショット音声クローン TTS なので、VC でも変換先の参照音声を 1 本渡すだけで声色を再現できる。RVC のように話者ごとにモデルを一から作る方式とはここが大きく違う。 その上で、ワンショットだけでは声色の再現度が足りないケースに対しては、推論時に変換先の声で 10 秒程度だけ追加学習する「話者 LoRA」 を用意した。「まずワンショットで試し、足りなければ 10 秒の追加学習で追い込む」という二段構えである。
重要なのは、 DiT 本体・話者エンコーダ・音声コーデックといった重い部品はすべて凍結し、TTS 本体のコードにも手を入れていない という点である。追加で学習するのは ContentAdapter と DiT の LoRA 部分だけだ。
学習不要のベースラインで分かった限界
本命の学習に入る前に、「そもそも学習なしで、元の TTS の仕組みをそのまま使って VC はできないのか?」という基準 (ベースライン) を確認しておいた。
試したのは、以下の 3 つのアプローチである。
- カスケード VC (ASR → TTS) 入力音声を ASR (音声認識) でテキストに起こし、そのテキストと変換先の参照音声を元の TTS に渡す方法だ。「テキストを経由すると何が失われるか」を測る物差しになる。 結果は分かりやすく、声色はしっかり変わるものの、 元の発話の抑揚 (F0 相関 0.19〜0.36 程度) と非言語音 (相関 -0.03 付近) がほぼ消えてしまう。 発話の長さも変わってしまうため、元の演技や間合いを残したい用途には向かない。
- SDEdit 方式 (audio2audio)
変換元の音声をコーデックで latent に変換し、途中までノイズを混ぜてから DiT で再生成する方法だ。
しかし、これには 「ちょうど良いノイズ量 (t0)」が存在しなかった。
t0 <0.75= 程度では元の声色がほとんど変わらず (t0 = 0.6で変換元との類似度が 0.921)、=t0 = 0.9= までノイズを増やすと急に声色は変わるが、今度は抑揚が消えてしまう。おそらくこのモデルでは、声色が生成の初期 (ノイズが多い段階) で決まってしまっているのだろう。 また、テキスト条件で学習された TTS は、テキストなしでは言葉を保てないことも分かった (テキストなしのt0 = 0.6では文字誤り率 CER が 0.59 まで悪化)。 - ODE inversion 変換元の latent からノイズを逆算 (逆積分) し、変換先の声色条件で生成し直す手法も検証した。 これも結果は芳しくなく、最後まで全部 inversion すると実質ただのテキスト読み上げになってしまい (抑揚の相関が 0.49 → 0.16 に低下)、途中までの inversion では SDEdit と同様に声色と抑揚のどちらか一方しか取れない。 なお、CFG (Classifier-Free Guidance) ありで逆積分すると、ランダムノイズから生成したのと同じくらい元の音声から離れてしまう (画像の拡散モデルで null-text inversion が必要になるのと同じ問題である)。さらに VC 学習後のモデルで inversion を試しても通常の VC とほぼ同じ結果になった。内容条件によって変換元の構造をすでに受け取っているため、出発点のノイズに構造を持たせても上乗せがないのだ。
つまり、 「声色を変える」ことと「抑揚・タイミング・非言語音を残す」ことは、学習なしの手法では両立しない という結論になった。これで迷いなく「内容条件を追加学習する」方向へ舵を切ることができた。
本命: ContentAdapter による VC 化と「声色の漏れ」との戦い
ContentAdapter の仕組み
学習の核となるのが、入力音声から内容を取り出して DiT に渡す ContentAdapter だ。
- 入力音声に対し、 ピッチ・フォルマント・EQ の 3 種類で声質を撹乱 する。
- 撹乱した音声を WavLM に通し、 層 6 / 9 / 12 の特徴量を重み付きで足し合わせる 。
- ContentAdapter 内で幅 256 に次元を絞ってから DiT の幅に戻し、DiT の入力射影の出力にフレームごとに加算する。
ここで効いている工夫がいくつかある。 まず、ContentAdapter の 最後の線形層をゼロ初期化 している (ControlNet と同じ発想)。これにより、学習開始直後は加算値がゼロになるため、元の TTS と全く同じ動作から安全に学習を始められる。 次に時間軸の整合性だが、幸いなことに WavLM の特徴と音声コーデックの latent は フレームレートが近い ため、長さ合わせは線形補間でわずかな端数を調整するだけで済んだ。
学習対象は ContentAdapter と DiT の LoRA (ランク r = 16) のみなので非常に軽く、 VRAM 8 GB の環境でも 1 回の学習が 7 分ほどで完了する。
なお、学習時に変換先の声色として渡す参照音声には「同じ話者の別の発話」を使うようにした。同じ発話を渡すと、入力の声色をそのまま丸写しする近道をモデルが覚えてしまうからだ。
最初の結果と「声色の漏れ」
こうして学習した最初のモデルを試してみると、声色・抑揚・非言語音の乗り方はかなり良かった。 しかし、肝心の 音韻 (言葉) が崩れてしまった。 文字誤り率 (CER) は 0.67 。リズムやイントネーションは合っているのに、何を言っているのか聞き取れないという、ある意味で面白い現象が起きた。
さらに厄介だったのが、入力音声の「声色の漏れ」である。 ピッチ・フォルマント・EQ でかなり強めに声質を撹乱したつもりだったのだが、調べてみると 撹乱後の WavLM 特徴からでも話者を 93% 当てられてしまう ことが分かった (撹乱なしでは 94%)。WavLM 特徴に話者情報がしぶとく残っているのだ。
この漏れを抑えるために、別人の声に変えた入力で学習する方法、k-means による離散化、ASR エンコーダ特徴の利用、話者敵対学習 (GRL) などを比較検討した。
ちなみに失敗談として、スタイル学習の経路で GRL を使ったところ、特徴ベクトル z が一定値に潰れてしまって使い物にならなくなる事象も経験した。
特に顕著だったのが 「女性から男性 (低い声) への変換」 で、元の高い声色のニュアンスが残ってしまい、ワンショットでの目標話者類似度 (sim_tgt) は 0.731 に留まった (カスケード方式は 0.829)。
テキスト・内容・スタイルの統合で CER 0.48 → 0.04 へ
言葉が崩れる問題に対して、まず学習データの話者数を大きく増やしてみたところ、内容条件のみの VC でも CER は 0.67 → 0.48 まで改善した。 ただし、0.48 ではまだ実用には遠い。
そこで導入したのが、 テキストとスタイル情報のハイブリッド統合 である。
- 内容条件 : 常に与える (タイミング・抑揚・非言語音を担当)
- テキスト条件 : ASR で書き起こしたテキストを与え、 学習時は 50% の確率でドロップ する (音韻を担当)
- スタイル条件 : 自作の StyleEncoder を元の TTS のスタイル条件の経路に入れ、 学習時は 30% の確率でドロップ する (内容条件とは別の乱数で撹乱した音声を使い、丸写しを防ぐ)
要するに、 「言葉 (音韻) は元の TTS が得意なテキスト経路に任せ、タイミング・抑揚・非言語音は内容条件に任せる」 という明確な役割分担である。 この構成にしたことで、CER は 0.48 から 0.04 まで劇的に改善した。数字の上では、これが一番大きく効いた改善ポイントだ。
textauto と意外な罠
推論時には textauto という小さな工夫を入れている。 言葉を含む書き起こしがある区間ではテキスト条件を使い、笑い声や息づかいなど「言葉を含まない非言語音のみの区間」ではテキストを使わずに内容条件だけに任せる仕組みだ。こうしないと、非言語音がテキスト側の解釈に引っ張られて消えやすくなる。
なお、学習時の挙動で一つ意外な発見があった。 「テキストを 50% の確率で落として学習したモデル」を、推論時にテキストなしで使ってみると、 最初から内容条件のみで学習したモデルよりも精度が悪化する のである。学習中にテキストという分かりやすいヒントがあると、内容条件側から音韻を読み取る学習が進みにくくなるためだと考えられる。
データ配合とモデル規模の見送り判断
学習データの構成については、感情や非言語音が豊富な「表現用」と、声質のバリエーションを増やす「多様性用」の 2 グループに分け、混ぜる割合を制御している。
地味だが重要な「評価設計」と、指標の落とし穴
実験を正しく前に進めるには、感覚だけでなく定量的な評価の仕組みが欠かせない。ここでは、今回組んだ評価設計と、実際にハマった指標の罠について整理しておく。
5 つの評価軸と指標の自作
評価は以下の 5 つの軸で行い、一般的な VC の評価項目と対応づけた。
| 一般的な評価項目 | 本研究での指標 | 測り方 |
|---|---|---|
| 話者類似度 (SECS) | sim_tgt ↑ / sim_src ↓ |
WavLM-SV の話者埋め込みのコサイン類似度 (変換先の発話最大 8 本、および変換元と比較) |
| 明瞭性 (CER / WER) | cer ↓ |
Whisper large-v3-turbo の書き起こしと変換元の書き起こしの文字誤り率 |
| 韻律の保持 (F0 相関) | f0_corr ↑ |
話者ごとに正規化した対数 F0 の相関 (長さが違えば DTW で対応づけ) |
| (独自) 非言語音の保持 | nv_corr ↑ / nv_recall ↑ |
AST の非言語音クラス確率を 1 秒窓で比較 |
| 長さ・タイミング | dur_ratio |
変換後 / 変換元の長さの比 |
これに加えて、最終的な判断には必ず 試聴 を入れている。
注目してほしいのは、非言語音の保持を直接測る nv_corr / nv_recall を自作した点だ。Audio Spectrogram Transformer (AST) が出力する非言語音クラスの確率を 1 秒窓で比較するもので、少数のサンプルであってもカスケード方式とフレーム単位 VC の差がくっきりと数値に表れた。
評価セット (v2) は、変換元 3 区分 (くだけた普通のセリフ / 非言語音中心 / 感情コーパス) × 変換先 3 区分 (学習済み / 未学習・低い声 / 未学習・高い声) の組み合わせで、 120 組 (変換元 30 本 × 変換先 4 人) × 2 シード = 240 件 を用意し、95% 信頼区間の目安も算出するようにした。 なお、本当に「見たことのない声 (未学習)」として評価するには、発話単位ではなく 話者単位でのデータ分割 が必須である。発話単位で分割すると、同じ話者の別の発話が学習に混ざってしまい、未学習の精度が過大評価されてしまう。
指標をそのまま信じてはいけない理由
評価を回していく中で、数値の扱いに関する重要な落とし穴が 3 つ見つかった。
- GPU の揺らぎで
f0_corrが ±0.11 動く 全く同じ条件・入力で 2 回変換しただけでも、GPU 演算の微妙な揺らぎによってf0_corrが ±0.11 ほど変動する。つまり、±0.1 程度の差を見て「良くなった・悪くなった」と判断するのは危険だ。 - 話者類似度は「言葉が崩れた出力」ほど高く出る これが一番厄介な罠である。何を言っているか分からない意味のない発声になったときほど、WavLM-SV の話者類似度が 0.89 のように異常に高く出ることがある。したがって、話者類似度だけを単独で比較してはいけない。必ず CER を横に並べ、 「CER が同程度の方式どうし」で比較する ルールを徹底した。
- ASR の「でっち上げ」による CER 外れ値 変換に失敗した音声や無音に近い区間を Whisper に通すと、ありもしない長文をでっち上げてしまい、CER が 6 を超えるような外れ値が出ることがある。平均値がこれに引きずられるのを防ぐため、CER は 1 件ごとに 1.0 で切り詰める 処理を入れた。
なお、WavLM-SV や ASR のモデルが異なれば、他の研究論文の数値とは直接比べられない点も注意が必要だ。
実測比較: ワンショット VC の結果と「話者 LoRA」の効果
結果 1: ワンショット VC での方式比較
話者 LoRA を使わず、参照音声 1 本 (ワンショット) で変換した 240 件の平均結果は次の通りである。
| 方式 | 話者類似度 ↑ | 変換元との類似度 ↓ | CER ↓ | F0 相関 ↑ | 非言語音 相関 / 再現率 ↑ | 長さの比 |
|---|---|---|---|---|---|---|
| (参考) 変換元そのまま | 0.688 | 1.000 | 0.000 | 1.000 | 1.000 / 1.000 | 1.00 |
| カスケード (ASR → TTS) | 0.804 | 0.642 | 0.070 | 0.188 | 0.112 / 0.319 | 0.78 |
| SDEdit (t0 = 0.6) | 0.705 | 0.921 | 0.091 | 0.874 | 0.651 / 0.631 | 1.00 |
| 内容条件のみ | 0.852 | 0.726 | 0.534 | 0.551 | 0.586 / 0.637 | 1.00 |
| 本研究の VC (内容 + テキスト + スタイル, textauto) | 0.823 | 0.743 | 0.159 | 0.636 | 0.616 / 0.671 | 1.00 |
(95% 区間の目安: 話者類似度 ±0.009 / CER ±0.015 / F0 相関 ±0.024 / 非言語音相関 ±0.017)
すべての項目で 1 位になる方式はないものの、本研究の VC は 「声色を変えつつ、抑揚・非言語音・タイミングを残す」バランスが最も良い ことが分かる。 ちなみに、本研究の VC の CER を変換元の種類別に見ると、感情コーパス (読み上げ調に近い) が 0.041 、くだけた普通のセリフが 0.285 、非言語音中心が 0.364 となっており、くだけた話し方や囁き気味の発話はやや崩れやすい傾向にある。
一方で、変換先の種類別に見ると弱点もはっきりする。
| 方式 | 学習済みの声 | 未学習・低い声 | 未学習・高い声 |
|---|---|---|---|
| (参考) 変換元そのまま | 0.748 | 0.547 | 0.729 |
| カスケード | 0.796 | 0.829 | 0.796 |
| 本研究の VC | 0.869 | 0.731 | 0.847 |
学習済みの声や高い声ではカスケードを上回るが、 未学習の低い声 (女性 → 男性) では 0.731 とカスケードに負けている。
声色の再現度を上げる 6 つの手法の比較
この「低い声への弱さ」を克服するため、声色の再現度を上げる 6 つの手法を試した。先に結果を書くと、 はっきり効いたのは「話者 LoRA」だけ だった。
- 効いた: 話者 LoRA 推論時に、変換先の参照音声を使って VC モデルの LoRA だけを 100 ステップ (約 10 秒) 追加学習する手法だ。後述の通り、低い声への類似度が劇的に改善した。
- 少し効いた: 参照音声を増やす 複数の参照音声の latent をつないで話者エンコーダへ渡す方法 (最大 120 秒)。声色は少し良くなるが、参照を長くすると言葉が崩れやすくなる疑いがある。
-
効かなかった 4 つの手法
- 話者条件の K/V 倍率を上げる : 条件を強めようと倍率を 1.5 にすると、ノイズが出て音声が崩れる。
- Speaker Inversion (話者トークンの最適化) : 最適化で損失自体は下がるのに、声色の類似度は変わらない。
- latent の統計合わせ (AdaIN 方式) : 出力が元の声色のまま変化しない。
- 近傍フレームの入れ替え (kNN-VC / RVC の検索に相当) : 一部の声では改善するが、全体としてはノイズで崩れてしまう。
なぜフレーム単位の操作 (AdaIN や近傍入れ替え) が効かず、話者 LoRA が効いたのか。 考察としては、 「声色は latent の時間変化に表れる」 からだと考えられる。1 フレームごとの静的な特徴を置き換えるだけでは声色になりきらず、時間方向の文脈を扱える自己注意 (Self-Attention) の層を学習する話者 LoRA だからこそ、自然な声色の変化を捉えられたのだろう。
なお、定番の VC 手法である RVC と対応づけると、「RVC の検索 ≒ kNN」「RVC の話者ごとのデコーダ ≒ 話者 LoRA」という位置づけになる。逆に、RVC にあって本研究に無いのは明示的な F0 条件である。
結果 2: 話者 LoRA による改善
話者 LoRA の評価では、変換先の全発話を参照に使い、話者類似度は 学習に使っていない発話 で測定した。
| 条件 | 話者類似度 ↑ | 学習済み / 低い声 / 高い声 | 変換元との類似度 ↓ | CER ↓ | F0 相関 ↑ | 非言語音 相関 / 再現率 ↑ |
|---|---|---|---|---|---|---|
| (参考) 変換元そのまま | 0.684 | 0.741 / 0.555 / 0.720 | 1.000 | 0.000 | 1.000 | 1.000 / 1.000 |
| LoRA なし | 0.789 | 0.849 / 0.715 / 0.796 | 0.730 | 0.245 | 0.488 | 0.565 / 0.601 |
| 話者 LoRA 100 ステップ (既定, 約 10 秒) | 0.873 | 0.874 / 0.888 / 0.865 | 0.705 | 0.263 | 0.513 | 0.609 / 0.586 |
| 話者 LoRA 200 ステップ | 0.883 | 0.878 / 0.891 / 0.881 | 0.700 | 0.301 | 0.507 | 0.574 / 0.533 |
| 話者 LoRA 500 ステップ | 0.902 | 0.895 / 0.915 / 0.898 | 0.697 | 0.357 | 0.467 | 0.587 / 0.566 |
100 ステップ (約 10 秒) の追加学習を入れるだけで、全体の話者類似度は 0.789 → 0.873 に向上し、課題だった 低い声も 0.715 → 0.888 まで跳ね上がった。この時の CER の悪化は +0.018 と誤差範囲と同程度に収まっている。 一方で、200、500 とステップを増やすと声色はさらに近づくものの、CER が 0.357 まで悪化し、非言語音も 100 ステップが最良だった。声色と明瞭性には明確なトレードオフがあるため、既定値は 100 ステップにしている。
測定していない項目と数値の注意点
ここで、測定できていない項目やデータの前提についても正直に書いておく。
- 未測定の項目 : MOS や UTMOS などの自然性指標、MCD (同じ文を変換先が話したパラレルデータがないため計測不可)、および ABX 等の正式な主観評価 (聴取試験) は実施していない。音質は開発中の試聴での判断のみである。
- 処理速度 (RTF) : 体系的な計測はしていないが、参考値として 6.7 秒の入力を 2.4 秒で変換できた (RTF 約 0.36、40 ステップ、話者 LoRA なし)。
実験の回し方と比較動画の舞台裏
冒頭に載せた 技術デモ動画 を作成するにあたっての裏話も、あえて正直に「手作業の部分」を含めて書いておきたい。
動画全体の構成や編集の指示出しは自分で行い、組み立て自体は AI に任せた。また、簡易的な音声編集ツールも AI を使って作成した。 しかし、 実際の音声の入れ替え作業は、自分が地味に手動で実施している。
つまり、「動画ファイルをポンと入れたら、自動で VC 済みの動画が出てくる」ような魔法のツールではない。特に 複数の話者が入れ替わる場面では、話者ごとに音声を切り分けてから VC 変換をかける必要がある (話者分離や自動振り分けは実装していない)。また、変換する音声の性質によっては、テキストの使い方や話者 LoRA のステップ数、シード値といったパラメータを微調整する必要もある。
デモ動画の裏側にはこうした人手の調整がある。話者分離 (ダイアライゼーション) との連結や、パラメータの自動選択は、今後の明確な課題として残っている部分である。
まとめ
言葉の崩れやすさ (特にくだけた会話や囁き)、女性から男性のような低い声への変換の難しさ、 実際に音声を変換する際の手作業の残りなど、まだまだ課題はある。 それでも、 音質や表現の保持という点ではかなり使えるレベルに到達できた ので、今回の結果には十分満足している。
振り返ってみると、半年ほど前に別の TTS で同じようなことに挑戦して玉砕した頃と比べて、今回は驚くほどスムーズに研究が進んだ。 もちろんベースの TTS 自体の性能が進化しているのも大きいが、それ以上に 「AI コーディングエージェントと一緒に『計画 → 実装 → 評価 → 次の手』の実験ループを高速に回せたこと」 が効いていると感じる。 AI を使いこなせるかどうかで、個人で到達できる範囲や開発スピードにものすごい差が広がっていくのを、今回の実験を通じて改めて実感した。
以上。