当社が用いる偽音声生成ツールの構成
偽音声検出(FVD)の学習・評価に用いる当社の偽音声生成ツールの構成を、国際的な偽音声検出の評価チャレンジ「ASVspoof 5」の攻撃システム一覧(Table 2)の比較形式に準じて示します。研究用途と商用(有償サービス・製品)用途で、基盤とする音声合成モデルを使い分けています。あわせて、日本語の発音・アクセントに強い第三者のオープンソース音声合成ツールも、データ作成に用いています。
| 比較項目 | TTS-NNW 基盤:XTTS v2 |
TTS-VS 基盤:XTTS v2 |
CosyVoice 3版 基盤:Fun-CosyVoice3 |
Style-Bert-VITS2 第三者のオープンソースツール |
|---|---|---|---|---|
| 用途 | 研究・論文 非商用に限定 |
研究・論文 非商用に限定 |
有償の鑑定・解析サービス 商用版の音声合成 商用利用可 |
FVD用データの作成 (研究・鑑定) 当社製品ではありません |
| 種別Category | ゼロショットTTS (音声クローン) |
ゼロショットTTS (複数音声による話者適応) |
ゼロショットTTS (音声クローン) |
話者ごとのファインチューニング型TTS (VITS系エンドツーエンド) |
| テキストエンコーダText encoder | Transformer(GPT-2型) 入力:日本語テキストを正規化 → ローマ字化 → BPEトークン |
TTS-NNWと同じ 入力:数字のかな読み変換 → ローマ字化 → BPEトークン |
Transformer言語モデル(約0.5B) 入力:日本語テキストを正規化 → OpenJTalkで発音どおりのカタカナに変換 → テキストトークン |
Transformer(音素+アクセントの高低) +日本語BERT(DeBERTa-v2)による文脈特徴 入力:日本語テキスト → OpenJTalkで音素・アクセントに変換 |
| 音響デコーダAcoustic decoder | 自己回帰Transformer(GPT-2型)で離散音声トークン(21.5 Hz)を予測 ※音素長は明示的に予測しない |
TTS-NNWと同じ | 自己回帰言語モデルで離散音声トークン(25 Hz)を予測 → flow matching(DiT)でメルスペクトログラムを生成 | VITS構成:確率的継続長予測器で音素長を予測 → 正規化フローで潜在表現を生成 +スタイルベクトル(話し方・感情の調整) |
| 話者エンコーダSpeaker encoder | H/ASP(ResNet系、512次元) +Perceiver(話し方の条件付け) |
H/ASP(複数音声の平均) +Perceiver(代表音声) |
CAM++ +参照音声の音響特徴(flow matchingに入力) |
なし(ゼロショット非対応) 対象話者の音声で事前学習モデルを再学習し、話者IDで指定 |
| ボコーダVocoder | HiFi-GAN (潜在表現から直接波形を生成) |
TTS-NNWと同じ | HiFT(NSF+iSTFT型) 位相をiSTFTで明示的に扱う |
HiFi-GAN型デコーダ (潜在表現から直接波形を生成、44.1 kHz) |
| 基盤モデルReference | XTTS v2 | XTTS v2 | Fun-CosyVoice3 | Bert-VITS2 JP-Extra (Style-Bert-VITS2) |
| FVD用データの作り方Dataset design | 実音声1本ごとに、同じ話者・同じ文章の偽音声を1本生成(パラレル構成) | 話者の音声とは別の、任意の文章で偽音声を生成(非パラレル構成) | 実音声1本ごとに、同じ話者・同じ文章の偽音声を1本生成(パラレル構成) | 話者ごとに、その話者の実音声でモデルを再学習し、同じ文章の偽音声を生成(パラレル構成) |
TTS-NNW・TTS-VSは、非商用ライセンス(Coqui Public Model License)の音声合成モデルXTTS v2を基盤とするため、研究・論文の用途に限定して使用しています。有償の鑑定・解析サービスと、音声合成ソフトウェアの商用版は、Apache-2.0ライセンスで公開されているFun-CosyVoice3を基盤とするCosyVoice 3版で提供しています。TTS-NNW・TTS-VS・CosyVoice 3版は、数秒〜十数秒の参照音声から声を再現する方式で、対象話者の音声によるモデルの再学習は行いません。Style-Bert-VITS2は、対象話者の音声でモデルを再学習(ファインチューニング)する方式で、学習に用いる音声の話者本人の同意を得たうえで使用しています。Style-Bert-VITS2は、litagin02氏らが開発し、GNU AGPL v3.0で公開している第三者のソフトウェアで、当社の製品ではありません。いずれのツールも任意の文章を合成できます。「FVD用データの作り方」の列は、検出器の学習・評価用データを作る際の使い方を示したものです。
比較形式の出典:X. Wang et al., “ASVspoof 5: Design, Collection and Validation of Resources for Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech,” arXiv:2502.08857, 2025(Table 2)。構成の出典:E. Casanova et al., “XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model,” Interspeech, 2024;Z. Du et al., “CosyVoice 3: Towards In-the-wild Speech Generation,” arXiv:2505.17589, 2025;Style-Bert-VITS2(litagin02, https://github.com/litagin02/Style-Bert-VITS2)。
