近年の言語モデルは、入力された文章に基づいて次の単語を予測する技術が発展し続けています。
特に、大規模言語モデル（LLM）は、与えられた文章から続く言葉を生成する能力において、関心を集めています。ただし、生成されたテキストが元のモデルから来たものであるかどうかを証明するために、水印技術が用いられることがあります。
本研究では、新しい水印技術である「SynthID-Text」を紹介し、これがテキスト生成過程にどのように組み込まれるかを明らかにしています。
「SynthID-Text」は、ランダムシード発生器とサンプリングアルゴリズム、スコアリング機能の3つの要素から成り、統合することで、生成されたテキストに独自の識別マークを埋め込むことができます。
さらに、競技型サンプリングと呼ばれる方法を用いて、水印機能に高いスコアを付ける単語を選択します。
これにより、水印が埋め込まれたテキストは、その水印機能との相関性に基づくスコアが高くなる傾向があるため、元のLLMから生成されたテキストである証を提供します。
この技術は、テキストのクオリティを維持しながら、効率的な計算コストで実現可能であり、実際のシステムへの適用に応じて、柔軟に構成変更することができます。
「SynthID-Text」は、生成されるテキストの品質が損なわれず、かつ高い検出可能性を持つため、次世代のテキスト生成技術において非常に有望なものです。
出典 : Scalable watermarking for identifying large language model outputs https://www.nature.com/articles/s41586-024-08025-4