清華大学のAI研究チームとZhipu AIの共同研究者が、これまでAIが出力できる文章の長さに新たな可能性を見出しました。彼らが開発した「LongWriter」という革新的な大規模言語モデルは、最大10,000語の文書生成を可能にします。一般的に、大規模言語モデル（LLM）は完全な本や論文のような非常に長い答えを生成する能力に限界があり、約2,000語が限界だとされていました。
研究者たちは、それは全て短い文書でトレーニングされているためと指摘し、長文の文書を使ってトレーニングすれば、もっと長い文書を生成することが可能であることを発見しました。この革新的なアイディアをテストするため、研究チームは9兆パラメータを持つLLMを従来のデータセットでトレーニング。その結果、彼らの研究論文は学術先行公開サーバーarXivに掲載され、世界にその成果を発信しました。
出典 : New LongWriter AI LLM generates texts up to 10,000 words long https://interestingengineering.com/innovation/ai-llm-long-text-generation
