アメリカの国立研究機関では、アーカイブデータの扱いに課題を抱えていましたが、AIを活用した文書処理プラットフォームの実装により、アクセス性と検索性が劇的に向上しました。
このプラットフォームはAmazon SageMaker AI上で構築されたもので、特に名前認識(NER)や大規模言語モデル(LLMs)を統合し、メタデータの拡充や文書の分類、要約を自動化することができます。
Mixtral-8x7Bというモデルを使って要約やタイトル生成を行い、それに加えBERTベースのモデルを利用してメタデータを構造化します。
さらにコスト最適化されたサーバーレスなアーキテクチャを採用することで、リソースの効率的な利用とスケーラビリティの維持を実現しています。
このプラットフォームは、研究や政策開発、そして機関の知識保持のために、アーカイブデータを効果的に活用する手助けをしています。
高校生の皆さんも、このような革新的なAI技術がどのようにして文書分析の課題を解決しているのか、興味を持ってくれると嬉しいです。
出典 : Build an AI-powered document processing platform with open source NER model and LLM on Amazon SageMaker https://aws.amazon.com/blogs/machine-learning/build-an-ai-powered-document-processing-platform-with-open-source-ner-model-and-llm-on-amazon-sagemaker/
