近年、大規模言語モデル(LLM)は、カスタマーサポートのチャットボットから社内知識ベースに至るまでさまざまな場面で組み込まれています。しかし、ユーザーがモデルに生のプロンプトを送信し、そのままモデルの出力が返されると、セキュリティ上の大きな隙間が生じてしまいます。例えば、APIキーや秘密情報を誤ってペーストすることがあったり、モデルが実際には存在しない秘密情報を生成してしまう危険があります。
このようなセキュリティの隙間を塞ぐために、AWS Lambda上で完全に動作するセキュアなLLMゲートウェイを開発しました。GitGuardianの秘密検出エンジンを組み込むことで、ユーザーが送信したデータやモデルからの出力がセキュリティチェックを受け、機密情報が第三者のサービスやログファイルに残ることを防ぎます。
このシステムは4つの段階を経て開発され、単純なプロキシサーバーからスタートし、ファイル提供機能を備えたMCP(Model Context Protocol)サーバーにまで進化しました。このゲートウェイを通じて、開発者は安全で、組織は管理可能なLLMアクセスを確保できます。将来的には、より高度な監視ツールの導入を目指す計画もあります。
出典 : Building a Secure LLM Gateway (and an MCP Server) with GitGuardian & AWS Lambda https://securityboulevard.com/2025/05/building-a-secure-llm-gateway-and-an-mcp-server-with-gitguardian-aws-lambda/
