タンタンCEO、メリエム・アリックがQConロンドンで、大規模言語モデル(LLM)の展開について講演しました。
始めに外部APIを使いつつ、スケールするビジネスでは自社でのホスティングがコスト削減や性能向上、プライバシーやセキュリティ要件にも対応できると述べています。
自社ホスティングには、GPUインフラの構築や技術の迅速な進展といった挑戦がありますが、適切なモデルとインフラの選択でこれを克服可能です。
また、INT4に量子化することでリソースを有効活用し、小規模な専門モデルを使うことがコスト削減につながるとアドバイスしています。
彼女はモデル選びを含む柔軟性を持ち、最新技術を活用し続けることが重要だと強調しています。
出典 : https://www.infoq.com/news/2024/04/llm-deployment-tips-tricks/