Dwarkesh PatelがGoogleのJeff DeanとNoam Shazeerをインタビューし、Google検索とコンテキスト学習を組み合わせることの可能性について議論しました。Jeff Deanからは魅力的な回答がありました。
彼らは、AIモデルが事実を誤って認識すること（ハルシネーション）があるものの、集められた膨大なデータから学ぶ能力が高いこと、また注意深く情報を扱うことができる点を指摘しました。モデルが万単位のトークンを扱い、膨大な情報の中から適切なデータを抽出することはすでに可能ですが、なお課題は残ります。
特に、モデルが私たち個人のメールやドキュメント、写真なども含め、インターネット全体の兆単位のトークンを処理するのは、現在のアルゴリズムでは計算コストが非常に高くなります。Jeff Deanは、この技術的課題を克服し、Googleのコードベースやオープンソース開発者向けの世界のソースコードなどをモデルが利用できるようにすることへの期待を語っています。
出典 : Jeff Dean On Combining Google Search With LLM In-Context Learning https://www.seroundtable.com/google-search-with-llm-in-context-learning-38915.html
