機械学習モデル(LLM)を活用してプログラミングできるか試してみました。具体的には、「FFT関数を書いて」という
リクエストに基づいていくつかのLLMのコード生成能力をテスト。驚いたことに、8つの関数のうち正しく動作するのはわずか1つだけでした。FFT(高速フーリエ変換)は、信号処理においてデータの周波数成分を抽出するためのアルゴリズム。高速化された
FFTは、直接的なDFT(離散フーリエ変換)と違い、計算量が大幅に削減されます。しかし、実際に様々なLLMを使って生成したコードには多くの問題があったようで、その中には配列のサイズに制限があるものや、計算結果が不正確なものもありました。この実験から
得られた教訓は、LLMをプロジェクトの数学的な部分に利用する際には、何度も実行して結果を比較することが肝心であるということです。琴線に触れたら、もっと知りたいと思わせる興味深い内容でした。
出典 : https://medium.com/@zlodeibaal/dont-believe-in-llm-math-b11fc5f12f75