SK社が開発中の「Lazy Unmap Flush（LUF）」というLinuxカーネル機能に注目が集まっています。このLUFは、ページテーブルエントリのキャッシュであるTLBのフラッシュ処理を後回しにして、メモリ解放と再割り当てが行われるまで遅延させます。
特にサーバーで見られるメモリ移行のオーバーヘッドを削減するために考案されたこの機能は、CXLメモリを使用する階層型メモリサーバーでのTLBシュートダウンが多く、この問題に直面した後に開始されました。
最も注目すべき結果として、LUFパッチを適用することによりTLBシュートダウン割り込みが約97%も削減されました。さらに、大規模な言語モデルを用いたテストプログラム「Llama.cpp」の実行時間も約4.5%短縮されるなど、性能改善が見込まれています。
最近のLazy Unmap Flushパッチは、140GBのメモリを使用したAIの大言語モデル推論ワークロードを1週間実行し、その安定性を確認しました。TLBシュートダウン割り込みが大幅に減少し、AIランタイムも改善されたこの例は大いに有望です。
興味を持った方はLinuxカーネルメーリングリストで最新のパッチを確認することができます。
出典 : Linux Lazy Unmap Flush “LUF” Reducing TLB Shootdowns By 97%, Faster AI LLM Performance – Phoronix https://www.phoronix.com/news/Linux-Lazy-Unmap-Flush
