自社サーバでLLM(大規模言語モデル)を運用することには、セキュリティやパフォーマンスなどの面で複数のメリットがある。ただし適切なハードウェアを整えるのは容易ではない。GPUは決して安い製品ではないため、過剰なスペックを避けたいところだが ...
米Appleは12月12日(現地時間)、iPhoneのようなメモリ容量の限られた端末上でLLM(大規模言語モデル)を実行するための技術に関する論文「LLM in a flash:Efficient Large Language Model Inference with Limited Memory」を公開した(リンク先はPDF)。 タイトルを直訳すると「一瞬 ...