KVキャッシュを完全に理解する | SRE Holdings 株式会社のフィード

はじめにこんにちは。SREホールディングス株式会社の西野です。SREでは主に画像認識案件のPLを担当しています。最近、かなり出遅れ気味でLLMのプロジェクトに関わり始めたので、キャッチアップのために勉強している最中なのですが、その際にKVキャッシュについて”完全に理解した”ので、その内容をまとめて紹介したいと思います。（”何も分からない”の領域を目指して、キャッチアップに邁進しています）併せて、簡単に生成AI（transformer）の基礎的な部分にも触れたいと考えています。 対象読者LLM関連プロダクト/プロジェクトに関わっているがKVキャッシュを知らない、もしくは説…


Source link