[Repo Review] AKV โ ์์ด์ ํธ๊ฐ KV ์บ์๋ฅผ ์ง์ ๊ด๋ฆฌํ๋ ๊ตฌ์กฐ์ SGLang ์คํ ๊ฒฝ๋ก
๊ธด ์์ด์ ํธ ์คํ์์, ๋ฌด์์ ๊ธฐ์ตํ ์ง ๊ฒฐ์ ํ๋ ๊ณ์ธต
๋๊ตฌ๋ฅผ ์ฌ๋ฌ ๋ฒ ํธ์ถํ๋ LLM ์์ด์ ํธ๋ ๋ํ ์ด๋ ฅ์ ๊ฒ์ ๊ฒฐ๊ณผ, ํ์ผ ๋ด์ฉ, ์คํ ๋ก๊ทธ๋ฅผ ๊ณ์ ๋ง๋ถ์
๋๋ค. ์์ ์ ์ฝ์ ๊ธฐ๋ก์ ์ธ๋ถ ๋ด์ฉ์ด ๋๋ ํ์ํ์ง ์์๋, ๋ค์ ๋ชจ๋ธ ํธ์ถ์์ ๊ฐ์ ์ด๋ ฅ์ด ๋ค์ ๋ฌธ๋งฅ์ผ๋ก ๋ค์ด๊ฐ๋๋ค. Transformer๊ฐ ํ ํฐ๋ง๋ค ์ ์ฅํ๋ KV ์บ์(KeyยทValue c...