7.1 언어 모델 추론 이해하기 - 작성중

 

 

7.1.1. 언어 모델이 언어를 생성하는 방법

 

7.2 언어 모델의 자기 회귀적 성질

 

 

7.3 언어 모델은 한 토큰씩 생성한다

 

 

7.1.2 중복 연산을 줄이는 kv 캐시

 

7.4 kv 캐시를 사용할 때와 사용하지 않을 때의 차이

 

 

7.5 kv 캐시를 사용하는 경우 gpu 메모리를 차지하는 데이터

 

7.1.3 gpu 구조와 최적의 배치 크기

 

 

 

 

 

 

 

7.1.4 kv 캐시 메모리 줄이기

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

책 출처 : https://ridibooks.com/books/3649000042

LLM을 활용한 실전 AI 애플리케이션 개발