-
7.1 언어 모델 추론 이해하기 - 작성중LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 2. 24. 22:07
7.1.1. 언어 모델이 언어를 생성하는 방법
7.2 언어 모델의 자기 회귀적 성질
7.3 언어 모델은 한 토큰씩 생성한다
7.1.2 중복 연산을 줄이는 kv 캐시
7.4 kv 캐시를 사용할 때와 사용하지 않을 때의 차이
7.5 kv 캐시를 사용하는 경우 gpu 메모리를 차지하는 데이터
7.1.3 gpu 구조와 최적의 배치 크기
7.1.4 kv 캐시 메모리 줄이기
책 출처 : https://ridibooks.com/books/3649000042
LLM을 활용한 실전 AI 애플리케이션 개발
LLM을 활용한 실전 AI 애플리케이션 개발 작품소개: 트랜스포머 아키텍처부터 RAG 개발, 모델 학습, 배포, 최적화, 운영까지 라마인덱스와 LLM을 활용한 AI 애플리케이션 개발의 모든 것이 책에서는
ridibooks.com
'LLM > LLM을 활용한 실전 AI 애플리케이션 개발' 카테고리의 다른 글
7.2 양자화로 모델 용량 줄이기 - 작성중 (0) 2025.02.24 6장 sLLM 학습하기 (0) 2025.02.16 5.1 GPU에 올라가는 데이터 살펴보기 (0) 2025.02.09 4.3 강화 학습이 꼭 필요할까? (0) 2025.01.27 4.2 채점 모델로 코드 가독성 높이기 (0) 2025.01.27