LLM/LLM을 활용한 실전 AI 애플리케이션 개발
-
7.2 양자화로 모델 용량 줄이기 - 작성중LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 2. 24. 22:36
7.2.1 비츠앤바이츠 예제 7.1 비츠앤바이츠 양자화 모델 불러오기from transformers import AutoModelForCausalLM, BitsAndBytesConfig# 8비트 양자화 모델 불러오기bnb_config_8bit = BitsAndBytesConfig(load_in_8bit=True)model_8bit = AutoModelForCausalLM.from_pretrained("facebook/opt-350m", quantization_config=bnb_config_8bit)# 4비트 양자화 모델 불러오기bnb_config_4bit = BitsAndBytesConfig(load_in_4bit=True, bnb_..
-
7.1 언어 모델 추론 이해하기 - 작성중LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 2. 24. 22:07
7.1.1. 언어 모델이 언어를 생성하는 방법 7.2 언어 모델의 자기 회귀적 성질 7.3 언어 모델은 한 토큰씩 생성한다 7.1.2 중복 연산을 줄이는 kv 캐시 7.4 kv 캐시를 사용할 때와 사용하지 않을 때의 차이 7.5 kv 캐시를 사용하는 경우 gpu 메모리를 차지하는 데이터 7.1.3 gpu 구조와 최적의 배치 크기 7.1.4 kv 캐시 메모리 줄이기 책 출처 : https://ridibooks.com/books/3649000042 LLM을 활용한 실전 AI 애플리케이션 개발LLM을 활용한 실전 AI 애플리케이션 개발 작품소개: 트랜스포머 아키텍처부터 RAG 개발, 모델 학습, 배포, 최적화, 운영까지 라마인덱스와 LLM을 활용한 AI 애플리케..
-
6장 sLLM 학습하기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 2. 16. 22:10
목차1.실습 준비openai apiopenai api 결제 6장 실습 시 openai api 를 호출해야 한다.https://platform.openai.com/settings/organization/billing 에 접속해서 결제정보 추가하고, $10 결제하였다. https://platform.openai.com/docs/overview에 접속하여 sample api 를 호출해 본다 openai 모듈을 설치한다pip install openaipip show openai# Name: openai / # Version: 1.63.0 모델정보는 여기서 확인https://platform.openai.com/docs/guides/rate-limits?tier=free#how-do-these-rate-limits..
-
5.1 GPU에 올라가는 데이터 살펴보기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 2. 9. 14:59
딥러닝 데이터 처리는 행렬 곱셈과 더하는 연산의 반복GPU의 메모리는 한정적이고, 가격이 비싸서, 최적화 하는 기술발전이 빠르게 이뤄지고 있다.* 참고 : Nvidia H100 80G ($25,000 / 3,643만원) 1) 딥러닝 연산 시 어떤 데이터가 메모리를 사용하는지 알아본다2) 다음으로, GPU 1개 사용시 메모리를 효율적으로 사용할 수 있는 그레이디언트 누적(gradient accumulation)과 그레이디언트 체크포인팅(gradient checkpointing)을 알아본다3) GPU를 병렬적으로 사용하는 분산 학습에 대해 알아보고, 같은 데이터가 여러 GPU 에 저장되는 비효율 개선위한 MS의 딥스피드 제로(Deepspeed ZeRO)에 대해서도 살펴본다4) LLM 모델 학습 시 전체 모델..
-
4.3 강화 학습이 꼭 필요할까?LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 27. 17:30
목차4.3 강화 학습이 꼭 필요할까?강화 학습 없이 LLM이 사람들이 더 선호하는 답변을 생성할 수 있도록 학습시키는 여러 방법을 살펴본다.먼저, 여러 생설 결과 중 리워드 모델이 가장 높은 점수를 준 결과를 LLM의 지도 미세 조정에 사용하는 기각 샘플링(rejection sampling)방법을 알아본다.다음으로 선호 데이터셋을 직접 LLM이 학습하는 방식으로 변경해 열풍을 일으킨 직접 선호 최적화(DPO, Direct Preference Optimization)에 대해 살펴본다 4.3.1 기각 샘플링: 단순히 가장 점수가 높은 데이터를 사용한다면?기각 샘플링 : 제출된 코드 중 가장 가독성 점수가 높은 코드를 보고 참고해 학습 방향성을 잡는 방식지도 미세 조정을 마친 LLM을 통해 여러 응답을 생성..
-
4.2 채점 모델로 코드 가독성 높이기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 27. 14:50
목차 가동성 좋은 코드 위해, 코드 가독성을 평가하는 딥러닝 모델을 코딩 테스트에 포함시켜 봅니다 4.2.1 선호 데이터셋을 사용한 채점 모델 만들기 선호 데이터 셋 preference dataset 학습방법 : 코드 A 와 코드 B 를 비교해 더 가독성이 높은 코드를 선택하도록 합니다.선택한 코드를 선호 데이터 chosen data선택하지 않은 코드를 비선호 데이터 rejected data * 코드 A만 보고, 가독성 점수를 매기기는 쉽지 않으므로, 코드 A,B 또는 B,C 를 비교하는 방식을 사용합니다. 예제 4.4 코드 가독성이 낮은 예시와 높은 예시# 짝수 만 더하는 함수# --------------------------# 1 코드 가독성이 낮은 예시def sum_even(nums): e..
-
4장 말 잘 듣는 모델 만들기 4.1 코딩 테스트 통과하기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 26. 17:44
목차 GPT3 -> ChatGPT1. 네이버 지식인처럼 요청/답변 형식으로 된 지시 데이터셋(instruction dataset)을 통해 사용자 요청에 응답할 수 있도록 학습시켰다.2. 사용자가 더 좋아하고, 더 도움되는 답변을 생성할 수 있도록 추가 학습을 시켰다. 이를 선호(preference)를 학습이라 한다 가상의 코딩 테스트 서비스 : 엔지니어스코딩테스트를 통해이를 해본다 사람들이 더 선호하는 답변 생성하도록 모델을 조정하는 방법강화 학습( reinforcement learning)근접 정책 최적화 (PPO, proximal policy optimization) - 하이퍼 파라미터에 민감하고, 학습이 불안정해, 좌절 많이 함 지도 미세 조정 (supervised fine-tuning)강화학습을..
-
2장 토큰화와 Emdeding Python code 예LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 18. 22:02
목차github code & 사전준비github : https://github.com/onlybooks/llm/blob/main/02%E1%84%8C%E1%85%A1%E1%86%BC/chapter_2_transformer_with_code.ipynb llm/02장/chapter_2_transformer_with_code.ipynb at main · onlybooks/llmLLM을 활용한 실전 AI 애플리케이션 개발. Contribute to onlybooks/llm development by creating an account on GitHub.github.com 사전 준비01. python 설치 : mac 은 기 설치되어 있음python --versionpython3 --version# Python..