llm을 활용한 실전 ai 애플리케이션 개발
-
4.3 강화 학습이 꼭 필요할까?LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 27. 17:30
목차4.3 강화 학습이 꼭 필요할까?강화 학습 없이 LLM이 사람들이 더 선호하는 답변을 생성할 수 있도록 학습시키는 여러 방법을 살펴본다.먼저, 여러 생설 결과 중 리워드 모델이 가장 높은 점수를 준 결과를 LLM의 지도 미세 조정에 사용하는 기각 샘플링(rejection sampling)방법을 알아본다.다음으로 선호 데이터셋을 직접 LLM이 학습하는 방식으로 변경해 열풍을 일으킨 직접 선호 최적화(DPO, Direct Preference Optimization)에 대해 살펴본다 4.3.1 기각 샘플링: 단순히 가장 점수가 높은 데이터를 사용한다면?기각 샘플링 : 제출된 코드 중 가장 가독성 점수가 높은 코드를 보고 참고해 학습 방향성을 잡는 방식지도 미세 조정을 마친 LLM을 통해 여러 응답을 생성..
-
4.2 채점 모델로 코드 가독성 높이기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 27. 14:50
목차 가동성 좋은 코드 위해, 코드 가독성을 평가하는 딥러닝 모델을 코딩 테스트에 포함시켜 봅니다 4.2.1 선호 데이터셋을 사용한 채점 모델 만들기 선호 데이터 셋 preference dataset 학습방법 : 코드 A 와 코드 B 를 비교해 더 가독성이 높은 코드를 선택하도록 합니다.선택한 코드를 선호 데이터 chosen data선택하지 않은 코드를 비선호 데이터 rejected data * 코드 A만 보고, 가독성 점수를 매기기는 쉽지 않으므로, 코드 A,B 또는 B,C 를 비교하는 방식을 사용합니다. 예제 4.4 코드 가독성이 낮은 예시와 높은 예시# 짝수 만 더하는 함수# --------------------------# 1 코드 가독성이 낮은 예시def sum_even(nums): e..
-
4장 말 잘 듣는 모델 만들기 4.1 코딩 테스트 통과하기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 26. 17:44
GPT3 -> ChatGPT1. 네이버 지식인처럼 요청/답변 형식으로 된 지시 데이터셋(instruction dataset)을 통해 사용자 요청에 응답할 수 있도록 학습시켰다.2. 사용자가 더 좋아하고, 더 도움되는 답변을 생성할 수 있도록 추가 학습을 시켰다. 이를 선호(preference)를 학습이라 한다 가상의 코딩 테스트 서비스 : 엔지니어스코딩테스트를 통해이를 해본다 사람들이 더 선호하는 답변 생성하도록 모델을 조정하는 방법강화 학습( reinforcement learning)근접 정책 최적화 (PPO, proximal policy optimization) - 하이퍼 파라미터에 민감하고, 학습이 불안정해, 좌절 많이 함 지도 미세 조정 (supervised fine-tuning)강화학습을 사용해..
-
2장 LLM의 중추, 트랜스포머 아키텍처 살펴보기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 10. 09:22
2.1 트랜스포머 아키텍처란 2.1 2.2 squeeze 와 unsqueezesqueeze : 으깨서 없애기https://sanghyu.tistory.com/86 [PyTorch] squeeze, unsqueeze함수: 차원 삭제와 차원 삽입squeeze함수 squeeze함수는 차원이 1인 차원을 제거해준다. 따로 차원을 설정하지 않으면 1인 차원을 모두 제거한다. 그리고 차원을 설정해주면 그 차원만 제거한다. Python 코드 import torch x = torch.rand(3sanghyu.tistory.com 2.3 2.4 2.52.62.7 토큰화 예강남스타일 🎵 PSY의 공연이 LA에서 열렸다"강남스타일" (자주 사용되는 표현으로 하나의 토큰) "🎵" (이모티콘은 개별 토큰) "PSY..
-
1장 LLM 지도 1.1 딥러닝과 언어모델LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 3. 08:54
목차 딥러닝(deep learning)이란 인간의 두뇌에 영감을 받아 만들어진 신경망(neural network)데이터의 패턴을 학습하는 머신러닝(machine learning)의 한 분야다 텍스트와 이미지(비정형 데이터,unstructured data)에서도 뛰어난 패턴 인식 성능을 보여, AI 주류 모델이 됨자연어 처리(NLP, natural language processing)자연어 생성(NLG, natural language generating) LLM은 다음에 올 단어가 무엇일지 예측하면서 문장을 하나씩 만들어 가는 방식으로 텍스트를 생성이렇게 다음에 올 단어를 예측하는 모델을 언어 모델(Language Model) 이라고 함LLM 은 딥러닝 기반의 언어 모델이다. 3가지 주요 사건1. 워드..