LLM
-
4.3 강화 학습이 꼭 필요할까?LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 27. 17:30
목차4.3 강화 학습이 꼭 필요할까?강화 학습 없이 LLM이 사람들이 더 선호하는 답변을 생성할 수 있도록 학습시키는 여러 방법을 살펴본다.먼저, 여러 생설 결과 중 리워드 모델이 가장 높은 점수를 준 결과를 LLM의 지도 미세 조정에 사용하는 기각 샘플링(rejection sampling)방법을 알아본다.다음으로 선호 데이터셋을 직접 LLM이 학습하는 방식으로 변경해 열풍을 일으킨 직접 선호 최적화(DPO, Direct Preference Optimization)에 대해 살펴본다 4.3.1 기각 샘플링: 단순히 가장 점수가 높은 데이터를 사용한다면?기각 샘플링 : 제출된 코드 중 가장 가독성 점수가 높은 코드를 보고 참고해 학습 방향성을 잡는 방식지도 미세 조정을 마친 LLM을 통해 여러 응답을 생성..
-
4.2 채점 모델로 코드 가독성 높이기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 27. 14:50
목차 가동성 좋은 코드 위해, 코드 가독성을 평가하는 딥러닝 모델을 코딩 테스트에 포함시켜 봅니다 4.2.1 선호 데이터셋을 사용한 채점 모델 만들기 선호 데이터 셋 preference dataset 학습방법 : 코드 A 와 코드 B 를 비교해 더 가독성이 높은 코드를 선택하도록 합니다.선택한 코드를 선호 데이터 chosen data선택하지 않은 코드를 비선호 데이터 rejected data * 코드 A만 보고, 가독성 점수를 매기기는 쉽지 않으므로, 코드 A,B 또는 B,C 를 비교하는 방식을 사용합니다. 예제 4.4 코드 가독성이 낮은 예시와 높은 예시# 짝수 만 더하는 함수# --------------------------# 1 코드 가독성이 낮은 예시def sum_even(nums): e..
-
4장 말 잘 듣는 모델 만들기 4.1 코딩 테스트 통과하기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 26. 17:44
목차 GPT3 -> ChatGPT1. 네이버 지식인처럼 요청/답변 형식으로 된 지시 데이터셋(instruction dataset)을 통해 사용자 요청에 응답할 수 있도록 학습시켰다.2. 사용자가 더 좋아하고, 더 도움되는 답변을 생성할 수 있도록 추가 학습을 시켰다. 이를 선호(preference)를 학습이라 한다 가상의 코딩 테스트 서비스 : 엔지니어스코딩테스트를 통해이를 해본다 사람들이 더 선호하는 답변 생성하도록 모델을 조정하는 방법강화 학습( reinforcement learning)근접 정책 최적화 (PPO, proximal policy optimization) - 하이퍼 파라미터에 민감하고, 학습이 불안정해, 좌절 많이 함 지도 미세 조정 (supervised fine-tuning)강화학습을..
-
1.4 LLM의 미래: 인식과 행동의 확장LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 12. 16:46
목차 1.4 LLM의 미래: 인식과 행동의 확장세 가지 큰 흐름멀티모달(multi modal) : LLM이 더 다양한 형식의 데이터(예, 이미지, 비디오, 오디오 등)을 입/출력으로 사용AI Agent: LLM이 텍스트 생성 능력을 사용해 계획을 세우거나 의사결정을 내리고 필요한 행동까지 수행새로운 아키텍처 : 트랜스포머 아키텍처를 새로운 아키텍처로 변경해 더 긴 입력을 효율적으로 처리하려는 연구 GPT-4o 는 뛰어난 이미지 및 음성 처리 능력을 보여줬고, 구글의 제미나이, Antrhopic의 Claude 같은 상업용 모델도 이미지를 함께 처리할 수 잇다. RAG 에서도 이미지와 텍스트를 함께 검색하는 멀티 모달 RAG에 대한 관심이 높아지고 있다. AI AgentAutoGPTSignificant G..
-
1.3 LLM 애플리케이션의 시대가 열리다LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 12. 12:39
목차 ChatGPT 이후 많은 조직에서 LLM 을 활용한 애플리케이션을 개발하기 위해 노력하고 있다.sLLM(Small Large Language Model)효율적인 학습과 추론RAG (Retrieval Augmented Generation, 검색증강생성)에 대해 알아본다 1.3.1 지식 사용법을 획기적으로 바꾼 LLM기존에는NLU(Natural Language Understanding) 자연어 이해 ; gmail 의 spam filter 기능 등에 사용NLG(Natural Language Generating) 자연어 생성두 분야로 나눠 접근했다. 하지만 LLM의 경우 언어 이해와 언어 생성 능력 모두 뛰어나다.자연어 생생을 위한 모델이기에 언어 생성 능력이 뛰어나고,모델의 크기가 커지면서, 언어 추론 ..
-
2장 LLM의 중추, 트랜스포머 아키텍처 살펴보기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 10. 09:22
2.1 트랜스포머 아키텍처란 2.1 2.2 squeeze 와 unsqueezesqueeze : 으깨서 없애기https://sanghyu.tistory.com/86 [PyTorch] squeeze, unsqueeze함수: 차원 삭제와 차원 삽입squeeze함수 squeeze함수는 차원이 1인 차원을 제거해준다. 따로 차원을 설정하지 않으면 1인 차원을 모두 제거한다. 그리고 차원을 설정해주면 그 차원만 제거한다. Python 코드 import torch x = torch.rand(3sanghyu.tistory.com 2.3 2.4 2.52.62.7 토큰화 예강남스타일 🎵 PSY의 공연이 LA에서 열렸다"강남스타일" (자주 사용되는 표현으로 하나의 토큰) "🎵" (이모티콘은 개별 토큰) "PSY..
-
1.2 언어 모델이 챗GPT가 되기까지LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 9. 22:36
목차 2017년의 획기적인 사건이였던 트랜스포머 아키텍처 공개 1.2.1 RNN 에서 트랜스포머 아키텍처로텍스트는 단어가 연결된 문장 형태의 데이터 입니다. 작은 단위(단어)의 데이터가 연결되고, 그 길이가 다양한 데이터의 형태를 시퀀스 Sequence 라고 한다.예로, 텍스트, 오디오, 시계열과 같은 데이터가 시퀀스 데이터라고 할 수 있다 트랜스포머가 개발되기 전에는 RNN 을 활용해서 텍스트를 생성했다그림 1.12처럼 텍스트를 순차적으로 처리해서, 다음 단어를 예측한다RNN의 특징 : 모델이 하나의 잠재 상태(hidden state)에 지금까지의 입력 텍스트의 맥락을 압축한다는 점이다. 첫 번째 입력은 '검은'이 모델을 통과했을 때는 잠재 상태에 '검은'의 정보가 쌓이고,두 번째 입력인 '고양..
-
1장 LLM 지도 1.1 딥러닝과 언어모델LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 3. 08:54
목차 딥러닝(deep learning)이란 인간의 두뇌에 영감을 받아 만들어진 신경망(neural network)데이터의 패턴을 학습하는 머신러닝(machine learning)의 한 분야다 텍스트와 이미지(비정형 데이터,unstructured data)에서도 뛰어난 패턴 인식 성능을 보여, AI 주류 모델이 됨자연어 처리(NLP, natural language processing)자연어 생성(NLG, natural language generating) LLM은 다음에 올 단어가 무엇일지 예측하면서 문장을 하나씩 만들어 가는 방식으로 텍스트를 생성이렇게 다음에 올 단어를 예측하는 모델을 언어 모델(Language Model) 이라고 함LLM 은 딥러닝 기반의 언어 모델이다. 3가지 주요 사건1. 워드..