전체 글
-
4.3 강화 학습이 꼭 필요할까?LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 27. 17:30
목차4.3 강화 학습이 꼭 필요할까?강화 학습 없이 LLM이 사람들이 더 선호하는 답변을 생성할 수 있도록 학습시키는 여러 방법을 살펴본다.먼저, 여러 생설 결과 중 리워드 모델이 가장 높은 점수를 준 결과를 LLM의 지도 미세 조정에 사용하는 기각 샘플링(rejection sampling)방법을 알아본다.다음으로 선호 데이터셋을 직접 LLM이 학습하는 방식으로 변경해 열풍을 일으킨 직접 선호 최적화(DPO, Direct Preference Optimization)에 대해 살펴본다 4.3.1 기각 샘플링: 단순히 가장 점수가 높은 데이터를 사용한다면?기각 샘플링 : 제출된 코드 중 가장 가독성 점수가 높은 코드를 보고 참고해 학습 방향성을 잡는 방식지도 미세 조정을 마친 LLM을 통해 여러 응답을 생성..
-
4.2 채점 모델로 코드 가독성 높이기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 27. 14:50
목차 가동성 좋은 코드 위해, 코드 가독성을 평가하는 딥러닝 모델을 코딩 테스트에 포함시켜 봅니다 4.2.1 선호 데이터셋을 사용한 채점 모델 만들기 선호 데이터 셋 preference dataset 학습방법 : 코드 A 와 코드 B 를 비교해 더 가독성이 높은 코드를 선택하도록 합니다.선택한 코드를 선호 데이터 chosen data선택하지 않은 코드를 비선호 데이터 rejected data * 코드 A만 보고, 가독성 점수를 매기기는 쉽지 않으므로, 코드 A,B 또는 B,C 를 비교하는 방식을 사용합니다. 예제 4.4 코드 가독성이 낮은 예시와 높은 예시# 짝수 만 더하는 함수# --------------------------# 1 코드 가독성이 낮은 예시def sum_even(nums): e..
-
4장 말 잘 듣는 모델 만들기 4.1 코딩 테스트 통과하기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 26. 17:44
GPT3 -> ChatGPT1. 네이버 지식인처럼 요청/답변 형식으로 된 지시 데이터셋(instruction dataset)을 통해 사용자 요청에 응답할 수 있도록 학습시켰다.2. 사용자가 더 좋아하고, 더 도움되는 답변을 생성할 수 있도록 추가 학습을 시켰다. 이를 선호(preference)를 학습이라 한다 가상의 코딩 테스트 서비스 : 엔지니어스코딩테스트를 통해이를 해본다 사람들이 더 선호하는 답변 생성하도록 모델을 조정하는 방법강화 학습( reinforcement learning)근접 정책 최적화 (PPO, proximal policy optimization) - 하이퍼 파라미터에 민감하고, 학습이 불안정해, 좌절 많이 함 지도 미세 조정 (supervised fine-tuning)강화학습을 사용해..
-
2장 토큰화와 Emdeding Python code 예LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 18. 22:02
목차github code & 사전준비github : https://github.com/onlybooks/llm/blob/main/02%E1%84%8C%E1%85%A1%E1%86%BC/chapter_2_transformer_with_code.ipynb llm/02장/chapter_2_transformer_with_code.ipynb at main · onlybooks/llmLLM을 활용한 실전 AI 애플리케이션 개발. Contribute to onlybooks/llm development by creating an account on GitHub.github.com 사전 준비01. python 설치 : mac 은 기 설치되어 있음python --versionpython3 --version# Python..
-
1.4 LLM의 미래: 인식과 행동의 확장LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 12. 16:46
목차 1.4 LLM의 미래: 인식과 행동의 확장세 가지 큰 흐름멀티모달(multi modal) : LLM이 더 다양한 형식의 데이터(예, 이미지, 비디오, 오디오 등)을 입/출력으로 사용AI Agent: LLM이 텍스트 생성 능력을 사용해 계획을 세우거나 의사결정을 내리고 필요한 행동까지 수행새로운 아키텍처 : 트랜스포머 아키텍처를 새로운 아키텍처로 변경해 더 긴 입력을 효율적으로 처리하려는 연구 GPT-4o 는 뛰어난 이미지 및 음성 처리 능력을 보여줬고, 구글의 제미나이, Antrhopic의 Claude 같은 상업용 모델도 이미지를 함께 처리할 수 잇다. RAG 에서도 이미지와 텍스트를 함께 검색하는 멀티 모달 RAG에 대한 관심이 높아지고 있다. AI AgentAutoGPTSignificant G..
-
1.3 LLM 애플리케이션의 시대가 열리다LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 12. 12:39
목차 ChatGPT 이후 많은 조직에서 LLM 을 활용한 애플리케이션을 개발하기 위해 노력하고 있다.sLLM(Small Large Language Model)효율적인 학습과 추론RAG (Retrieval Augmented Generation, 검색증강생성)에 대해 알아본다 1.3.1 지식 사용법을 획기적으로 바꾼 LLM기존에는NLU(Natural Language Understanding) 자연어 이해 ; gmail 의 spam filter 기능 등에 사용NLG(Natural Language Generating) 자연어 생성두 분야로 나눠 접근했다. 하지만 LLM의 경우 언어 이해와 언어 생성 능력 모두 뛰어나다.자연어 생생을 위한 모델이기에 언어 생성 능력이 뛰어나고,모델의 크기가 커지면서, 언어 추론 ..
-