전체 글
-
1.4 LLM의 미래: 인식과 행동의 확장LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 12. 16:46
목차 1.4 LLM의 미래: 인식과 행동의 확장세 가지 큰 흐름멀티모달(multi modal) : LLM이 더 다양한 형식의 데이터(예, 이미지, 비디오, 오디오 등)을 입/출력으로 사용AI Agent: LLM이 텍스트 생성 능력을 사용해 계획을 세우거나 의사결정을 내리고 필요한 행동까지 수행새로운 아키텍처 : 트랜스포머 아키텍처를 새로운 아키텍처로 변경해 더 긴 입력을 효율적으로 처리하려는 연구 GPT-4o 는 뛰어난 이미지 및 음성 처리 능력을 보여줬고, 구글의 제미나이, Antrhopic의 Claude 같은 상업용 모델도 이미지를 함께 처리할 수 잇다. RAG 에서도 이미지와 텍스트를 함께 검색하는 멀티 모달 RAG에 대한 관심이 높아지고 있다. AI AgentAutoGPTSignificant G..
-
1.3 LLM 애플리케이션의 시대가 열리다LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 12. 12:39
목차 ChatGPT 이후 많은 조직에서 LLM 을 활용한 애플리케이션을 개발하기 위해 노력하고 있다.sLLM(Small Large Language Model)효율적인 학습과 추론RAG (Retrieval Augmented Generation, 검색증강생성)에 대해 알아본다 1.3.1 지식 사용법을 획기적으로 바꾼 LLM기존에는NLU(Natural Language Understanding) 자연어 이해 ; gmail 의 spam filter 기능 등에 사용NLG(Natural Language Generating) 자연어 생성두 분야로 나눠 접근했다. 하지만 LLM의 경우 언어 이해와 언어 생성 능력 모두 뛰어나다.자연어 생생을 위한 모델이기에 언어 생성 능력이 뛰어나고,모델의 크기가 커지면서, 언어 추론 ..
-
-
2장 LLM의 중추, 트랜스포머 아키텍처 살펴보기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 10. 09:22
2.1 트랜스포머 아키텍처란 2.1 2.2 squeeze 와 unsqueezesqueeze : 으깨서 없애기https://sanghyu.tistory.com/86 [PyTorch] squeeze, unsqueeze함수: 차원 삭제와 차원 삽입squeeze함수 squeeze함수는 차원이 1인 차원을 제거해준다. 따로 차원을 설정하지 않으면 1인 차원을 모두 제거한다. 그리고 차원을 설정해주면 그 차원만 제거한다. Python 코드 import torch x = torch.rand(3sanghyu.tistory.com 2.3 2.4 2.52.62.7 토큰화 예강남스타일 🎵 PSY의 공연이 LA에서 열렸다"강남스타일" (자주 사용되는 표현으로 하나의 토큰) "🎵" (이모티콘은 개별 토큰) "PSY..
-
1.2 언어 모델이 챗GPT가 되기까지LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 9. 22:36
목차 2017년의 획기적인 사건이였던 트랜스포머 아키텍처 공개 1.2.1 RNN 에서 트랜스포머 아키텍처로텍스트는 단어가 연결된 문장 형태의 데이터 입니다. 작은 단위(단어)의 데이터가 연결되고, 그 길이가 다양한 데이터의 형태를 시퀀스 Sequence 라고 한다.예로, 텍스트, 오디오, 시계열과 같은 데이터가 시퀀스 데이터라고 할 수 있다 트랜스포머가 개발되기 전에는 RNN 을 활용해서 텍스트를 생성했다그림 1.12처럼 텍스트를 순차적으로 처리해서, 다음 단어를 예측한다RNN의 특징 : 모델이 하나의 잠재 상태(hidden state)에 지금까지의 입력 텍스트의 맥락을 압축한다는 점이다. 첫 번째 입력은 '검은'이 모델을 통과했을 때는 잠재 상태에 '검은'의 정보가 쌓이고,두 번째 입력인 '고양..
-
1장 LLM 지도 1.1 딥러닝과 언어모델LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 3. 08:54
목차 딥러닝(deep learning)이란 인간의 두뇌에 영감을 받아 만들어진 신경망(neural network)데이터의 패턴을 학습하는 머신러닝(machine learning)의 한 분야다 텍스트와 이미지(비정형 데이터,unstructured data)에서도 뛰어난 패턴 인식 성능을 보여, AI 주류 모델이 됨자연어 처리(NLP, natural language processing)자연어 생성(NLG, natural language generating) LLM은 다음에 올 단어가 무엇일지 예측하면서 문장을 하나씩 만들어 가는 방식으로 텍스트를 생성이렇게 다음에 올 단어를 예측하는 모델을 언어 모델(Language Model) 이라고 함LLM 은 딥러닝 기반의 언어 모델이다. 3가지 주요 사건1. 워드..
-
책 - LLM을 활용한 실전 AI 애플리케이션 개발LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 3. 08:38
Team Study 로 책, LLM을 활용한 실전 AI 애플리케이션 개발 을 함께 공부하기로 하였습니다https://ridibooks.com/books/3649000042 LLM을 활용한 실전 AI 애플리케이션 개발LLM을 활용한 실전 AI 애플리케이션 개발 작품소개: 트랜스포머 아키텍처부터 RAG 개발, 모델 학습, 배포, 최적화, 운영까지 라마인덱스와 LLM을 활용한 AI 애플리케이션 개발의 모든 것이 책에서는ridibooks.com 제목 : LLM을 활용한 실전 AI 애플리케이션 개발부제 : LLM의 기본부터 모델 학습, 임베딩, 벡터 데이터베이스로 만드는 RAG까지작가 : 허정준 핵심내용1. LLM의 핵심인 트랜스포머 아키텍처2. 챗GPT를 만드는 방법: 지도 미세 조정과 RLHF ( Reinfo..