전체 글
-
Clova Studio 를 활용한 RAG 구성Clova Studio 2025. 4. 2. 15:27
Clova Studio 홈https://guide.ncloud-docs.com/docs/clovastudio-screen CLOVA Studio 홈 화면 guide.ncloud-docs.com https://clovastudio.ncloud.com/ [온라인 웨비나] CLOVA Studio를 활용한 RAG 구성 https://www.youtube.com/watch?v=Snft1gFbDmU 01. 플레이 그라운드 demo 유형별로 test / table / image 를 개별적으로 추출 중복 좌표 확인 및 정리? 임베딩 모델bge-m3 를 추천토큰수가 크고, 가장 좋음 vector db :postgre, opensearch?milvus, Qdrant : 대규모 데이터에 최적화, 실시간 데이..
-
Atlassian confluence jira 대응 제품Alicloud 2025. 4. 2. 10:30
Alibaba Cloud DocsYuque https://www.alibabacloud.com/en/customers/yuque?_p_lc=1Alibaba Cloud Project Management WorkspaceYunxiao : https://www.alibabacloud.com/blog/managing-large-projects-with-alibaba-cloud-yunxiao_594292?spm=a2c65.11461478.0.0.5b6353551kilE6영어자료 부족 이런 제품들이 언급되나, 검색하여 찾을 수가 없음https://www.alibabacloud.com/help/en Alibaba Cloud Documentation-Alibaba Cloud Documentation Center-Al..
-
codeup - github 과 유사한 소스 형상 관리 툴Alicloud/codeup 2025. 4. 2. 09:39
목차Official GuideCode Management - codeupAlibaba Cloud DevOps 의 포함 상품https://www.alibabacloud.com/help/en/yunxiao/user-guide/code-management-2/?spm=a2c63.p38356.help-menu-150040.d_1_2.6b68748es8raws Code Management - Alibaba Cloud DevOps - Alibaba Cloud Documentation CenterSearch Thank you! We've received your feedback.www.alibabacloud.comAuthentication permission and setting managementBasic host..
-
7.2 양자화로 모델 용량 줄이기 - 작성중LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 2. 24. 22:36
7.2.1 비츠앤바이츠 예제 7.1 비츠앤바이츠 양자화 모델 불러오기from transformers import AutoModelForCausalLM, BitsAndBytesConfig# 8비트 양자화 모델 불러오기bnb_config_8bit = BitsAndBytesConfig(load_in_8bit=True)model_8bit = AutoModelForCausalLM.from_pretrained("facebook/opt-350m", quantization_config=bnb_config_8bit)# 4비트 양자화 모델 불러오기bnb_config_4bit = BitsAndBytesConfig(load_in_4bit=True, bnb_..
-
7.1 언어 모델 추론 이해하기 - 작성중LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 2. 24. 22:07
7.1.1. 언어 모델이 언어를 생성하는 방법 7.2 언어 모델의 자기 회귀적 성질 7.3 언어 모델은 한 토큰씩 생성한다 7.1.2 중복 연산을 줄이는 kv 캐시 7.4 kv 캐시를 사용할 때와 사용하지 않을 때의 차이 7.5 kv 캐시를 사용하는 경우 gpu 메모리를 차지하는 데이터 7.1.3 gpu 구조와 최적의 배치 크기 7.1.4 kv 캐시 메모리 줄이기 책 출처 : https://ridibooks.com/books/3649000042 LLM을 활용한 실전 AI 애플리케이션 개발LLM을 활용한 실전 AI 애플리케이션 개발 작품소개: 트랜스포머 아키텍처부터 RAG 개발, 모델 학습, 배포, 최적화, 운영까지 라마인덱스와 LLM을 활용한 AI 애플리케..
-
6장 sLLM 학습하기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 2. 16. 22:10
목차1.실습 준비openai apiopenai api 결제 6장 실습 시 openai api 를 호출해야 한다.https://platform.openai.com/settings/organization/billing 에 접속해서 결제정보 추가하고, $10 결제하였다. https://platform.openai.com/docs/overview에 접속하여 sample api 를 호출해 본다 openai 모듈을 설치한다pip install openaipip show openai# Name: openai / # Version: 1.63.0 모델정보는 여기서 확인https://platform.openai.com/docs/guides/rate-limits?tier=free#how-do-these-rate-limits..
-
5.1 GPU에 올라가는 데이터 살펴보기LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 2. 9. 14:59
딥러닝 데이터 처리는 행렬 곱셈과 더하는 연산의 반복GPU의 메모리는 한정적이고, 가격이 비싸서, 최적화 하는 기술발전이 빠르게 이뤄지고 있다.* 참고 : Nvidia H100 80G ($25,000 / 3,643만원) 1) 딥러닝 연산 시 어떤 데이터가 메모리를 사용하는지 알아본다2) 다음으로, GPU 1개 사용시 메모리를 효율적으로 사용할 수 있는 그레이디언트 누적(gradient accumulation)과 그레이디언트 체크포인팅(gradient checkpointing)을 알아본다3) GPU를 병렬적으로 사용하는 분산 학습에 대해 알아보고, 같은 데이터가 여러 GPU 에 저장되는 비효율 개선위한 MS의 딥스피드 제로(Deepspeed ZeRO)에 대해서도 살펴본다4) LLM 모델 학습 시 전체 모델..
-
4.3 강화 학습이 꼭 필요할까?LLM/LLM을 활용한 실전 AI 애플리케이션 개발 2025. 1. 27. 17:30
목차4.3 강화 학습이 꼭 필요할까?강화 학습 없이 LLM이 사람들이 더 선호하는 답변을 생성할 수 있도록 학습시키는 여러 방법을 살펴본다.먼저, 여러 생설 결과 중 리워드 모델이 가장 높은 점수를 준 결과를 LLM의 지도 미세 조정에 사용하는 기각 샘플링(rejection sampling)방법을 알아본다.다음으로 선호 데이터셋을 직접 LLM이 학습하는 방식으로 변경해 열풍을 일으킨 직접 선호 최적화(DPO, Direct Preference Optimization)에 대해 살펴본다 4.3.1 기각 샘플링: 단순히 가장 점수가 높은 데이터를 사용한다면?기각 샘플링 : 제출된 코드 중 가장 가독성 점수가 높은 코드를 보고 참고해 학습 방향성을 잡는 방식지도 미세 조정을 마친 LLM을 통해 여러 응답을 생성..