6장 sLLM 학습하기

목차

1.실습 준비

openai api

openai api 결제

 

6장 실습 시 openai api 를 호출해야 한다.

https://platform.openai.com/settings/organization/billing 에 접속해서 결제정보 추가하고, $10 결제하였다.

 

https://platform.openai.com/docs/overview

에 접속하여 sample api 를 호출해 본다

 

openai 모듈을 설치한다

pip install openai
pip show openai
# Name: openai / # Version: 1.63.0

 

모델정보는 여기서 확인

https://platform.openai.com/docs/guides/rate-limits?tier=free#how-do-these-rate-limits-work

 

RPM (Requests Per Minute): 분당 요청 수. API에 1분 동안 보낼 수 있는 요청의 최대 개수를 의미합니다.
RPD (Requests Per Day): 일일 요청 수. API에 하루 동안 보낼 수 있는 요청의 최대 개수를 의미합니다.
TPM (Tokens Per Minute): 분당 토큰 수. 1분 동안 처리할 수 있는 토큰의 최대 개수를 의미합니다. 토큰은 텍스트의 단어나 하위 단위를 나타냅니다.

 

import os
from openai import OpenAI

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))
completion = client.chat.completions.create(
    model="gpt-4o-mini",
    store=True,
    messages=[
        {"role": "user", "content": "안녕하세요"}
    ]
)
# gpt-4o
# gpt-4-turbo

# 전체 결과 객체를 출력하려면:
print(completion)

# 또는, 첫 번째 응답 메시지의 내용을 출력하려면:
print(completion.choices[0].message.content)

 

 

2. google colabl

mac m4(mps) 로 device_map 을 변경하여 몇 차례 시도했으나, 잘 안되어, 

google colab A100 사용을 위해, 마찬가지로 $9.9 결제하였다.

 

https://colab.research.google.com/signup

런타임 > 런타임 유형 변경에서 A100 GPU 를 선택할 수 있다.

 

 

openai api key 는 secret 메뉴에서 등록해서 쓴다

 

 

03. 실습환경

google colab 에 기 설치된 환경을 기반으로 AI 에 질의

Python 3.11.11
nvcc(NVIDIA (R) Cuda compiler driver Cuda compilation tools) : 12.5
transformers 4.48.3
accelerate 1.3.0
huggingface_hub 0.28.1
gcsfs 2024.10.0
fsspec 2024.10.0
openai 1.61.1
에 호환되는 bitsandbytes, datasets, tiktoken 모듈 버전과 설치 명령어 알려주세요 

 

책에 있는 낮은 버전 부터 하나씩 높여보는 전략으로 설치하였다.

 

# 책의 버전
!pip install bitsandbytes==0.39.0
!pip install tiktoken==0.5.1

# 책의 2.17.1 오류나서, 2.18.0 으로 하나 높여서 설치하였다.
!pip install datasets==2.18.0

 

openai 의 호출 재시도

위 코드에 api key. 가져오는 부분만 변경

from google.colab import userdata
client = OpenAI(api_key=userdata.get("OPENAI_API_KEY"))

 

 

 

 

github source

https://github.com/gwagdalf/colab2502/blob/main/ch6_2nd.ipynb

colab2502/ch6_2nd.ipynb at main · gwagdalf/colab2502