인프런 커뮤니티 질문&답변

kinghm10님의 프로필 이미지

작성한 질문수

실리콘밸리 엔지니어와 함께하는 OpenAI API (ChatGPT)

fine tuning 실습관련 질문드립니다.

23.05.01 11:10 작성

·

641

3

안녕하세요.

실습을 진행하면서 막혀서 여쭙습니다.

막힌 부분은 fine tuning 입니다.

구글 코랩에서 contents하단에 예제 파일을 업로드 하고

/content/fine_tuning_data.json

1.실행전 필요하다고 생각한 인스톨을 진행하고

pip install openai

pip install openai_secret_manager

export OPENAI_API_KEY="sk-@@@J"

2.실행

openai tools fine_tunes.prepare_data -f /content/fine_tuning_data.json

*에러 메세지

File "<ipython-input-2-e56f31c80683>", line 1

openai tools fine_tunes.prepare_data -f /content/fine_tuning_data.json

^

SyntaxError: invalid syntax

3.실행

openai api fine_tunes.create -t /content/fine_tuning_data.json -m babbage

위와 같은 메세지 입니다.

가르침 요청 드려 봅니다.

#블로그를 찾아보고 알려 주는 방법으로 실행해 보아도 역시 안되네요.

Error: No API key provided. You can set your API key in code using 'openai.api_key = <API-KEY>' 즉, openai.api_key에 API key를 셋팅하라는 메세지입니다. 먼저, 기본적으로 Fine-tuning을 위해 다음과 같이 명령어를 입력해야 하는데요.

openai api fine_tunes.create -t <TRAIN_FILE_ID_OR_PATH> -m <BASE_MODEL>

이 상태 그대로 입력하게 되면 위 에러 메세지를 받게 될 것입니다. 따라서, OpenAI의 GPT Fine-tuning을 위해서는 아래와 같이 명령어를 구성해서 보내야 합니다.

openai --api-key YOUR_KEY api fine_tunes.create -t example_prepared.jsonl -m davinci

답변 1

1

미쿡엔지니어님의 프로필 이미지
미쿡엔지니어
지식공유자

2023. 05. 01. 13:10

안녕하세요 kinghm10님

일단 환경 설정은 잘 된 거 같은데요.

export OPENAI_API_KEY="<OPENAI_API_KEY>"

혹시 openai api의 버전이 최신 버전인지 확인을 해 보시기 바랍니다. 제 생각에는 openai 파이썬 버전이 잘 못 된거 같은데요. 제 버전은 0.27.2로 되어있네요

pip install openai==0.27.2로 한번 해보시겠어요?

그게 아니라면 JSON이 JSONL인지 확실히 알아보세요. 강의에서도 언급한 거 같은데 JSON 포맷에 리스트로 되어 있으면 안됩니다. 그에 반해 JSONL은 각각의 라인이 딕셔너리입니다.

그래도 안되면 또 답변 주세요 :D

제 코드는

https://github.com/dimz119/learn-openai/blob/main/python-chatgpt/python_chatgpt/fine_tuning.py

https://github.com/dimz119/learn-openai/blob/main/python-chatgpt/python_chatgpt/fine_tuning_data.json

https://github.com/dimz119/learn-openai/blob/main/python-chatgpt/python_chatgpt/fine_tuning_data_prepared.jsonl

https://github.com/dimz119/learn-openai/blob/main/python-chatgpt/python_chatgpt/fine_tune_output.txt

입니다

 

 

 

kinghm10님의 프로필 이미지
kinghm10
질문자

2023. 05. 01. 13:37

이렇게 빠른 답변과 자세한 설명 감사합니다. 진행해 보겠습니다. 이전 까지의 실습은 잘 진행이 되다가... 막히니. 제가 무엇을 잘못 했는지 이것 저것 찾아 보다 질문을 드리게 되었습니다. 강의 구성도 내용도 너무 좋았답니다. 감사합니다.

kinghm10님의 프로필 이미지
kinghm10
질문자

2023. 05. 01. 16:19

실행 되었습니다. 실행 되는 것을 보니 기쁘네요^^ 감사합니다.

그런데 왼쪽 체크 좋아요 표시를 눌러도 상태가 "미해결이네요"

잘 해결 받아 변경하고 싶은데.. ㅜㅜ

미쿡엔지니어님의 프로필 이미지
미쿡엔지니어
지식공유자

2023. 05. 01. 22:10

ㅎㅎㅎ 잘 해결되어 다행이네요! 좋은 강의 리뷰 남겨 주시면 됩니다 ㅎㅎㅎ

kinghm10님의 프로필 이미지

작성한 질문수

질문하기