korquad 데이터셋 편집 방법 문의

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)

작성

343

안녕하세요. 강사님.

강의 잘 듣고 있습니다.

제가 가지고 있는 csv 포맷 데이터의 일부를 korquad에 넣고 파인튜닝을 해보려는데, 어떻게 편집할 수 있을지 방법을 찾지못해 문의 드립니다.

관련 영상이나 강의를 알려주실 수 있을지요.

검토 부탁드립니다.

좋은 강의 만들어주셔서 고맙습니다. :)

딥러닝 pytorch chatgpt llm llama

답변 2

AISchool

지식공유자

안녕하세요~. 반갑습니다.

먼저 강의를 잘 듣고 계신다니 기쁘네요^^.

csv 파일을 다루기 위해서는 python 코드를 작성해야만하는데요.

예전에는 python 프로그래밍을 공부하고 적용하려면 python 프로그래밍을 기초부터 차근차근 공부를 했었어야만 했는데요.

요즘은 ChatGPT가 코드를 잘 작성해주기 때문에 프로그래밍에 익숙하지 않은 분들은 "내가 원하는 로직에 대응되는 Python 코드를 ChatGPT에게 한글로 잘 질문해서 ChatGPT가 작성해준 Python 코드를 받아내고, 혹시 ChatGPT가 작성해준 코드에 부족한 부분이 있으면 ChatGPT에게 해당 부분을 보완요청하는 한글 질문을 다시 요청"하는 형태로 진행해서 Python 코드를 ChatGPT로부터 얻어내면 예전에 비해 원하는 로직에 대응되는 Python 코드를 작성하기가 훨씬 쉬워졌습니다.

아래 제 강의에서 위에 언급한 내용을 다루고 있으므로 혹시 관심 있으시다면 아래 강의를 수강하면서 ChatGPT를 이용해서 Python 코드를 작성하는 방법을 학습해보시기 바랍니다.

모두를 위한 ChatGPT Part 1 - ChatGPT를 이용한 업무자동화와 파이썬 입문 [ https://inf.run/bBnG ]

다만 계속해서 프로그래밍을 진행하실 예정이라면 장기적인 관점에서 위 강의와 함께 인프런에 있는 다른 Python 프로그래밍을 기초부터 고급내용까지 자세히 다루는 강의도 함께 수강하시면서 기본기도 같이 쌓아나가시면 좋을 것 같습니다.

좋은 하루되세요.

감사합니다.

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.
bj님, 강의를 열심히 들으시고 계신다니 정말 기쁩니다.

KorQuAD 데이터셋의 경우 JSON 포맷으로 질의응답(QA) 데이터가 구성되어 있습니다. CSV 포맷의 데이터를 KorQuAD 형식에 맞게 편집하려면, 먼저 JSON 구조를 이해하고 있어야 합니다.

편집 방법은 CSV 파일에서 필요한 정보를 추출하고, 이를 KorQuAD JSON 스키마에 맞게 변환하여 새로운 JSON 파일을 만드는 것입니다. 이 과정에서 파이썬 등의 프로그래밍 언어를 이용해 스크립트를 작성하시면 효율적으로 작업하실 수 있습니다.

만약 CSV 파일을 JSON으로 변환하는 방법이 처음이시라면, 파이썬을 이용한 데이터 변환 관련 기본적인 강의나 자료를 찾아보시는 것이 도움이 될 수 있습니다. 아래 링크는 인프런 내에서 파이썬을 활용한 데이터 처리 강의를 찾을 수 있는 페이지입니다:

인프런 파이썬 강의: https://www.inflearn.com/courses?s=파이썬

궁금한 점 있으시면 수강 중인 강의의 ‘수강 후 문의하기’ 기능을 활용하시거나 다른 관련 강의를 찾아 적용해 보시는 것도 좋은 방법입니다.

강의에 관련된 보다 구체적인 질문은 해당 강의의 문의하기 기능을 통해 직접 강사님께 여쭤보시는 것을 추천드립니다.

도움이 되셨길 바라며, 좋은 학습 결과 있으시길 바랍니다!

인프런 커뮤니티 질문&답변

korquad 데이터셋 편집 방법 문의