인프런 커뮤니티 질문&답변

dev님의 프로필 이미지
dev

작성한 질문수

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

PEFT 실습 3 - RoBERTa Semantic Similarity 모델에 P-Tuning 적용하기 (MRPC 데이터셋)

PEFT 수업에서 실습 모델 선택 기준이 궁금합니다.

작성

·

186

0

안녕하세요, 제공해주신 유익한 수업 잘 듣고있습니다 🙂 현재 PEFT 부분 강의를 듣고 있는데요, 강의를 듣다가 궁금한 점이 생겼는데, 각 PEFT 방법들을 적용한 실습에서 backbone 모델과 데이터셋이 계속 바뀌는 것이었습니다.PEFT 방법과 task(dataset), backbone 모델의 조합을 어떻게 구성해서 실습을 할 지에 대한 선택 사항이 있었을 거 같은데, 선택하는데 있어서 특정한 기준이 있었는지 궁금합니다.예를 들면 아래와 같은 궁금증들 입니다.
  1. PEFT 방법 별로 잘 동작하는 task가 있는가?
  2. 다양한 task에 적용이 가능하단걸 보여주시기 위해서 여러 데이터셋을 사용한 것이고, 각 데이터셋 별로 잘 동작하는 backbone 모델을 선택한 것인가?
  3. 아니면 PEFT 방법과 데이터셋, backbone 모델 모두 자유롭게 선택이 가능해서 자유롭게 바꿔가면서 한 것인가?
제가 LLM 공부를 갓 시작한 단계라 잘 몰라서 드린 질문일 수도 있으니 양해부탁드립니다 ㅎ

답변 1

0

AISchool님의 프로필 이미지
AISchool
지식공유자

안녕하세요~. 반갑습니다.

수업을 잘 듣고 계시다니 기쁘네요^^.

PEFT 방법별로 명백히 잘 동작하는 task와 backbone 따로 있는 것은 아닙니다.

다양한 예시를 위해서 다양한 backbone 모델과 데이터셋을 사용한 것으로 생각하시면 됩니다.

좋은 하루 되세요.

감사합니다.

dev님의 프로필 이미지
dev

작성한 질문수

질문하기