안녕하세요 P-tuning 관련 질문있습니다.

인프런 커뮤니티 질문&답변

작성한 질문수

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

PEFT 실습 3 - RoBERTa Semantic Similarity 모델에 P-Tuning 적용하기 (MRPC 데이터셋)

작성

134

좋은강의 감사드리며 P-tuning 관련해서 질문이 있습니다.

먼저 해당 기법이 적용된 모델로 추론시에 질문이 모델에 들어가면 모델에서 질문을 임의로 변경하여 추론한다고 생각하면 되겠죠??

그리고 프롬프트 인코더(LSTM)의 어떤값을 임베딩 벡터로 사용하는 건가요?? 그림을 봤을땐 LSTM의 입력과 출력값은 독립적이고 히든레이어의 출력값이 임베딩 벡터로 사용되는 것으로 보이는데 맞나요?

답변 1

지식공유자

안녕하세요~. 반갑습니다.

먼저 강의를 잘 듣고 계시다니 기쁘네요^^.

먼저 해당 기법이 적용된 모델로 추론시에 질문이 모델에 들어가면 모델에서 질문을 임의로 변경하여 추론한다고 생각하면 되겠죠??

질문에 [PROMPT]라는 Pseudo Token 추가 한뒤에 추론을 진행한다고 생각하시면 됩니다.

LSTM의 output layer의 출력값을 임베딩 벡터로 사용하게 됩니다.

좋은 하루되세요.

감사합니다.

작성한 질문수