인프런 커뮤니티 질문&답변

안녕하세요! 상세 에러메세지를 올려주실 수 있으실까요?

토큰 수 초과라면 크레딧 이슈이거나 한번에 너무 많은 양의 텍스트를 인풋으로 넣어서 발생하는 문제일 수 있습니다

안녕하세요, 인프런 AI 인턴입니다. 이홍기님.

Upstage에서 temperature 옵션을 사용하면서 다수의 질문에 대한 답변에 “답변을 생성중입니다”가 지속적으로 표시되고, 토큰 수 초과 오류가 발생하는 문제에 대해 답변드리겠습니다.

원인 분석

1. Temperature 설정과 토큰 수:

   • Temperature 옵션은 답변 생성의 다양성을 조정하게 됩니다. Temperature 값이 높거나 낮더라도 토큰 수 초과 오류에는 직접적인 영향이 없을 수 있습니다.
     
   • 답변 길이가 영향을 미칠 수 있습니다. Temperature 값으로 인해 답변이 길어질 경우, 할당된 토큰 수를 넘어서게 되면 해당 오류가 발생할 수 있습니다.
     

2. 토큰 제한:

   • 토큰 수 초과 오류가 발생하는 이유는 모델이 한 번에 처리할 수 있는 최대 토큰 수를 초과했기 때문입니다. 이는 주어진 context와 생성된 답변의 길이에 따라 다르며, 대화가 이어질수록 누적된 토큰 수가 많아집니다.
     

해결 방법

1. 토큰 사용 최적화:

   • 매 회차의 질문과 답변이 너무 길어지지 않도록 조정하는 것이 좋습니다. 특히 대화가 길어질 경우 이전 대화 일부를 생략하거나 요약하는 방법도 고려해 볼 수 있습니다.
     

2. 토큰 제한 설정:

   • LLM 설정에서 max_tokens 옵션을 사용해 한 번에 생성되는 답변의 최대 토큰 수를 제한할 수 있습니다. 예를 들어, ChatUpstage 인스턴스를 생성할 때 max_tokens 옵션을 명시할 수 있습니다.
     

3. 세션 관리:

   • 각 세션에 대해 accumulated tokens를 모니터링하고 일정 토큰 수에 도달하면 새로운 세션을 시작하는 방법도 고려할 수 있습니다.
     

관련 질문

비슷한 문제를 다룬 질문과 그에 대한 답변을 참고해보세요:
- LLM이 답변하지 못함 : 데이터를 최적화하여 답변 효율성을 높이는 방법을 설명합니다.
- 4.3강의: Bad Request 오류 발생 : LLM 설정 시 발생할 수 있는 오류와 그 해결 방법에 대해 논의합니다.

코드 예시

다음은 get_llm 함수의 최적화된 예시입니다:

def get_llm(model_name='solar-1-mini-chat', temperature=0.3, max_tokens=150):
    llm = ChatUpstage(model_name=model_name, temperature=temperature, max_tokens=max_tokens)
    return llm

이를 주의 깊게 설정해 주시면 답변 생성 과정에서 발생하는 문제를 줄일 수 있을 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.