GPT api 토큰 제한

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 2 - 랭체인(LangChain)으로 나만의 ChatGPT 만들기

CodeTextSplitter, MarkdownHeaderTextSplitter - 프로그래밍 코드와 마크다운 텍스트를 적절한 의미단위로 나누기 & 토큰(Token) 단위로 텍스트를 나누기

작성

1.2K

안녕하세요. 강의 잘 듣고 있습니다.

한 가지 궁금한 것이 있는데,

SQL agent로 많은 데이터셋을 넣어주면서 질문을 할 경우 GPT4 api 를 사용했을 때 금방 하루 토큰을 다 사용했다고 뜹니다.

개인 api는 하루용 토큰이 이렇게 금방 소진 되어 테스트를 많이 해볼 수가 없어서요,

그러면 기업용으로 api를 구매하면 하루에 사용 가능한 토큰에 제한이 없는지 궁금합니다.

답변 1

지식공유자

안녕하세요~. 반갑습니다.

현재 OpenAI 정책상 결제 금액에 따라서 계정의 티어(tier)를 나누고 티어에 따라서 모델의 할당량을 다르게 설정하고 있습니다.

티어를 올리고 싶으시다면 티어 충족 금액을 결제한뒤 n일이 지나면 티어가 올라가고 할당량을 늘릴 수 있습니다.

티어와 티어별 모델 할당량에 대한 자세한 내용은 아래 문서를 참조하세요.

좋은 하루되세요.

감사합니다.

질문자

감사합니다~ 덕분에 궁금증이 해소 됐네요!

인프런 커뮤니티 질문&답변