대규모 언어 모델(LLM)에서 자연어 처리의 핵심 개념 중 하나는 토큰(Token)입니다. OpenAI에서 개발한 tiktoken 라이브러리는 바로 이 토큰수를 예상할 수 있는 라이브러리입니다. 이번에는 tiktoken를 어떻게 활용할 수 있는지 코드와 함께 정리해 보겠습니다. OpenAI LLM 토큰수 계산하기 tiktoken 라이브러리tiktoken은 OpenAI의 모델들이 텍스트를 인코딩(토큰화)하고 디코딩하는 데 사용하는 BPE(Byte Pair Encoding)입니다. 쉽게 말해, 우리가 작성하는 문장을 모델이 이해할 수 있는 작은 숫자(토큰 ID)들의 배열로 변환하거나, 반대로 토큰 ID 배열을 다시 우리가 읽을 수 있는 문장으로 변환해 주는 역할을 합니다. 다음과 같이 활용됩니다.토큰 수 ..

이번에는 토큰(Token) 수 계산 방법에 대해 살펴보도록 할게요. OpenAI API를 사용하다 보면 토큰(Token) 수에 따라 비용이 책정되는 것을 볼 수 있는데요, 이것은 LLM기반 생성형 AI 모델을 사용함에 있어서 반드시 적용되는 부분으로 어떤 모델을 사용하던지 필요한 단위가 됩니다. OpenAI API input/output token(토큰) 계산간단히 말하자면, LLM(대규모 언어 모델)은 이미 언어를 구성할때 토큰이라는 개념을 사용합니다. 때문에 생성형 AI를 사용함에 있어서 토큰이 사용량 측정의 기본 단위가 되는 것은 어쩌면 너무나 당연한 것입니다. 그러므로, 이러한 기본 단위인 토큰을 기준으로 사용량에 따른 비용을 책정한다는 것은 너무나 당연하다고도 할 수 있죠. 결국, 내가 얼마나..