이번에는 토큰(Token) 수 계산 방법에 대해 살펴보도록 할게요. OpenAI API를 사용하다 보면 토큰(Token) 수에 따라 비용이 책정되는 것을 볼 수 있는데요, 이것은 LLM기반 생성형 AI 모델을 사용함에 있어서 반드시 적용되는 부분으로 어떤 모델을 사용하던지 필요한 단위가 됩니다. OpenAI API input/output token(토큰) 계산간단히 말하자면, LLM(대규모 언어 모델)은 이미 언어를 구성할때 토큰이라는 개념을 사용합니다. 때문에 생성형 AI를 사용함에 있어서 토큰이 사용량 측정의 기본 단위가 되는 것은 어쩌면 너무나 당연한 것입니다. 그러므로, 이러한 기본 단위인 토큰을 기준으로 사용량에 따른 비용을 책정한다는 것은 너무나 당연하다고도 할 수 있죠. 결국, 내가 얼마나..

이번에는 프롬프트 엔지니어링 방법을 이용해서 어떤 텍스트 자료에서 원하는 정보를 추출하거나 어떤 요소를 추축해 내는 방법에 대해 다뤄보겠습니다. 정보 추출 자동화 프롬프트 방법기업과 조직이 다루는 데이터 중 상당수는 문장으로 이루어진 비정형 텍스트입니다. 개인마다 다르겠지만, 저 같은 경우도 개인적으로 필요한 데이터는 모두 텍스트 형식이죠. 이런 데이터를 사람이 직접 읽고 분류하는 데에는 시간이 많이 소요됩니다. 더구나, 많은 데이터를 분류하다 보면 분류 기준의 일관성도 흔들리기 쉽습니다.만일, 특정 정보만 선별해 구조화된 형태로 추출할 수 있다면, 개인이나, 조직의 분석 효율을 높이고 운영 의사결정을 빠르게 내릴 수 있을 거예요. GPT를 활용한 정보 추출GPT 모델은 사용자가 입력한 프롬프트..