이번에는 토큰(Token) 수 계산 방법에 대해 살펴보도록 할게요. OpenAI API를 사용하다 보면 토큰(Token) 수에 따라 비용이 책정되는 것을 볼 수 있는데요, 이것은 LLM기반 생성형 AI 모델을 사용함에 있어서 반드시 적용되는 부분으로 어떤 모델을 사용하던지 필요한 단위가 됩니다. OpenAI API input/output token(토큰) 계산간단히 말하자면, LLM(대규모 언어 모델)은 이미 언어를 구성할때 토큰이라는 개념을 사용합니다. 때문에 생성형 AI를 사용함에 있어서 토큰이 사용량 측정의 기본 단위가 되는 것은 어쩌면 너무나 당연한 것입니다. 그러므로, 이러한 기본 단위인 토큰을 기준으로 사용량에 따른 비용을 책정한다는 것은 너무나 당연하다고도 할 수 있죠. 결국, 내가 얼마나..

이번에는 프롬프트 엔지니어링 마지막 이야기로, OpenAI API의 "Chat Format"을 활용한 대화형 챗봇(ChatBot)을 구현해 보도록 할게요. 생성형 AI을 이해하는 데에 있어서 대화형 챗봇은 아주 좋은 예가 될 거예요. OpenAI API Chat Format으로 챗봇 만들기 역할 기반 메시지 구성Chat API의 핵심은 role 기반 메시지 시스템이에요. 모든 대화는 다음과 같은 역할로 구분됩니다.system: 초기 설정과 규칙을 정합니다. user: 사용자가 입력한 메시지입니다.assistant: 모델이 생성한 답변입니다.이 구조를 활용하면 원하는 성격과 기능을 가진 챗봇을 쉽게 설계할 수 있죠, 다음 예시 코드를 보면 잘 이해할 수 있을 거예요.messages = [ {"rol..

이번에는 프롬프트 엔지니어링 방법을 이용해서 어떤 텍스트 자료에서 원하는 정보를 추출하거나 어떤 요소를 추축해 내는 방법에 대해 다뤄보겠습니다. 정보 추출 자동화 프롬프트 방법기업과 조직이 다루는 데이터 중 상당수는 문장으로 이루어진 비정형 텍스트입니다. 개인마다 다르겠지만, 저 같은 경우도 개인적으로 필요한 데이터는 모두 텍스트 형식이죠. 이런 데이터를 사람이 직접 읽고 분류하는 데에는 시간이 많이 소요됩니다. 더구나, 많은 데이터를 분류하다 보면 분류 기준의 일관성도 흔들리기 쉽습니다.만일, 특정 정보만 선별해 구조화된 형태로 추출할 수 있다면, 개인이나, 조직의 분석 효율을 높이고 운영 의사결정을 빠르게 내릴 수 있을 거예요. GPT를 활용한 정보 추출GPT 모델은 사용자가 입력한 프롬프트..

오늘은 지금까지 다뤄왔던 프롬프트 엔지니어링 기술 이외 파이썬 자체 라이브러리 중 Jupyter Notebook이나 콘솔 환경에서 아주 유용한 IPython 라이브러리에 대해 살펴보겠습니다. IPython.display와 ipywidgetsIPython이란?파이썬을 다루다 보면 콘솔에 출력해야 하는 경우가 흔히 있죠. 특히 Jupyter Notebook을 이용해서 간단한 테스트를 실행해 본다던가 하는 경우는 거의 콘솔과 같은 환경에서 출력을 확인해야 합니다. 이때, 다양한 출력 형태를 만들어 주는 라이브러리가 IPython입니다. IPython은 Jupyter Notebook의 핵심 커널로서 작동하며, 코드 실행뿐 아니라 시각적 피드백을 즉각 제공하는 것이 장점입니다. Jupyter Notebook코드,..

이번 글에서는 지난번에 시작했던, 프롬프트 엔지니어링을 이용해서 GPT에게 원하는 답을 얻는 방법 중 GPT에게 명확하게 구체적으로 잘 묻는 방법에 이어서 GPT의 응답을 명확하게 하도록 요구하는 방법에 대해 이야기해 보겠습니다. OpenAI GPT 출력 형식 설정으로 JSON 파싱과 프롬프트 엔지니어링 GPT에게 잘 묻는 방법지난 글에서는 구분자를 이용해서 지시/요청/질문하는 형식을 말했어요. 오늘은 GPT에게 지시(instruction) 하기 위해 프롬프트를 작성할 때, 응답형식을 정의하는 방법에 대해 이야기해 볼게요. [일단 지난 글과 비슷하게 get_completion 함수를 다음과 같이 구성했고요.def get_completion(prompt): response = openai.chat...

이번 글부터는 최근 이슈가 되고 있는 생성형 AI와 관련한 기술에 대해 시작해 보겠습니다. 그중 오늘부터 몇 회에 걸쳐 프롬프트 엔지니어링에 살펴보겠습니다. 물론, 가장 많이 사용되는 OpenAI의 GPT 기반으로 설명하게요. 프롬프트 엔지니어링을 이용해서 GPT에게 원하는 답을 얻는 방법챗지피티를 사용하는 사람들 중에서도 "AI가 원하는 답을 주지 않아!"라고 하는 사람들이 가끔 있더라고요, 이때는 그저 '자세하게 질문해'라고 대답을 해주곤 하는데요, 사실은 이 말이 매우 정확하게 충고해 주는 거예요. 챗GPT는 사용자의 입장을 고려해서 사용자는 알 수 없지만, 중간에서 사용자의 요구에 대해 GPT가 보다 적극적이고 자세하고 사용자가 알기 쉽게 대답하도록 가공하는 단계가 있어요. 때문에 챗GPT에게 어..