“AI 챗봇 만드는 거 어렵지 않나요?”
주변에서 AI 관련 프로젝트를 만든다고 하면 가장 많이 듣는 말이 이것입니다. 결론부터 말하면, 기본적인 챗봇은 생각보다 어렵지 않습니다.
다만 “제대로 작동하는” 챗봇을 만드는 건 전혀 다른 이야기입니다. 직접 주식 정보 AI 에이전트를 만들면서 느낀 것들을 정리해봤습니다.
챗봇의 기본 구조는 단순합니다
가장 단순한 챗봇은 사용자의 질문을 받아 GPT API에 전달하고, 돌아온 답변을 화면에 보여주는 구조입니다. 파이썬 기준으로 OpenAI 라이브러리를 설치하고 API 키를 연결하면 기본 동작은 금방 구현할 수 있습니다.
문제는 그다음부터입니다. 단순히 GPT에 질문을 넘기는 방식으로는 한계가 명확합니다. 최신 정보를 모르고, 틀린 정보를 자신 있게 말하며, 이전 대화 내용을 기억하지 못합니다.
실제로 쓸 만한 챗봇을 만들려면
직접 만들어보면서 세 가지가 핵심이라는 걸 알게 됐습니다.
첫째, 외부 데이터를 연결해야 합니다.
GPT는 학습된 데이터까지만 알고 있습니다. 실시간 주가나 최근 뉴스가 필요하다면 yfinance나 Tavily 같은 외부 API를 연결해서 필요한 데이터를 직접 가져와야 합니다.
둘째, 질문 유형에 따라 처리 방식을 나눠야 합니다.
“삼성전자 주가 알려줘”와 “PER이 뭐야?”는 전혀 다른 방식으로 처리해야 합니다. 전자는 실시간 데이터가 필요하고, 후자는 정확한 개념 설명이 필요합니다. 이걸 하나의 LLM으로 처리하면 품질이 떨어집니다. 그래서 질문 유형을 자동으로 분류하고 적합한 처리 방식으로 연결하는 구조가 필요합니다.
셋째, 대화 맥락을 기억해야 합니다.
“그 회사 배당은 얼마야?”라는 질문은 직전에 어떤 회사 얘기를 했는지 알아야 답할 수 있습니다. 이전 대화 내용을 저장하고 다음 질문에 맥락으로 붙여주는 구조가 없으면 매번 처음부터 설명해야 하는 불편함이 생깁니다.
만들어보고 나서 달라진 시각
ChatGPT를 그냥 쓸 때는 몰랐던 것들이 직접 만들면서 보이기 시작했습니다. 왜 AI가 가끔 틀린 말을 하는지, 왜 어떤 서비스는 빠르고 어떤 서비스는 느린지, 왜 출처를 함께 제공하는 AI가 더 신뢰할 수 있는지가 자연스럽게 이해됐습니다.
AI 챗봇을 만드는 과정은 단순히 개발 기술을 익히는 것 이상의 경험이었습니다. AI가 어떻게 작동하는지를 몸으로 이해하게 되는 과정이기도 했습니다. 관심이 있다면 아주 간단한 것부터 직접 만들어보는 걸 추천드립니다.
추천 내부 링크
- 주식 AI 에이전트 구현기 — 이 글에서 소개한 구조를 실제로 구현한 프로젝트 글
- ChatGPT 할루시네이션 이유 — AI가 틀린 정보를 말하는 원인을 설명한 글
- ChatGPT API 처음 써보는 법 — 직접 API 연결해보고 싶은 분을 위한 입문 글
- RAG란 무엇인가 — 외부 문서를 AI에 연결하는 구조를 쉽게 설명한 글
