챗봇은 단순한 모델이 아니라 시스템입니다

가장 간단하면서도 유용한 개념 모델은 대화 형태의 애플리케이션입니다.

사용자는 메시지 입력창과 이어지는 답변을 봅니다. 그 인터페이스 뒤에서는 여러 구성 요소가 함께 작동합니다.

Your message
    ↓
Chat application loads instructions and conversation state
    ↓
AI model interprets the request or drafts a response
    ↓
Application may retrieve data or use another service
    ↓
Rules and safety checks run
    ↓
Reply appears and selected state is saved

The LLM은 오늘날 많은 챗봇에서 사용되는 구성 요소 중 하나입니다. LLM은 언어를 생성하거나 해석합니다. 챗봇은 모델에 무엇을 보여줄지 결정하고, 모델을 정보에 연결하며, 출력을 표시하고, 모델이 요청을 안전하게 처리할 수 없을 때 어떻게 대응할지 관리하는 더 큰 제품입니다.

모든 AI 챗봇이 LLM을 사용하는 것은 아닙니다. 작업 중심 챗봇은 머신러닝을 사용해 사용자의 의도를 분류하고 메시지에서 세부 정보를 추출할 수 있습니다. LLM 기반 챗봇은 지시와 맥락을 바탕으로 새로운 답변을 생성할 수 있습니다. 많은 프로덕션 챗봇은 예측 가능한 동작이 필요한 작업에 대해 생성 언어와 고정 규칙을 결합합니다.

AI 챗봇의 작동 방식

각 메시지는 새로운 턴을 시작합니다. 일반적인 턴은 여섯 단계로 이루어집니다.

1. 메시지 받기

채널은 웹사이트, 모바일 앱, 메시징 서비스 또는 음성 인터페이스일 수 있습니다. 사용자가 말하는 경우에는 음성 인식 소프트웨어가 먼저 오디오를 텍스트로 변환합니다.

2. 대화 상태 불러오기

애플리케이션은 보관하도록 선택한 정보를 불러옵니다. 여기에는 최근 메시지, 이전 메시지의 짧은 요약, 사용자의 계정 상태 또는 작업 진행 상황이 포함될 수 있습니다.

챗봇이 기억하는 것처럼 보이는 이유가 바로 이것입니다. 모델이 이전 호출 내용을 모두 자동으로 비공개 메모리에 보관하는 것은 아닙니다. 애플리케이션이나 모델 서비스가 관련 상태를 저장하고 이후 턴에 다시 제공해야 합니다.

3. 요청 해석하기

의도 기반 챗봇은 메시지를 알려진 목표(예: track_order)에 매핑하고 주문 번호와 같은 필요한 세부 정보를 추출합니다. 필수 정보가 누락되면 대화 규칙을 따르고 해당 정보를 요청합니다.

LLM 기반 챗봇은 제품 지침, 사용자의 메시지, 선택된 대화 기록, 관련 레코드 등이 포함될 수 있는 입력 묶음을 받습니다. 그런 다음 다음 답변을 생성합니다. 이 묶음을 구성하는 것은 사용자에게 보이는 채팅창이 아니라 애플리케이션입니다.

4. 정보 가져오기 또는 제한된 작업 수행하기

챗봇은 승인된 지식 베이스를 검색하거나, 주문을 조회하거나, 지원 티켓을 생성하거나, 다른 서비스를 호출할 수 있습니다. 이러한 연결은 서로 별개의 기능입니다. 챗봇이 데이터베이스의 내용을 이야기할 수 있다고 해서 언어 모델이 데이터베이스에 액세스할 수 있게 되는 것은 아닙니다.

주변 소프트웨어는 데이터를 공개하거나 무언가를 변경하기 전에 사용자가 누구인지, 무엇을 할 수 있는지 확인해야 합니다.

5. 응답 확인 및 반환하기

애플리케이션은 안전하지 않은 요청을 거부하거나, 근거 없는 콘텐츠를 제거하거나, 정해진 확인 절차를 요구하거나, 대화를 사람에게 전달할 수 있습니다. 일부 답변은 모델이 작성합니다. 다른 답변은 검증된 데이터로 채운 템플릿입니다. 하나의 대화에서 두 방식을 모두 사용할 수 있습니다.

6. 다음 턴에 필요한 내용 저장하기

챗봇은 나중에 사용할 수 있도록 선택한 메시지, 작업 진행 상황 또는 요약을 저장합니다. 검토를 위해 품질 신호를 기록할 수도 있습니다. 향후 개선 가능성을 위해 대화를 저장하는 것은 대화 중에 모델을 재학습시키는 것과 다릅니다.

예시: 배송 주소 변경하기

다음과 같이 입력한다고 가정해 보겠습니다.

사용자: 주문 4821은 어디에 있나요?
챗봇: 포장되었지만 아직 배송되지는 않았습니다.

챗봇은 사용자의 계정을 인증하고, 4821을 추출하고, 주문 레코드를 조회한 다음, 검증된 상태를 짧은 답변으로 바꿨을 수 있습니다.

이어서 다음과 같이 입력합니다.

사용자: 배송 주소를 변경할 수 있나요?

“그것의”라는 표현은 이전 턴이 있기 때문에 의미를 가집니다. 챗봇 애플리케이션은 관련 상태, 즉 현재 주문이 4821이라는 정보를 제공합니다. 또한 배송 전에만 주소를 변경할 수 있다는 규칙도 조회합니다.

이제 시스템에는 주문과 주문 상태가 있지만 새 주소는 없습니다. 잘 설계된 챗봇은 추측하거나 성공했다고 주장하지 않습니다. 대신 누락된 정보를 요청합니다.

챗봇: 네. 주문 4821은 아직 배송되지 않았으므로 주소를 변경할 수 있습니다. 어떤 주소를 사용하면 될까요?

주소를 제공하면 애플리케이션이 주소를 검증하고 업데이트를 제출하기 전에 최종 확인을 표시할 수 있습니다. 주문이 이미 배송된 상태라면 제한 사항을 설명하거나 대화를 지원 담당자에게 전달할 수 있습니다.

이 대화는 하나의 연속적인 대화처럼 느껴집니다. 하지만 소프트웨어에서는 저장된 상태, 데이터 조회, 비즈니스 규칙, 명시적인 실패 처리 경로로 연결된 별도의 턴들이 순서대로 진행됩니다.

AI 챗봇이 중요한 이유

챗봇은 경직된 인터페이스를 유연한 언어 인터페이스로 바꿉니다. 적절한 메뉴, 양식 또는 검색어를 찾는 대신 자신의 말로 필요한 것을 설명할 수 있습니다. 후속 메시지를 사용하면 처음부터 다시 시작하지 않고 요청을 구체화할 수 있습니다.

이러한 유연성은 지원, 정보 검색, 접수, 안내형 작업에 유용합니다. 하지만 위험도 발생합니다. 생성된 언어는 틀린 내용도 확신에 차 있는 것처럼 들리게 할 수 있습니다. 챗봇은 대명사가 무엇을 가리키는지 잘못 이해하거나, 잘못된 레코드를 조회하거나, 허용 범위를 벗어난 요청을 처리하려고 할 수 있습니다.

따라서 챗봇의 품질은 모델만으로 결정되지 않습니다. 액세스할 수 있는 정보, 상태 관리 방식, 허용된 작업, 불확실성 처리 방식, 사람에게 명확하게 연결할 수 있는 경로의 존재 여부에 따라 달라집니다.

흔한 오해

“챗봇은 LLM이다”

LLM은 입력으로부터 텍스트를 생성할 수 있습니다. 챗봇은 여기에 대화 인터페이스, 지침, 상태, 데이터 연결, 권한, 확인 절차, 제품 동작을 더합니다. 모델을 변경하면 전체 챗봇을 교체하지 않고도 챗봇의 성능이 달라질 수 있습니다.

“내가 말한 것을 전부 기억한다”

챗봇은 설계와 데이터 정책에 따라 보존하고 다시 제공하는 내용만 기억합니다. 전체 기록, 축약된 요약, 선택된 사실 또는 이전 맥락을 전혀 받지 않을 수 있습니다. 새 세션은 계속 진행 중인 세션과 다르게 작동할 수 있습니다.

“모든 대화에서 학습한다”

대개는 그렇지 않습니다. 챗봇이 대화 중에 모델을 업데이트하는 것은 아닙니다. 운영자는 로그를 검토하거나, 평점을 수집하거나, 지침을 변경하거나, 원본 자료를 업데이트하거나, 이후 모델을 학습시킬 수 있습니다. 이는 서로 별개의 프로세스입니다.

“자연스러운 답변은 검증된 답변이다”

유창함은 표현 방식의 특성일 뿐, 주장이 사실이라는 증거가 아닙니다. 챗봇은 출처를 확인하지 않고도 그럴듯한 진술을 생성할 수 있습니다. 중요한 사안이나 계정별 답변의 경우 유용한 근거에는 인용, 검증된 레코드, 확인 절차, 명확한 제한 사항이 포함됩니다.

“모든 AI 챗봇은 AI 에이전트다”

두 용어는 겹치는 부분이 있고, 공급업체마다 다르게 사용합니다. 챗봇은 주로 대화로 정의됩니다. 에이전트는 일반적으로 더 높은 수준의 독립성으로 목표를 향해 여러 단계를 선택하고 수행할 것으로 기대됩니다. 챗봇이 제한된 작업을 수행한다고 해서 자율 에이전트가 되는 것은 아닙니다.

챗봇이 더 넓은 AI 시스템에 속하는 방식

모델은 언어 엔진입니다. 챗봇은 모델을 둘러싼 대화형 제품입니다. 하네스는 지침, 상태, 데이터, 모델 호출, 허용된 작업을 조정합니다. 에이전트는 여러 단계의 작업에서 더 많은 주도권을 행사하면서 동일한 구성 요소를 사용할 수 있습니다.

이들은 상호 배타적인 제품 라벨이 아니라 계층입니다. 하나의 제품이 챗봇 인터페이스를 제공하고, LLM을 모델로 사용하며, 하네스로 각 턴을 조정하고, 에이전트와 유사한 몇 가지 작업을 제공할 수 있습니다. 유용한 질문은 마케팅 페이지에서 무엇이라고 부르는지가 아닙니다. 상태가 어디에 저장되는지, 시스템이 어떤 데이터에 액세스할 수 있는지, 어떤 작업을 수행할 수 있는지, 어떤 결정에 확인이 필요한지를 물어보세요.

다음에 읽을 내용

현재 많은 챗봇 내부에서 사용되는 언어 모델에 대해서는 LLM이란 무엇인가요?를 읽어 보세요. 해당 모델 주변에서 맥락, 도구, 제어 기능을 관리하는 소프트웨어 계층에 대해서는 AI 하네스란 무엇인가요?를 읽어 보세요. 그런 다음 제품 설명에서 자주 뒤섞이는 계층을 구분하려면 AI 모델 vs. 챗봇 vs. 하네스 vs. 에이전트를 활용하세요.