용어집

토큰과 컨텍스트 윈도우부터 추론, 에이전트, 벤치마크까지 현대 AI의 핵심 용어를 쉬운 말로 정의하고, 각 항목을 자세한 설명 글로 연결합니다.

A

AI 모델: AI 모델은 입력을 예측, 분류, 추천, 행동 또는 생성된 결과와 같은 출력으로 변환하는 AI 시스템의 구성 요소입니다. 현재 대부분의 사용 맥락에서 AI 모델은 학습 데이터에 의해 동작 방식이 형성된 머신러닝 모델을 의미합니다.
AI 에이전트: AI 에이전트는 AI 모델을 사용해 다음 행동을 선택하고, 결과를 관찰하며, 작업을 완료하거나 도움이 필요하거나 한도에 도달할 때까지 계속함으로써 목표를 추구하는 소프트웨어 시스템입니다. 단순히 답변만 생성하는 모델과 달리, 에이전트는 정해진 권한 범위 내에서 도구를 통해 행동하고 여러 단계로 이루어진 프로세스를 제어할 수 있습니다.
AI 지식 컷오프: AI 지식 컷오프는 모델의 내장 지식이 학습 데이터를 반영할 것으로 예상되는 시점까지의 날짜입니다. 이는 대략적인 경계일 뿐, 모델이 그 이전의 모든 사실을 알고 있거나 AI 제품이 이후의 정보를 가져올 수 없다는 보장은 아닙니다.
AI 챗봇: AI 챗봇은 인공지능을 사용해 텍스트나 음성으로 사람과 대화하는 소프트웨어 애플리케이션입니다. 메시지를 받고, AI 모델을 사용해 메시지를 해석하거나 답변하며, 대화를 계속하는 데 필요한 맥락, 규칙, 데이터, 작업을 관리합니다.
AI 추론: AI 추론은 학습된 모델을 입력에 실행하여 모델이 학습한 내용을 업데이트하지 않고 출력을 생성하는 과정입니다. 모델을 사용하는 단계로, 사진을 입력하면 레이블이 출력되거나 프롬프트를 입력하면 생성된 텍스트가 출력됩니다.
AI 하니스: AI 하니스는 AI 모델을 둘러싸고 모델이 무엇을 입력받는지, 출력에 어떤 일이 일어나는지, 모델이 애플리케이션의 나머지 부분과 어떻게 연결되는지를 제어하는 소프트웨어입니다. 대화 기록을 관리하는 작은 코드일 수도 있고, 도구, 메모리, 권한, 재시도, 장시간 실행되는 작업을 관리하는 런타임처럼 큰 시스템일 수도 있습니다.
AI 학습: AI 학습은 모델의 조정 가능한 내부 값을 변경하여 출력이 선택한 목표를 더 잘 충족하도록 만드는 과정입니다. 프로그래머가 모든 경우에 대한 규칙을 작성하는 대신, 모델은 반복적인 피드백과 업데이트를 통해 개선됩니다.
AI의 토큰: AI에서 토큰은 LLM이 텍스트를 표현하고 생성하는 데 사용하는 어휘의 한 항목입니다. 모델의 토크나이저에 따라 토큰은 단어, 단어의 일부, 구두점, 공백 또는 인코딩된 문자의 일부에 해당할 수 있습니다.

L

LLM: 대규모 언어 모델(LLM)은 대량의 언어 데이터 모음으로 학습하여 텍스트의 개연성 높은 시퀀스를 처리하거나 생성하는 AI 모델입니다. 텍스트 생성에 사용되는 대부분의 LLM은 프롬프트를 입력받고 한 번에 작은 단위 하나씩 응답을 생성합니다.
LLM의 도구 사용: LLM의 도구 사용은 언어 모델이 데이터베이스 검색, 계산 실행, 메시지 전송과 같은 외부 작업을 요청하고, 반환된 결과를 응답에 활용할 수 있게 하는 메커니즘입니다. 일반적으로 모델이 도구를 선택하고 입력값을 제안하면, 모델을 둘러싼 소프트웨어가 해당 호출을 실행할지 결정합니다.

머

머신러닝: 머신러닝은 소프트웨어가 예시나 피드백에서 패턴을 학습하고, 학습한 패턴을 사용해 이전에 본 적 없는 사례에 대해 유용한 예측, 결정 또는 출력을 생성하도록 만드는 방법입니다. 머신러닝은 인공지능의 한 가지 접근법이지, 모든 AI를 뜻하는 동의어는 아닙니다.

멀

멀티모달 AI: 멀티모달 AI는 하나의 작업을 수행하기 위해 텍스트, 이미지, 오디오, 동영상 등 둘 이상의 데이터 유형에서 정보를 처리하고 서로 연결할 수 있는 AI입니다. 멀티모달 모델은 이미지와 서면 지시를 입력으로 받지만 텍스트만 출력할 수도 있습니다. 따라서 “멀티모달”이라고 해서 모든 데이터 유형이 입력과 출력 모두로 사용된다는 뜻은 아닙니다.

모

모델 가중치: 모델 가중치는 모델이 출력을 계산할 때 각 입력 또는 중간 신호를 얼마나 강하게 사용할지 결정하는 학습된 숫자입니다. 일반적으로 행렬 또는 텐서라는 큰 묶음으로 저장되며, 학습 과정에서 모델의 출력이 목표에 더 잘 부합하도록 값이 변경됩니다.
모델 파라미터: 모델 파라미터는 학습이 완료된 모델 내부에 저장된 수치로, 입력을 출력으로 변환하는 방식을 결정합니다. 신경망에서는 일반적으로 학습 중에 값이 결정되고 모델이 예측을 수행할 때 재사용되는 가중치와 편향이 파라미터에 포함됩니다.

생

생성형 AI: 생성형 AI는 기존 데이터에서 패턴을 학습하고, 그 패턴을 사용해 텍스트, 이미지, 오디오, 동영상 또는 코드와 같은 새로운 콘텐츠를 생성하는 인공지능입니다. 일반적으로 지시나 기타 입력에 응답하여 콘텐츠를 생성합니다.

신

신경망: 신경망은 연결된 단순한 계산 계층을 통해 입력 숫자를 유용한 출력 숫자로 바꾸는 방법을 학습하는 머신러닝 모델입니다. 이러한 계층은 학습 가능한 하나의 수학적 함수를 이루며, 실제 전자식 뇌가 아닙니다.

인

인공지능: 인공지능(AI)은 학습, 추론, 지각, 언어와 같은 능력과 관련된 방법을 사용해 예측, 콘텐츠, 추천, 의사결정 등 목표 지향적 출력을 생성하는 컴퓨터 시스템을 설계하는 분야입니다. AI는 이 분야에서 만들어진 시스템을 가리키기도 합니다.

입

입력 토큰: 입력 토큰은 모델이 다음 응답 생성을 시작하기 전에 받아 처리하는 토큰입니다. 입력 토큰은 사용자가 방금 입력한 단어뿐 아니라 모델에 전달되는 전체 요청에서 비롯됩니다.

첫

첫 토큰까지의 시간: 첫 토큰까지의 시간(Time to First Token), 즉 TTFT는 언어 모델 요청을 시작한 시점부터 응답의 첫 토큰을 받는 시점까지의 경과 시간입니다. 응답의 나머지 부분이 얼마나 빠르게 도착하는지가 아니라 초기 대기 시간을 측정합니다.

초

초당 토큰 수: 초당 토큰 수(TPS 또는 tok/s)는 AI 시스템이 1초에 생성하는 토큰 수를 측정합니다. 이 수치는 하나의 응답 출력 속도 또는 전체 서빙 시스템의 결합 처리량을 나타낼 수 있으므로, 레이블만으로는 의미가 완전하지 않습니다.

추

추론 지연 시간: 추론 지연 시간은 AI 시스템이 입력을 받은 시점부터 지정된 출력을 생성하는 시점까지의 경과 시간입니다. 지연 시간 수치는 타이머가 어디서 시작하고 어디서 멈추는지, 그리고 어떤 출력 상태를 완료로 간주하는지를 알아야 의미가 있습니다.
추론 처리량: 추론 처리량은 추론 시스템이 처리 중인 모든 요청에 대해 단위 시간당 완료하는 모델 작업의 양입니다. 초당 완료 요청 수, 추론 수, 샘플 수 또는 토큰 수로 측정할 수 있습니다.
추론 토큰: 추론 토큰은 AI 모델이 답변을 생성하는 과정에서 생성하는 토큰으로, 사용자가 보는 답변 텍스트와는 별개입니다. 계획 수립, 확인, 접근 방식 시도와 같은 추가 생성 단계를 나타내며, 서비스에서 이를 숨기더라도 사용량과 한도에 포함될 수 있습니다.

출

출력 토큰: 출력 토큰은 모델이 응답을 생성할 때 만들어 내는 단위입니다. 일반적으로 사용자가 받는 텍스트, 코드, 구조화된 데이터 또는 도구 지침을 구성하지만, 제공업체에 따라 숨겨진 추론도 출력 사용량으로 계산할 수 있습니다.

컨

컨텍스트 윈도우: 컨텍스트 윈도우는 AI 모델이 하나의 응답을 생성하는 동안 사용할 수 있는 토큰화된 자료의 최대량입니다. 많은 언어 모델 API에서 이 예산에는 입력과 생성된 출력이 모두 포함되지만, 제공업체가 입력 또는 출력에 별도의 제한을 둘 수도 있습니다.

파

파운데이션 모델: 파운데이션 모델은 한 가지 작업만 수행하도록 만들어진 것이 아니라, 다양한 작업에 맞게 조정할 수 있도록 광범위한 데이터로 학습된 머신러닝 모델입니다. 완성된 애플리케이션이 아니라 재사용 가능한 출발점입니다.