토큰, 컨텍스트와 표현

모델이 텍스트를 읽고 기억하는 방식: 토큰, 컨텍스트 윈도우, 임베딩, 지식 컷오프를 AI 도구를 사용하는 독자를 위해 설명합니다.

학습

토큰, 컨텍스트와 표현

개념AI 지식 컷오프란 무엇인가요?AI 지식 컷오프는 모델의 내장 지식이 학습 데이터를 반영할 것으로 예상되는 시점까지의 날짜입니다. 이는 대략적인 경계일 뿐, 모델이 그 이전의 모든 사실을 알고 있거나 AI 제품이 이후의 정보를 가져올 수 없다는 보장은 아닙니다.
개념AI에서 토큰이란 무엇인가요?AI에서 토큰은 LLM이 텍스트를 표현하고 생성하는 데 사용하는 어휘의 한 항목입니다. 모델의 토크나이저에 따라 토큰은 단어, 단어의 일부, 구두점, 공백 또는 인코딩된 문자의 일부에 해당할 수 있습니다.
비교입력 토큰 vs. 출력 토큰 vs. 추론 토큰입력 토큰은 모델이 받는 것이고, 출력 토큰은 모델이 생성하는 것이며, 추론 토큰은 답을 도출하는 데 사용되는 내부 생성 토큰입니다. 여기서 중요한 점은 API가 추론 토큰을 별도의 세부 항목으로 표시하더라도 추론 토큰이 출력 사용량에 포함되는 경우가 많다는 것입니다.
개념입력 토큰이란 무엇인가요?입력 토큰은 모델이 다음 응답 생성을 시작하기 전에 받아 처리하는 토큰입니다. 입력 토큰은 사용자가 방금 입력한 단어뿐 아니라 모델에 전달되는 전체 요청에서 비롯됩니다.
개념추론 토큰이란 무엇인가요?추론 토큰은 AI 모델이 답변을 생성하는 과정에서 생성하는 토큰으로, 사용자가 보는 답변 텍스트와는 별개입니다. 계획 수립, 확인, 접근 방식 시도와 같은 추가 생성 단계를 나타내며, 서비스에서 이를 숨기더라도 사용량과 한도에 포함될 수 있습니다.
개념출력 토큰이란 무엇인가요?출력 토큰은 모델이 응답을 생성할 때 만들어 내는 단위입니다. 일반적으로 사용자가 받는 텍스트, 코드, 구조화된 데이터 또는 도구 지침을 구성하지만, 제공업체에 따라 숨겨진 추론도 출력 사용량으로 계산할 수 있습니다.
개념컨텍스트 윈도우란 무엇인가요?컨텍스트 윈도우는 AI 모델이 하나의 응답을 생성하는 동안 사용할 수 있는 토큰화된 자료의 최대량입니다. 많은 언어 모델 API에서 이 예산에는 입력과 생성된 출력이 모두 포함되지만, 제공업체가 입력 또는 출력에 별도의 제한을 둘 수도 있습니다.
비교컨텍스트 윈도우와 지식 컷오프 비교컨텍스트 윈도우는 한 번의 요청에서 AI 모델이 사용할 수 있는 정보의 양을 제한하고, 지식 컷오프는 모델에 내장된 지식이 얼마나 최신인지를 나타냅니다. 전자는 토큰으로 측정되는 용량이고, 후자는 학습과 관련된 날짜입니다.