컨텍스트 윈도우란 무엇인가
A 컨텍스트 윈도우는 모델이 요청을 처리하고 응답을 생성할 때 사용할 수 있는 제한된 공간입니다. 여기에는 지침, 사용자의 메시지, 이전 대화 차례, 첨부되거나 검색된 문서, 도구 결과, 생성된 텍스트가 포함될 수 있습니다.
제공업체는 이 용량을 토큰으로 측정합니다. 정확한 산정 방식은 서로 다릅니다. 어떤 API는 전체 컨텍스트 한도를 설명하고, 다른 API는 입력 한도와 별도의 최대 출력 길이를 나열합니다. 어느 경우든 윈도우는 추론 중인 현재 사용할 수 있는 정보에 관한 것입니다. 모델이 사실을 영구적으로 보관하는 저장소는 아닙니다.
지식 컷오프란 무엇인가
AI 지식 컷오프는 모델이 학습한 지식이 얼마나 최신인지 요약하는, 제공업체가 보고하는 날짜입니다. 이는 배포 전에 모델의 가중치에 인코딩된 패턴과 사실에 관한 것입니다.
이 날짜는 명확한 경계가 아니라 참고 기준으로 받아들여야 합니다. 학습 데이터에는 서로 다른 시점에 수집된 자료가 섞여 있습니다. 주제에 따라 포함 범위도 다릅니다. 일부 제공업체는 지식이 신뢰할 수 있다고 간주되는 시점과 더 넓은 학습 데이터 컷오프를 구분합니다.
실제 차이
컨텍스트 윈도우가 답하는 질문: 이 요청에서 모델에 얼마나 많은 정보를 제공할 수 있는가?
지식 컷오프가 답하는 질문: 출처를 제공받지 않아도 모델이 알고 있을 수 있는 정보는 얼마나 최신인가?
둘은 서로 독립적인 속성입니다. 컨텍스트 윈도우가 크면서 컷오프가 오래된 모델도 있을 수 있습니다. 반대로 윈도우가 작으면서 컷오프가 최신인 모델도 있을 수 있습니다. 하나를 늘려도 다른 하나는 바뀌지 않습니다.
| Dimension | Context window | Knowledge cutoff |
|---|---|---|
| What it limits | Information available in one request | Recency of trained-in knowledge |
| Usually expressed as | A number of tokens | A date |
| Set mainly by | Model and API design | Training data and provider reporting |
| Changes when you paste a document | Available space is consumed | Does not change |
| Can include current information | Yes, if current material is supplied | Not by itself |
| Persists after the request | No; applications must save and resend needed material | Yes, as part of the deployed model's weights |
| Main practical question | Will the needed material fit and remain usable? | Should the model be trusted to know this without a current source? |
예제로 살펴보기
가상의 모델에 20,000토큰의 컨텍스트 윈도우와 2025년 12월이라는 지식 컷오프가 보고되어 있다고 가정해 봅시다.
출처를 제공하지 않은 채 2026년 3월에 발표된 정책에 대해 질문합니다. 이 요청은 컨텍스트 윈도우에 충분히 들어갑니다. 문제는 지식 컷오프일 가능성이 큽니다. 모델이 해당 정책에 대한 학습된 지식을 갖고 있지 않을 수 있기 때문입니다.
그런 다음 정책의 2,000토큰 분량 사본을 붙여 넣습니다. 이제 해당 텍스트가 현재 컨텍스트 윈도우 안에 있으므로 모델은 컷오프 이후의 정보를 분석할 수 있습니다. 지식 컷오프가 변경된 것은 아닙니다. 모델이 이번 요청을 위해 일시적인 근거를 받은 것입니다.
이제 관련 문서가 총 25,000토큰이라고 가정해 봅시다. 문서의 발행일은 더 이상 즉각적인 제약이 아닙니다. 컨텍스트 윈도우가 제약이 됩니다. 가장 관련성 높은 자료를 선택하거나, 나누거나, 압축하거나, 요약하거나, 검색해야 합니다.
이를 통해 간단히 진단할 수 있습니다:
- 모델에 최신 사실이 없지만 이를 제공할 수 있다면: 컨텍스트 윈도우를 사용합니다.
- 필요한 자료가 들어가지 않는다면: 컨텍스트 윈도우 예산을 관리합니다.
- 모델이 최신 사실과 대규모 증거 집합을 바탕으로 답해야 한다면: 두 제한이 모두 중요합니다.
각각이 중요해지는 경우
긴 문서, 긴 대화, 대규모 코드베이스, 많은 도구 결과 또는 검색된 증거를 다룰 때 컨텍스트 윈도우가 중요합니다. 한 번에 얼마나 많은 내용을 제시할 수 있는지와 답변을 위해 얼마나 많은 공간이 남는지를 결정합니다.
시간에 따라 변하는 사건, 규칙, 가격, 인물, 연구, 소프트웨어 또는 기타 사실에 질문이 의존할 때 지식 컷오프가 중요합니다. 컷오프를 보면 최신 출처를 찾아야 합니다. 그렇다고 컷오프를 그 이전의 모든 사실이 모델에 존재하거나 정확하다는 보장으로 받아들여서는 안 됩니다.
검색이나 검색 기반 검색(retrieval)을 사용하는 시스템에서는 둘 다 중요합니다. 검색을 통해 최신 자료를 가져올 수 있지만, 그 자료도 컨텍스트 윈도우에 들어가야 합니다. 그런 다음 모델이 이를 올바르게 식별하고 사용해야 합니다. 검색은 학습된 지식의 최신성 문제를 우회할 뿐, 모델을 재학습시키거나 윈도우를 무제한으로 만들지는 않습니다.
사람들이 혼동하는 점
"더 큰 윈도우는 모델에 더 많은 지식을 준다." 더 큰 윈도우는 정보를 제공할 수 있는 공간을 늘려 줍니다. 모델의 가중치에 사실을 추가하는 것은 아닙니다.
"새로운 모델은 최신 사건을 안다." 출시일과 지식 컷오프는 별개입니다. 모델 문서를 확인한 다음, 시의성이 중요한 주장은 최신 출처로 검증하세요.
"웹 검색을 하면 컷오프가 사라진다." 검색은 모델이 활용할 최신 텍스트를 제공합니다. 기본이 되는 학습된 지식에는 여전히 컷오프가 있으며, 모델이 검색된 증거를 잘못 해석하거나 무시할 수도 있습니다.
"텍스트가 들어가기만 하면 모델이 사용할 것이다." 용량과 주의집중의 품질은 같지 않습니다. 긴 컨텍스트에 관한 연구에 따르면, 특히 관련 정보가 많은 입력의 중간에 묻혀 있을 때 모델이 이를 놓칠 수 있습니다.
"컷오프 이전의 모든 것을 알고 있다." 하나의 날짜는 복잡하고 뒤섞인 학습 코퍼스를 하나의 라벨로 압축한 것입니다. 해당 날짜의 어느 쪽에 있든 지식은 불완전하거나 고르지 않거나 틀릴 수 있습니다.
다음에 읽을 내용
토큰 예산과 긴 입력의 작동 원리는 컨텍스트 윈도우란 무엇인가?를 읽어 보세요. 컷오프 날짜와 시의성 있는 답변을 해석하는 방법은 AI 지식 컷오프란 무엇인가?를 읽어 보세요.