지식 컷오프의 작동 방식
학습 과정에서 대규모 언어 모델은 학습 데이터에서 발견한 패턴을 사용해 내부 값을 조정합니다. 학습된 모델이 배포된 후에는 일반적으로 이러한 값을 업데이트하지 않고 질문에 답합니다. 시간이 지나거나 누군가 채팅에서 새로운 사건을 언급한다고 해서 새로운 사건이 모델에 자동으로 들어가지는 않습니다.
공개된 컷오프는 모델이 학습한 정보가 얼마나 최신인지를 요약해서 보여 줍니다. 모든 출처가 하루에 수집되었다는 뜻은 아닙니다. 학습 데이터는 서로 다른 시점에 수집되고 필터링된 여러 출처에서 나옵니다. 컷오프 이전의 일부 정보도 누락되었거나, 드물게 등장하거나, 서로 모순되거나, 모델이 신뢰성 있게 재현하기에는 충분히 강하게 표현되지 않았을 수 있습니다.
따라서 연구자들은 공개된 컷오프와 실효 컷오프를 구분합니다. 공개된 컷오프는 모델 제공업체가 제시한 날짜입니다. 실효 컷오프는 특정 출처나 주제에 대해 모델이 실제로 신뢰성 있는 지식을 보여 주는 시점까지의 기간입니다. 날짜가 표시된 데이터셋을 대상으로 한 연구에 따르면 이 두 경계는 서로 다를 수 있습니다.
따라서 컷오프는 막혀 있는 벽이라기보다 점점 희미해지는 경계에 가깝습니다. 경계에 가까워질수록 지식이 불완전해질 수 있으며, 다루는 주제에 따라 정보의 범위도 달라집니다.
예시로 살펴보기
어떤 모델의 문서에 지식 컷오프가 3월 31일이라고 적혀 있다고 가정해 보겠습니다.
- 2월 1일에 통과된, 널리 보도된 법률에 관해 질문합니다. 이 사건은 컷오프 이전에 일어났고 학습 데이터에 충분히 자주 등장했으므로 모델이 정확하게 답할 수 있습니다.
- 2월 1일에 발표된 잘 알려지지 않은 지역 공지에 관해 질문합니다. 컷오프 이전의 정보이더라도 모델이 이를 모를 수 있습니다.
- 4월 15일에 발표된 선거 결과에 관해 질문합니다. 3월에 끝난 학습 데이터만으로는 모델이 그 결과를 학습할 수 없었습니다. 다른 출처가 없다면 모델은 정보의 공백을 인정하거나, 추론하거나, 그럴듯한 답을 지어낼 수 있습니다.
- 공식적인 4월 15일 결과를 대화에 붙여 넣고 같은 질문을 합니다. 이제 모델은 사용자가 제공한 텍스트를 근거로 답할 수 있습니다. 그래도 컷오프는 여전히 3월 31일입니다.
웹 검색 및 검색·검색증강 시스템은 마지막 사례와 같은 방식으로 작동합니다. 도구가 관련 자료를 찾아 해당 요청에서 모델이 읽을 수 있는 정보에 추가합니다. 이렇게 하면 학습 중 모델이 배운 내용은 바뀌지 않으면서도 최신 답변을 생성할 수 있습니다.
컷오프가 중요한 이유
답변이 시간에 따라 달라지는 내용에 의존한다면 컷오프가 중요합니다. 뉴스, 법률, 가격, 재직자, 제품 사양, 의료 지침, 소프트웨어 문서는 모두 모델이 학습된 후에 변경될 수 있습니다.
사용 중인 정확한 모델에 관한 제공업체의 문서를 확인하세요. 같은 제공업체의 모델이라도 컷오프가 다를 수 있으며, 제품이 기반 모델을 교체할 수도 있습니다. 모델이 자신의 컷오프를 정확하게 식별할 것이라고 의존하지 마세요.
중요하거나 빠르게 변하는 질문에서는 컷오프 날짜가 첫 번째 확인 사항일 뿐입니다. 제품이 최신 출처를 검색할 수 있는지, 이 답변을 위해 실제로 검색했는지, 그리고 해당 출처가 권위 있는지까지 확인해야 합니다. 검색은 최신성의 격차를 줄이지만, 출처가 부실하거나 잘못 해석되면 여전히 틀린 답변이 나올 수 있습니다.
더 최근의 컷오프는 최신 정보가 포함되었을 가능성을 높일 수 있습니다. 그러나 모델이 필요한 사실을 알고 있다는 증거는 아닙니다. 중요하고 시의성이 있는 지식은 자신의 전문 분야에서 직접 검증하세요.
흔한 오해
"모델은 컷오프 이전의 모든 것을 알고 있다"
아닙니다. 날짜는 완전한 정보 범위가 아니라 학습의 경계를 나타냅니다. 컷오프 이전의 사실도 누락되었거나 신뢰할 수 없을 수 있습니다.
"모델은 컷오프 이후의 어떤 내용도 논의할 수 없다"
사용자나 도구가 제공한 최신 정보에 관해 추론할 수 있습니다. 그럴듯한 변화를 추론할 수도 있지만, 추론은 이후 사건을 학습했다는 증거가 아닙니다.
"브라우징하면 모델이 업데이트된다"
브라우징은 특정 요청에 대해 모델이 읽을 임시 자료를 제공합니다. 학습된 모델을 다시 작성하거나 컷오프를 뒤로 이동시키지는 않습니다.
"컷오프는 컨텍스트 윈도우와 같다"
두 개념은 서로 다른 것을 제한합니다. 지식 컷오프는 내장 지식이 언제 학습되었는지를 의미합니다. 컨텍스트 윈도우는 현재 요청에서 모델이 처리할 수 있는 정보의 양을 제한합니다.
다음에 알아볼 내용
실무적으로 중요한 구분은 학습 중에 습득한 정보와 모델이 답변할 때 제공되는 정보 사이의 차이입니다. 이 구분의 기초가 필요하다면 먼저 LLM이란 무엇인가요?를 읽어 보세요. 그런 다음 컨텍스트 윈도우와 지식 컷오프 비교를 통해 두 한계를 직접 구분해 보세요.