학습
학습
뉴스에 등장하는 AI 주제를 해설, 입문, 맥락으로 정리합니다. 모델이 어떻게 만들어지고 학습되고 실행되고 평가되는지, 헤드라인 뒤의 작동 원리를 알고 싶은 독자를 위해 설명합니다.
학습
모든 카테고리
기초
4- 개념머신러닝이란 무엇인가요?↗머신러닝은 소프트웨어가 예시나 피드백에서 패턴을 학습하고, 학습한 패턴을 사용해 이전에 본 적 없는 사례에 대해 유용한 예측, 결정 또는 출력을 생성하도록 만드는 방법입니다. 머신러닝은 인공지능의 한 가지 접근법이지, 모든 AI를 뜻하는 동의어는 아닙니다.
- 개념생성형 AI란 무엇인가요?↗생성형 AI는 기존 데이터에서 패턴을 학습하고, 그 패턴을 사용해 텍스트, 이미지, 오디오, 동영상 또는 코드와 같은 새로운 콘텐츠를 생성하는 인공지능입니다. 일반적으로 지시나 기타 입력에 응답하여 콘텐츠를 생성합니다.
- 개념인공지능이란 무엇인가요?↗인공지능(AI)은 학습, 추론, 지각, 언어와 같은 능력과 관련된 방법을 사용해 예측, 콘텐츠, 추천, 의사결정 등 목표 지향적 출력을 생성하는 컴퓨터 시스템을 설계하는 분야입니다. AI는 이 분야에서 만들어진 시스템을 가리키기도 합니다.
- 비교학습과 추론↗학습은 AI 모델이 작업을 더 잘 수행하도록 학습된 설정을 변경하는 과정이고, 추론은 학습된 설정을 변경하지 않고 해당 모델의 선택된 상태를 사용해 출력을 생성하는 과정입니다. 학습은 모델을 만들거나 조정하는 반면, 추론은 그 모델을 실제로 작동시킵니다.
토큰, 컨텍스트와 표현
8- 개념AI 지식 컷오프란 무엇인가요?↗AI 지식 컷오프는 모델의 내장 지식이 학습 데이터를 반영할 것으로 예상되는 시점까지의 날짜입니다. 이는 대략적인 경계일 뿐, 모델이 그 이전의 모든 사실을 알고 있거나 AI 제품이 이후의 정보를 가져올 수 없다는 보장은 아닙니다.
- 개념AI에서 토큰이란 무엇인가요?↗AI에서 토큰은 LLM이 텍스트를 표현하고 생성하는 데 사용하는 어휘의 한 항목입니다. 모델의 토크나이저에 따라 토큰은 단어, 단어의 일부, 구두점, 공백 또는 인코딩된 문자의 일부에 해당할 수 있습니다.
- 비교입력 토큰 vs. 출력 토큰 vs. 추론 토큰↗입력 토큰은 모델이 받는 것이고, 출력 토큰은 모델이 생성하는 것이며, 추론 토큰은 답을 도출하는 데 사용되는 내부 생성 토큰입니다. 여기서 중요한 점은 API가 추론 토큰을 별도의 세부 항목으로 표시하더라도 추론 토큰이 출력 사용량에 포함되는 경우가 많다는 것입니다.
- 개념입력 토큰이란 무엇인가요?↗입력 토큰은 모델이 다음 응답 생성을 시작하기 전에 받아 처리하는 토큰입니다. 입력 토큰은 사용자가 방금 입력한 단어뿐 아니라 모델에 전달되는 전체 요청에서 비롯됩니다.
- 개념추론 토큰이란 무엇인가요?↗추론 토큰은 AI 모델이 답변을 생성하는 과정에서 생성하는 토큰으로, 사용자가 보는 답변 텍스트와는 별개입니다. 계획 수립, 확인, 접근 방식 시도와 같은 추가 생성 단계를 나타내며, 서비스에서 이를 숨기더라도 사용량과 한도에 포함될 수 있습니다.
- 개념출력 토큰이란 무엇인가요?↗출력 토큰은 모델이 응답을 생성할 때 만들어 내는 단위입니다. 일반적으로 사용자가 받는 텍스트, 코드, 구조화된 데이터 또는 도구 지침을 구성하지만, 제공업체에 따라 숨겨진 추론도 출력 사용량으로 계산할 수 있습니다.
- 개념컨텍스트 윈도우란 무엇인가요?↗컨텍스트 윈도우는 AI 모델이 하나의 응답을 생성하는 동안 사용할 수 있는 토큰화된 자료의 최대량입니다. 많은 언어 모델 API에서 이 예산에는 입력과 생성된 출력이 모두 포함되지만, 제공업체가 입력 또는 출력에 별도의 제한을 둘 수도 있습니다.
- 비교컨텍스트 윈도우와 지식 컷오프 비교↗컨텍스트 윈도우는 한 번의 요청에서 AI 모델이 사용할 수 있는 정보의 양을 제한하고, 지식 컷오프는 모델에 내장된 지식이 얼마나 최신인지를 나타냅니다. 전자는 토큰으로 측정되는 용량이고, 후자는 학습과 관련된 날짜입니다.
모델과 아키텍처
7- 개념AI 모델이란 무엇인가요?↗AI 모델은 입력을 예측, 분류, 추천, 행동 또는 생성된 결과와 같은 출력으로 변환하는 AI 시스템의 구성 요소입니다. 현재 대부분의 사용 맥락에서 AI 모델은 학습 데이터에 의해 동작 방식이 형성된 머신러닝 모델을 의미합니다.
- 개념LLM이란 무엇인가요?↗대규모 언어 모델(LLM)은 대량의 언어 데이터 모음으로 학습하여 텍스트의 개연성 높은 시퀀스를 처리하거나 생성하는 AI 모델입니다. 텍스트 생성에 사용되는 대부분의 LLM은 프롬프트를 입력받고 한 번에 작은 단위 하나씩 응답을 생성합니다.
- 개념모델 가중치란 무엇인가요?↗모델 가중치는 모델이 출력을 계산할 때 각 입력 또는 중간 신호를 얼마나 강하게 사용할지 결정하는 학습된 숫자입니다. 일반적으로 행렬 또는 텐서라는 큰 묶음으로 저장되며, 학습 과정에서 모델의 출력이 목표에 더 잘 부합하도록 값이 변경됩니다.
- 개념모델 파라미터란 무엇인가요?↗모델 파라미터는 학습이 완료된 모델 내부에 저장된 수치로, 입력을 출력으로 변환하는 방식을 결정합니다. 신경망에서는 일반적으로 학습 중에 값이 결정되고 모델이 예측을 수행할 때 재사용되는 가중치와 편향이 파라미터에 포함됩니다.
- 비교모델 파라미터와 모델 가중치 비교↗모델 파라미터는 모델의 동작을 결정하는 학습된 모든 값이며, 모델 가중치는 파라미터의 한 유형을 의미하거나 모델이 학습한 값 전체를 비공식적으로 가리키는 이름입니다. 층의 수식에서 “가중치”는 일반적으로 더 좁은 의미를 갖습니다. 반면 “모델 가중치를 다운로드한다”와 같은 표현에서는 대개 더 넓은 의미를 갖습니다.
- 개념신경망이란 무엇인가요?↗신경망은 연결된 단순한 계산 계층을 통해 입력 숫자를 유용한 출력 숫자로 바꾸는 방법을 학습하는 머신러닝 모델입니다. 이러한 계층은 학습 가능한 하나의 수학적 함수를 이루며, 실제 전자식 뇌가 아닙니다.
- 개념파운데이션 모델이란 무엇인가요?↗파운데이션 모델은 한 가지 작업만 수행하도록 만들어진 것이 아니라, 다양한 작업에 맞게 조정할 수 있도록 광범위한 데이터로 학습된 머신러닝 모델입니다. 완성된 애플리케이션이 아니라 재사용 가능한 출발점입니다.
학습과 적응
1추론과 서빙
6- 개념AI 추론이란 무엇인가요?↗AI 추론은 학습된 모델을 입력에 실행하여 모델이 학습한 내용을 업데이트하지 않고 출력을 생성하는 과정입니다. 모델을 사용하는 단계로, 사진을 입력하면 레이블이 출력되거나 프롬프트를 입력하면 생성된 텍스트가 출력됩니다.
- 비교지연 시간 vs. TTFT vs. 초당 토큰 수 vs. 처리량↗지연 시간은 하나의 추론 요청에 걸리는 시간이고, TTFT는 스트리밍 요청이 응답을 시작하기까지 걸리는 시간이며, 초당 토큰 수는 하나의 스트림 또는 전체 시스템을 설명할 수 있는 비율입니다. 처리량은 시스템이 시간에 따라 완료하는 총 작업량입니다. 가장 중요한 차이는 범위입니다. 지연 시간과 TTFT는 하나의 요청을 측정하는 반면, 처리량은 측정 구간 동안의 작업량을 집계합니다.
- 개념첫 토큰까지의 시간이란?↗첫 토큰까지의 시간(Time to First Token), 즉 TTFT는 언어 모델 요청을 시작한 시점부터 응답의 첫 토큰을 받는 시점까지의 경과 시간입니다. 응답의 나머지 부분이 얼마나 빠르게 도착하는지가 아니라 초기 대기 시간을 측정합니다.
- 개념초당 토큰 수란 무엇인가요?↗초당 토큰 수(TPS 또는 tok/s)는 AI 시스템이 1초에 생성하는 토큰 수를 측정합니다. 이 수치는 하나의 응답 출력 속도 또는 전체 서빙 시스템의 결합 처리량을 나타낼 수 있으므로, 레이블만으로는 의미가 완전하지 않습니다.
- 개념추론 지연 시간이란 무엇인가요?↗추론 지연 시간은 AI 시스템이 입력을 받은 시점부터 지정된 출력을 생성하는 시점까지의 경과 시간입니다. 지연 시간 수치는 타이머가 어디서 시작하고 어디서 멈추는지, 그리고 어떤 출력 상태를 완료로 간주하는지를 알아야 의미가 있습니다.
- 개념추론 처리량이란 무엇인가요?↗추론 처리량은 추론 시스템이 처리 중인 모든 요청에 대해 단위 시간당 완료하는 모델 작업의 양입니다. 초당 완료 요청 수, 추론 수, 샘플 수 또는 토큰 수로 측정할 수 있습니다.
AI 시스템, 오케스트레이션과 에이전트
5- 비교AI 모델 vs. 챗봇 vs. 하네스 vs. 에이전트↗AI 모델은 출력을 생성하는 구성 요소이고, 챗봇은 대화형 애플리케이션이며, 하네스는 컨텍스트와 실행을 관리하는 모델 주변의 소프트웨어이고, 에이전트는 이러한 요소를 사용해 단계를 선택하고 수행하는 목표 지향 시스템입니다. 이들은 서로 겹치는 계층이지, 서로 경쟁하는 네 가지 종류의 AI가 아닙니다.
- 개념AI 에이전트란 무엇인가요?↗AI 에이전트는 AI 모델을 사용해 다음 행동을 선택하고, 결과를 관찰하며, 작업을 완료하거나 도움이 필요하거나 한도에 도달할 때까지 계속함으로써 목표를 추구하는 소프트웨어 시스템입니다. 단순히 답변만 생성하는 모델과 달리, 에이전트는 정해진 권한 범위 내에서 도구를 통해 행동하고 여러 단계로 이루어진 프로세스를 제어할 수 있습니다.
- 개념AI 챗봇이란 무엇인가요?↗AI 챗봇은 인공지능을 사용해 텍스트나 음성으로 사람과 대화하는 소프트웨어 애플리케이션입니다. 메시지를 받고, AI 모델을 사용해 메시지를 해석하거나 답변하며, 대화를 계속하는 데 필요한 맥락, 규칙, 데이터, 작업을 관리합니다.
- 개념AI 하니스란 무엇인가요?↗AI 하니스는 AI 모델을 둘러싸고 모델이 무엇을 입력받는지, 출력에 어떤 일이 일어나는지, 모델이 애플리케이션의 나머지 부분과 어떻게 연결되는지를 제어하는 소프트웨어입니다. 대화 기록을 관리하는 작은 코드일 수도 있고, 도구, 메모리, 권한, 재시도, 장시간 실행되는 작업을 관리하는 런타임처럼 큰 시스템일 수도 있습니다.
- 개념LLM의 도구 사용이란 무엇인가요?↗LLM의 도구 사용은 언어 모델이 데이터베이스 검색, 계산 실행, 메시지 전송과 같은 외부 작업을 요청하고, 반환된 결과를 응답에 활용할 수 있게 하는 메커니즘입니다. 일반적으로 모델이 도구를 선택하고 입력값을 제안하면, 모델을 둘러싼 소프트웨어가 해당 호출을 실행할지 결정합니다.