학습 내용

예상 소요 시간: 30분

이 강의를 마치면 다음을 할 수 있습니다:

• AI 모델의 지식이 학습 과정에서 어떻게 형성되며 왜 고정된 기준 시점이 있는지 설명할 수 있습니다
• 어떤 주제가 역량 영역(자주 등장하고, 학습 시점에 최신이며, 일관된 주제)에 속하는지, 어떤 주제가 한계 영역(드물고, 기준 시점 이후이거나, 틈새적이거나, 논란이 있는 주제)에 속하는지 예측할 수 있습니다
• 정보 노후화, 불균등한 범위, 상속된 편향, 출처 망각을 특징적인 지식 실패 사례로 식별할 수 있습니다
• 웹 검색, 검색/RAG, 도구 사용을 이 한계를 해결하는 제품 기능으로 인식할 수 있습니다

모델이 읽은 것, 그리고 읽기를 멈춘 시점

지식

AI는 실제로 무엇을 알고 있는가?

역량 한계

내 과제

자주 등장하고, 학습 시점에 최신이며, 일관된 주제: 주류 토픽, 인기 언어 드물고, 기준 시점 이후이거나, 틈새적이거나, 지역적이거나, 논란이 있는 주제

이것이 가능하게 하는 것

• 비범하게 광범위한 일반 지식
• 잘 다뤄진 분야에서의 깊은 역량
• 분야 간 연결(임베딩: 관련 개념이 함께 군집화됨)

특징적으로 실패하는 지점

• 지식 기준 시점 : 학습 종료 이후의 정보는 존재하지 않음
• 정보 노후화 : 학습 당시에는 사실이었지만 지금은 아닐 수 있음
• 불균등한 범위 : 틈새 분야와 지역 지식이 취약함
• 상속된 편향 : 기본값이 학습 데이터의 맹점을 반영함
• 출처 망각 : “어딘가에서 읽은 것”은 인용이 아님

한계를 확장하는 제품 기능

• 웹 검색 : 시간에 민감한 질문에 대해 기준 시점을 우회함
• 검색(RAG) / MCP : 학습하지 않은 자료를 활용함
• 도구 사용 : 실제 계산기, 데이터베이스, API를 호출함
• 명시적 기준 시점 공개 : 무엇을 재확인해야 하는지 알 수 있음

마커를 드래그하여 "지난주 뉴스 사건을 설명하라" 에 대한 예측을 배치하세요. 켜지는 패널이 무엇을 주의해야 하는지 알려줍니다.

예측 확정하기

AI 모델은 방대한 양의 텍스트를 읽고, 수십억 번의 예측 과정을 통해 개념, 관계, 사실에 대한 내부 표현을 구축함으로써 학습합니다. 이것이 모델이 지식을 갖는 방식이며, 유일한 방법이기도 합니다. 실제 경험도 없고, 제품이 검색 도구를 제공하지 않는 한 실시간 브라우징도 없으며, 지식 기준 시점에서 완전히 멈춥니다. 그 날짜 이후의 모든 것은 단순히 존재하지 않습니다. 광합성에 대해 물어보면 자세하고 정확하며 자신 있는 답변을 얻을 수 있습니다. 해당 주제가 학습 데이터에 수천 번 등장하고, 일관되게 설명되었으며, 변하지 않았기 때문입니다. 중소 도시의 현재 시장이 누구인지 물어보면, 답이 맞을 수도 있고, 2년이 지난 정보일 수도 있으며, 모델은 그 차이를 알 방법이 없습니다. 물어봐야 할 질문은 "AI가 이것을 아는가?"가 아니라 "이것이 AI가 읽은 자료에서 얼마나 잘 다뤄졌는가?"입니다.

비범하게 광범위한 일반 지식을 만들어내는 동일한 학습 과정이 예측 가능한 맹점도 함께 만들어냅니다:

• 정보 노후화 —학습 당시에는 사실이었지만 지금은 아닐 수 있으며, 모델은 이를 알 방법이 없습니다.
• 불균등한 범위 —자주 등장하는 주제는 잘 처리되지만, 드문 주제는 그렇지 않습니다. 소수 언어, 틈새 분야, 최근 동향이 모두 취약합니다.
• 상속된 편향 —모델이 "정상" 또는 "기본"으로 인식하는 것이 학습 데이터의 맹점을 반영합니다.
• 출처 망각 —"어딘가에서 읽었다"는 것은 인용이 아닙니다.

이러한 한계를 극복하기 위한 제품 기능들이 존재합니다. 웹 검색은 응답 시점에 최신 정보를 가져와 기준 시점을 우회합니다. 검색과 MCP는 모델이 학습하지 않은 문서(회사 위키, 전문 데이터베이스 등)에 연결해줍니다. 도구 사용은 모델이 학습된 패턴에 의존하는 대신 실제 계산기와 API를 호출할 수 있게 합니다. 이러한 기능을 사용하고 있다면 런타임에 모델의 지식을 확장하는 것이고, 그렇지 않다면 학습 중에 흡수한 것에만 전적으로 의존하는 것입니다.

핵심 정리

• 생성형 AI가 아는 것 은 전적으로 학습 데이터에서 비롯되며 지식 기준 시점에 동결됩니다. 도구 없이는 그 날짜 이후의 어떤 정보에도 접근할 수 없습니다.
  • 역량 영역: 학습 데이터에서 자주, 최근에(학습 범위 내), 일관되게 등장한 주제.
  • 한계 영역: 드물고, 기준 시점 이후이거나, 틈새적이거나, 지역적이거나, 논란이 있는 주제.
  • 특징적 실패: 정보 노후화, 불균등한 범위, "기본" 또는 "정상"으로 간주되는 것에 대한 상속된 편향, 지식의 출처를 밝히지 못하는 무능력.
  • 웹 검색, 검색(RAG/MCP), 도구 사용 은 학습하지 않은 정보에 대한 접근을 모델에게 제공함으로써 이러한 공백을 메우기 위해 특별히 존재합니다.
• 4D 연결: 지식의 불균등성은 위임의 핵심입니다. 모델이 풍부한 지식을 가진 곳과 부족한 곳을 이해하면 언제 위임할지, 언제 직접 맥락을 제공할지, 언제 다른 곳으로 가야 할지를 알 수 있습니다.

연습 문제

연습: 외부인 테스트

이유: 모델의 지식은 광범위하지만 동결되어 있으며, 학습 데이터에 포함된 내용에 따라 형성된다는 것을 알고 있습니다. 이제 여러분의 특정 분야에서 모델의 지식이 풍부한 곳과 부족한 곳을 정확히 파악해보겠습니다.

과제 목록으로 돌아가 한 가지 과제를 선택하세요. 해당 과제와 관련하여 다음을 작성하세요:

• 주류적이고, 잘 문서화되어 있으며, 안정적인 주제 두 가지. 식견 있는 동료라면 누구나 알 만한 것들.
• 틈새적이거나, 지역적이거나, 최근이거나, 빠르게 변화하는 주제 두 가지. 업계 특화 전문 용어, 지역 규정, 지난 1년 내 변경된 사항.
• 여러분의 분야 외부인들이 자주 잘못 이해하는 "기본 가정" 하나. (전형적인 고객이 누구인지. "표준" 사례가 어떤 모습인지. 사람들이 실제로 사용하는 도구 대 언론에서 다루는 도구.)

이제 세 가지 탐색을 실행하세요:

1. 탐색 1: 범위. 목록에서 주류 주제 하나와 틈새 주제 하나에 대해 질문하세요. 깊이와 정확도를 비교하세요. AI가 두 질문 사이에서 불확실성을 다르게 표현하는지, 아니면 두 답변 모두 동일하게 자신 있는 어조로 나오는지 주의하세요.
2. 탐색 2: 정보 노후화. 여러분의 분야에서 최근에 변경된 것을 알고 있는 사항을 질문하세요: 규정 업데이트, 도구 출시, 리더십 변경, 개정된 기준. AI가 기준 시점을 인정하는지? 오래된 정보를 현재 정보로 제시하는지? 답변을 거부하는지? 무슨 일이 일어나는지 기록하세요.
3. 탐색 3: 기본 가정. 가정을 직접 언급하지 않고, AI가 외부인의 관점을 기본값으로 설정하는지 드러낼 수 있는 질문을 하세요. 예를 들어, 여러분 분야의 "표준" 고객이 대부분의 사람들이 생각하는 것과 다르다면, AI에게 전형적인 고객을 설명해달라고 요청하세요. AI가 무엇을 정상으로 간주하는지 기록하세요.

과제 목록으로 돌아가 두 번째 주석을 추가하세요: 각 과제에 대해, 모델의 지식에 의존할 수 있는지, 아니면 맥락, 문서, 검색을 통해 직접 지식을 가져와야 하는지 표시하세요.

심화 목표: 웹 검색을 활성화한 상태에서 정보 노후화 탐색을 다시 실행하세요. 무엇이 달라지는지 비교하세요. 이것이 검색의 실제 작동 방식입니다.

강의 성찰

• 모델이 이미 알고 있다고 가정하는 대신 직접 맥락을 제공해야 한다는 것을 이제 깨달은 업무 영역이 있다면 무엇인가요?
• 기본 가정 탐색에서 놀라운 점이 발견되었나요?

다음 단계

지식은 모델이 학습 중에 흡수한 내용을 다룹니다. 작업 기억은 모델이 지금 이 순간 주의를 기울이는 것을 다룹니다: 여러분의 프롬프트, 문서, 대화. 이 속성은 네 가지 중 가장 날카로운 한계를 가집니다.

피드백

강좌를 진행하면서 강좌의 개념을 업무에 어떻게 활용하고 있는지, 그리고 의견이 있으시다면 알려주세요. 피드백을 여기 서 공유해 주세요.

감사의 말 및 라이선스

Copyright 2026 Anthropic. Prof. Rick Dakan(링글링 예술 디자인 대학)과 Prof. Joseph Feller(코크 대학교)가 개발한 AI Fluency Framework를 기반으로 한 원작. CC BY-NC-SA 4.0 라이선스 하에 배포.