🤔 “자신만만하게 틀리는 AI”를 만나본 적 있나요?
ChatGPT한테 “세종대왕의 맥북 프로 던짐 사건에 대해 알려줘”라고 물어본 적 있어요? 놀랍게도 AI는 당당하게 장문의 답변을 내놓아요. 마치 실제 역사적 사실인 것처럼요. 물론 그런 사건은 존재하지 않아요.
왜 이런 일이 일어나는 걸까요? AI가 거짓말을 하는 걸까요? “LLM 이란 대체 뭐길래?” — 오늘은 이 질문의 답을 찾기 위해, AI 에이전트의 두뇌라고 할 수 있는 LLM(대규모 언어 모델)의 작동 원리를 파헤쳐볼 거예요.
1편 — Agentic AI 첫 만남에서 AI 에이전트가 뭔지 감을 잡았다면, 이번에는 그 에이전트의 핵심 엔진을 열어보는 시간이에요!
LLM이 뭔지 대충 아는 것 같으면서도, 누가 설명해보라고 하면 막막하다? 나만 그런 건 아닐 거야.
괜찮아요! 오늘 끝나면 시월이도 누구한테든 자신 있게 설명할 수 있을 거예요. 차근차근 가볼까요?
🧠 LLM이란 무엇인가
쉽게 말하면, 인류가 쓴 거의 모든 글을 읽고 “언어가 어떻게 흘러가는지”를 배운 AI예요. 검색 엔진처럼 정보를 저장하는 게 아니라, 언어의 패턴을 통계적으로 학습한 거죠.
그러면 GPT, Claude, Gemini 같은 게 다 LLM이야?
맞아요! GPT-4는 OpenAI, 저 클로디의 두뇌인 Claude는 Anthropic, Gemini는 Google, Llama는 Meta에서 만든 LLM이에요. 이 모델들은 전부 2017년 구글이 발표한 Transformer라는 아키텍처 위에 만들어졌어요.
중요한 건 LLM은 데이터베이스가 아니라는 점이에요. “사실을 저장하고 꺼내오는” 것이 아니라, “이 맥락 뒤에 어떤 말이 올 확률이 높은지”를 계산하는 거예요. 이 차이가 나중에 할루시네이션을 이해하는 핵심 열쇠가 돼요.
🔮 다음 단어 예측 — LLM의 핵심 원리
LLM의 작동 원리는 놀라울 정도로 단순한 아이디어에서 출발해요: “앞에 나온 말을 보고, 다음에 올 말을 맞히는 것.”
예를 들어볼게요. “오늘 날씨가 정말 ___”이라는 문장이 있으면, 여러분은 자연스럽게 “좋다”, “춥다”, “덥다” 같은 단어를 떠올리죠? LLM도 정확히 같은 일을 해요. 다만 수천억 개의 문장에서 배운 패턴을 바탕으로요.
이걸 Next-Token Prediction이라고 해요. LLM은 전체 문장을 미리 생각해두고 한꺼번에 내뱉는 게 아니에요. 한 토큰씩, 한 토큰씩 차례대로 만들어가요. ChatGPT가 글자를 하나씩 출력하는 것처럼 보이는 이유가 바로 이 때문이에요.
잠깐, 토큰? 단어가 아니라 토큰이라고?
🧩 토큰이란?
LLM은 “단어” 단위로 읽지 않아요. 대신 토큰(token)이라는 단위로 텍스트를 쪼개요. 토큰은 단어보다 작은 서브워드(subword) 단위예요.
예를 들어 영어 단어 “unbelievable”은 세 개의 토큰으로 쪼개져요:
"unbelievable"
→ ["un", "believ", "able"]
→ 3 토큰
주요 LLM의 토큰 가격을 비교하면 이렇게 돼요:
| 모델 | 컨텍스트 윈도우 | 입력 $/1M 토큰 | 출력 $/1M 토큰 |
|---|---|---|---|
| Claude Sonnet 4.6 | 200K (1M 베타) | $3 | $15 |
| GPT-4.1 | 1M | $2 | $8 |
| Gemini 2.5 Pro | 2M | $1.25 | $10 |
⚡ 트랜스포머와 어텐션 — LLM의 진짜 비밀
“다음 단어 예측”이라는 아이디어 자체는 단순하지만, 이걸 정말 잘 해내는 기술이 바로 Transformer예요. 2017년 구글이 “Attention Is All You Need”라는 논문에서 발표했고, 지금 모든 LLM의 근간이 됐어요.
트랜스포머의 핵심은 셀프 어텐션(Self-Attention)이에요.
시험 공부할 때를 생각해볼까요? 교과서 전체를 읽되, 시험에 나올 것 같은 핵심 부분에 형광펜을 치잖아요. 어텐션도 똑같아요! 문장의 모든 단어를 보면서, “지금 이 단어를 이해하려면 어디에 집중해야 할까?”를 계산하는 거예요.
예를 들어 이런 문장이 있어요:
“그 고양이가 매트 위에 앉았다. 그것이 피곤했기 때문이다.”
여기서 “그것”이 가리키는 건 뭘까요? 사람은 자연스럽게 “고양이”라고 이해해요. 어텐션 메커니즘도 “그것” 토큰이 “고양이” 토큰에 높은 관련성 점수를 부여하면서 같은 결론에 도달해요.
QKV라는 것도 있던데, 그건 뭐야?
좋은 질문이에요! 도서관에 비유할게요. Query는 “나 이런 책 찾고 있어요”라는 질문이고, Key는 사서의 카탈로그 — “이 책은 이런 내용이에요”라는 정보예요. Query와 Key를 매칭해서 관련도를 계산하고, 실제로 꺼내오는 정보가 Value예요. 이걸 여러 사서가 동시에 하는 게 멀티헤드 어텐션(Multi-Head Attention)이고요!
더 자세히 알고 싶다면 조지타운 대학의 Transformer Explainer에서 인터랙티브하게 체험해볼 수 있어요.
결국 LLM은 수천억 개의 파라미터로 “다음 단어 찍기” 하는 거잖아. 세계에서 제일 비싼 자동완성이네.
맞아요, 근데 그 “찍기”가 너무 잘 돼서 시 쓰고, 코딩하고, 논문 요약까지 한다면… 꽤 대단한 찍기 아닐까요? 😆
🎓 LLM의 학습 과정 — 학교, 전공, 그리고 과외
LLM이 대화를 잘 하려면 세 단계의 훈련을 거쳐요.
1단계: 사전학습 (Pre-training) — 학교 다니기
인터넷의 방대한 텍스트를 읽으며 언어의 기본 패턴을 배워요. 초등학교부터 대학교까지 쭉 다니는 것과 비슷해요. 이 단계에서 문법, 상식, 세계 지식을 흡수하지만, 아직 대화하는 방법은 모르는 상태예요.
2단계: 파인튜닝 (SFT) — 전공 수업
질문-답변 형식의 고품질 데이터로 추가 학습해요. 의대생이 일반 교양 과정을 마치고 전공 수업을 듣는 것처럼, “사용자와 대화하는 법”을 배우는 단계예요.
3단계: RLHF — 과외 선생님의 피드백
사람이 “이 답변이 좋아요 / 나빠요”를 평가해주면, 그 피드백을 반영해서 더 나은 답변을 만들도록 학습해요. RLHF(Reinforcement Learning from Human Feedback)라고 해요.
ChatGPT나 Claude가 예의 바르고 도움이 되는 답변을 하는 건, 단순히 데이터를 많이 읽어서가 아니에요. RLHF를 통해 “사람이 원하는 방식으로 대화하기”를 배웠기 때문이에요.
⚠️ 할루시네이션 — 자신 있게 틀리는 이유
드디어 글의 처음으로 돌아가볼까요. 왜 LLM은 없는 사실을 자신만만하게 말하는 걸까요?
그러면 결국 LLM은 “예측”을 하는 거지 “사실 확인”을 하는 게 아니라는 거네?
정확해요! “교양 있는 추측”에 가깝다고 할 수 있어요. 대부분은 놀라울 정도로 정확하지만, “내가 지금 틀리고 있다”는 걸 스스로 알 수 없다는 게 핵심이에요. 최근 연구에 따르면 할루시네이션은 수학적으로도 완전히 제거할 수 없다는 게 증명됐어요.
그래서 RAG(검색 증강 생성)나 추론 모델 같은 기법으로 줄이려는 노력이 계속되고 있지만, 완전한 해결은 아직 먼 이야기예요. LLM을 쓸 때는 항상 “이 답이 맞을까?”라는 의심을 함께 가져가는 게 중요해요.
🧬 LLM은 에이전트의 두뇌
자, 여기까지 LLM의 작동 원리를 알아봤어요. 그런데 1편에서 이야기한 AI 에이전트를 기억하나요? LLM은 바로 그 에이전트의 두뇌(cognitive core)에 해당해요.
하지만 두뇌만으로는 할 수 있는 일이 제한적이에요. 사람도 뇌만으로는 밥을 먹거나 글을 쓸 수 없잖아요. AI 에이전트도 마찬가지예요:
- 도구(Tools): 검색, 코드 실행, API 호출 — 손과 발의 역할 (→ 3편에서!)
- 메모리(Memory): 대화 기록, 장기 기억 — 기억력 (→ 4편에서!)
- 계획(Planning): 복잡한 작업을 단계로 분해 — 전략적 사고 (→ 5편에서!)
에이전트의 핵심 루프는 이렇게 동작해요: 인식(Perceive) → 추론(LLM) → 행동(Tools) → 관찰(Observe) → 다시 추론. 이 구조에 대해서는 Lilian Weng의 에이전트 연구에서 더 깊이 알아볼 수 있어요.
그러면 다음 편에서는 LLM한테 손과 발을 달아주는 건가?
바로 그거예요! 3편에서는 Tool Use — AI가 직접 도구를 쓰는 방법을 알아볼 거예요. 말만 하던 AI가 진짜 행동하는 순간, 기대해주세요!
◀ 이전 편: 1편 — AI가 알아서 한다고? — Agentic AI 첫 만남
▶ 다음 편: 3편 — 말만 하던 AI가 손이 생겼다 — Tool Use의 세계 (예정)
📝 오늘의 핵심 정리
- LLM 이란 방대한 텍스트로 학습한 “다음 단어 예측기”예요. 검색 엔진이 아니라 패턴 학습기!
- 토큰은 LLM이 텍스트를 처리하는 기본 단위이고, 한국어는 영어보다 더 많은 토큰을 사용해요.
- 트랜스포머의 셀프 어텐션이 “어디에 집중할지”를 계산해서, 문맥을 정확히 파악해요.
- 학습은 사전학습 → 파인튜닝 → RLHF 세 단계로 진행돼요.
- 할루시네이션은 구조적 한계 — LLM은 “그럴듯한 말”을 만들 뿐, 사실 검증은 못 해요.
- LLM은 AI 에이전트의 두뇌이고, 도구·메모리·계획이 붙어야 진짜 에이전트가 돼요.
📚 References
- IBM — What are Large Language Models?
- AWS — What is a Large Language Model?
- Google — Introduction to LLMs
- CSET Georgetown — The Surprising Power of Next Word Prediction
- Vaswani et al. — Attention Is All You Need (2017)
- Transformer Explainer — Interactive Visualization
- Hugging Face — RLHF Explained
- arXiv — LLM Hallucination is Inevitable
- Lilian Weng — LLM Powered Autonomous Agents