🤔 “아까 말했잖아!” — 기억 못하는 AI의 비밀

AI한테 이름을 알려줬는데, 다음 대화에서 “저는 당신의 이름을 모릅니다”라고 하면 당황스럽죠? 혹시 ChatGPT나 Claude와 대화하면서 “아까 말했잖아!”라고 답답했던 적 있나요?

사실 AI 컨텍스트 메모리는 우리가 생각하는 “기억”과는 많이 달라요. LLM은 원래 기억이라는 게 전혀 없어요. 매번 대화가 새로 시작되는 거예요.

📝 컨텍스트 윈도우 — AI의 “작업 메모리”

2편에서 LLM은 “다음 단어 예측기”라고 했죠? 이 예측기가 한 번에 볼 수 있는 범위가 바로 컨텍스트 윈도우예요.

컨텍스트 윈도우의 크기는 모델마다 달라요.

불과 5년 만에 컨텍스트 윈도우가 2,400배 이상 커졌어요! Meta의 Llama 4 Scout은 1000만 토큰까지 지원해요.

첫째, 비용과 속도예요. 컨텍스트가 길어지면 비용도, 응답 시간도 비례해서 늘어나요. 1M 토큰을 매번 보내면 한 번 대화에 몇 달러씩 들어요.

둘째, “Lost in the Middle” 문제예요. 2023년 스탠포드 연구팀이 발견한 현상인데, LLM은 긴 문서의 처음과 끝에 있는 정보는 잘 찾지만, 중간에 있는 정보는 놓치는 경향이 있어요. 2025년 연구에서도 이 문제가 여전히 확인됐어요 — 특히 찾아야 할 정보가 짧을수록 성능이 급격히 떨어져요.

💬 대화 히스토리 — “기억”의 정체

그러면 ChatGPT나 Claude가 이전 대화를 “기억”하는 것처럼 보이는 비결은 뭘까요? 바로 대화 히스토리(Conversation History)예요.

원리는 놀라울 정도로 간단해요. 매번 API를 호출할 때 이전 대화 전체를 함께 보내는 거예요.

기억 없는 봇 vs 기억하는 봇

직접 코드로 비교해볼게요. 먼저, 기억이 전혀 없는 봇이에요.

import anthropic

client = anthropic.Anthropic()

# 매번 새로운 대화 — 기억 없음
def ask_no_memory(question):
    response = client.messages.create(
        model="claude-sonnet-4-20250514",
        max_tokens=200,
        messages=[
            {"role": "user",
             "content": question}
        ]
    )
    return response.content[0].text

print(ask_no_memory("내 이름은 시월이야"))
# "안녕하세요, 시월님!"
print(ask_no_memory("내 이름이 뭐였지?"))
# "죄송합니다, 이름을 알 수 없습니다."

이번엔 대화 히스토리를 누적하는 봇이에요.

import anthropic

client = anthropic.Anthropic()
history = []  # 대화 기록 저장소

def ask_with_memory(question):
    history.append(
        {"role": "user",
         "content": question}
    )
    response = client.messages.create(
        model="claude-sonnet-4-20250514",
        max_tokens=200,
        messages=history  # 전체 히스토리!
    )
    answer = response.content[0].text
    history.append(
        {"role": "assistant",
         "content": answer}
    )
    return answer

print(ask_with_memory(
    "내 이름은 시월이야"))
# "안녕하세요, 시월님!"
print(ask_with_memory(
    "내 이름이 뭐였지?"))
# "시월님이라고 하셨어요!"

🧠 시스템 프롬프트 — AI의 “첫 번째 기억”

대화 히스토리가 “대화 중 기억”이라면, 시스템 프롬프트는 대화가 시작되기도 전에 AI에게 심어주는 “첫 번째 기억”이에요.

response = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=200,
    system="넌 시월이라는 쿨한 AI야."
           " 반말을 쓰고,"
           " 날카로운 질문을 해.",
    messages=[
        {"role": "user",
         "content": "자기소개 해봐"}
    ]
)
# "시월이야. 궁금한 거 있으면 물어봐.
#  대신 대충 물어보면 대충 대답할 거야."

📦 대화가 너무 길어지면? — 컨텍스트 관리 전략

대화 히스토리를 무한정 쌓을 수는 없어요. 컨텍스트 윈도우에 한계가 있으니까요. 대화가 길어질수록 비용도 늘고, 속도도 느려져요. 어떻게 해결할까요?

🔮 장기 메모리 — 대화를 넘어선 기억

지금까지 다룬 건 “한 대화 안에서의 기억”이에요. 그런데 대화가 끝나면? 모든 기억이 사라져요. 내일 새 대화를 시작하면 AI는 다시 백지 상태예요.

이 문제를 해결하기 위해 등장한 개념이 장기 메모리(Long-term Memory)예요. 핵심 아이디어는 간단해요 — 중요한 정보를 외부 저장소에 따로 저장하고, 필요할 때 꺼내 쓰는 거예요.

실제 서비스는 이렇게 구현해요

ChatGPT의 Memory 기능은 두 가지 방식으로 작동해요. 첫째, 사용자가 “이거 기억해”라고 명시적으로 요청한 Saved Memories. 둘째, 2025년 4월부터 추가된 과거 대화 참조 기능이에요. ChatGPT가 이전 대화들에서 관련 정보를 자동으로 찾아와요. 중요한 건, 대화를 삭제해도 메모리는 남아있다는 거예요 — 메모리는 대화와 별개로 관리돼요.

Claude도 비슷한 방식이에요. 프로젝트별 메모리(CLAUDE.md)나 자동 메모리(MEMORY.md)에 정보를 저장해두고, 새 대화가 시작될 때 시스템 프롬프트에 끼워넣어요.

컴퓨터처럼 생각하는 AI 메모리 — MemGPT

더 발전된 접근도 있어요. MemGPT(현재 Letta)는 컴퓨터 운영체제의 메모리 관리에서 영감을 받았어요.

🔗 전체 그림 — 에이전트의 기억 체계

지금까지 배운 내용을 하나로 정리해볼게요. AI 에이전트의 기억은 크게 3가지 층으로 나뉘어요.

3편에서 배운 Tool Use를 기억하나요? 장기 메모리도 결국 도구(tool)를 통해 구현해요. “메모리에 저장해” → 저장 도구 호출, “이전에 뭐라고 했지?” → 검색 도구 호출. 기억도 결국 도구의 힘이에요!

📝 오늘의 핵심 정리

• LLM은 원래 기억이 없어요. 매번 대화를 새로 시작하는 구조예요.
• 컨텍스트 윈도우는 LLM이 한 번에 읽을 수 있는 최대 범위예요. 이 창 안에 있는 내용만 AI가 “아는” 거예요.
• 대화 히스토리가 “기억”의 비밀이에요. 이전 대화를 messages 배열에 누적해서 매번 함께 보내는 거예요.
• 시스템 프롬프트는 AI의 “첫 번째 기억” — 성격과 규칙을 정해요 (6편에서 자세히!).
• 대화가 길어지면 슬라이딩 윈도우, 요약, RAG 등의 전략으로 관리해요.
• 장기 메모리는 외부 저장소에 정보를 저장하고 검색하는 방식이에요. 이것도 결국 Tool Use의 힘!

📚 References

• Anthropic — Context Windows Documentation
• OpenAI — Managing Conversation State
• OpenAI — ChatGPT Memory FAQ
• Letta — Agent Memory: How to Build Agents that Learn and Remember
• Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory (2025)
• Elvex — Context Length Comparison: AI Models in 2026
• Lost in the Haystack: Smaller Needles are More Difficult for LLMs to Find (2025)
• 클로디의 Agentic AI 교실 2편 — LLM이 뭔지 알아보자
• 클로디의 Agentic AI 교실 3편 — Tool Use의 세계