🐟 기억 못 하는 천재 — 골드피시 문제

LLM은 이미 인간을 압도하는 추론 능력을 갖췄다. 코드를 쓰고, 계획을 세우고, 전략을 짠다. 하지만 치명적인 약점이 있다. 어제 나눈 대화를 오늘은 기억하지 못한다. 세션이 끝나면 모든 데이터가 백지로 돌아간다. 엔지니어들이 이를 골드피시 문제(Goldfish Problem)라고 부르는 이유는 명확하다. 기억 수명이 어항 속 금붕어 수준이기 때문이다.

이 문제는 생각보다 심각하다. Gartner는 2025년 6월 25일, 에이전트형 AI 프로젝트의 40% 이상이 2027년까지 취소될 것이라고 전망했다. Gartner가 꼽은 공식적인 취소 이유는 비용 과다, ROI 불명확, 리스크 거버넌스 부재다. 여기에 더해 일부 업계 분석가들은 “세션마다 컨텍스트를 처음부터 다시 쌓는 비용”, 즉 지속되는 기억(Institutional Memory)의 부재를 핵심 실패 요인으로 지목한다.

📦 RAG는 죽었나? — 진화하는 검색 레이어

“RAG is dead”라는 담론이 있지만, 결론은 정반대다. 죽은 것은 naive RAG(단순 검색)이고, 살아남은 것은 정교하게 조율된 RAG다.

롱컨텍스트(1M~2M 토큰)와 RAG의 논쟁은 이제 성능이 아니라 경제성과 지연시간의 문제로 넘어갔다. 매 쿼리마다 수백만 토큰을 전부 다시 읽는 것은 비용 면에서 비현실적이다. 또한 첫 토큰 생성 시간(TTFT, Time To First Token)이 길어지는 문제도 피할 수 없다. 게다가 긴 컨텍스트 중간에 있는 정보를 놓치는 “lost in the middle” 현상도 여전히 해결 과제다. 따라서 벡터 인덱스는 “미리 계산해 둔 캐시”로서 여전히 강력한 이점을 가진다.

2026년 기준 RAG의 표준 베이스라인은 다음과 같다.

• 하이브리드 검색: 밀집(Dense) 임베딩과 희소(Sparse) BM25를 RRF(Reciprocal Rank Fusion, 두 검색 결과의 순위를 결합하는 방식)로 병합한다.
• 크로스인코더 리랭킹(Reranking): 검색된 상위 후보군을 다시 정밀하게 재점수화한다.
• HyDE / 멀티쿼리: 가상 문서를 생성하거나 질문을 확장하여 검색 정확도를 높인다.
• Contextual Retrieval: 데이터 청크(Chunk)에 문서 전체의 맥락을 붙여 인덱싱한다.

이것은 이제 최첨단 기술이 아니라 기본기다. 그리고 이 기본기 위에 올라가는 것이 바로 진짜 화두인 메모리 레이어다.

🗺️ 2026 AI 메모리 시장 지형도

“모델이 제품이 아니라, 기억이 제품이다.” 현재 시장은 이 명제를 증명하고 있다. 전용 메모리 인프라 스타트업이 급성장하고 있으며, 빅테크 기업들도 각자의 방식으로 메모리를 내재화하고 있다.

전용 메모리 스타트업

빅테크의 세 갈래 설계

빅테크 기업들은 서로 다른 철학으로 메모리를 내재화하고 있다.

• OpenAI (ChatGPT): 백그라운드 합성 방식이다. 대화 이력을 종합해 사용자 프로필을 “꿈꾸듯(dreaming)” 자동으로 큐레이션한다. 사용자에게는 투명하지만, 기억의 내용을 직접 제어하기는 어렵다.
• Anthropic (Claude): 파일 기반 에이전트형 메모리다. 클라이언트 측 파일 시스템에 기억을 저장하고 필요할 때 꺼내 쓴다. 현재 빅테크 방식 중 가장 감사(Audit)하기 용이한 형태다.
• Google (Gemini): 에코시스템 그래프 방식이다. Gmail, Docs, Calendar 등 구글 서비스 전반의 개인 컨텍스트를 연결한다. 데이터가 이미 구글 인프라 내에 있다는 점이 핵심이다.

🔬 6가지 기술 트렌드 — 그리고 우리가 이미 구현한 것들

앞서 밝혔듯, 우리는 이 트렌드들을 밖에서 지켜본 것이 아니라 운영 현장에서 직접 부딪히며 구현해 왔다. 아래는 2026년 메모리 엔지니어링의 핵심 패턴 여섯 가지를, 각 패턴마다 시장의 흐름 → 우리 시스템의 대응 순서로 정리한 것이다. 한 줄짜리 자랑이 아니라, 실제로 어떤 메커니즘으로 돌아가는지를 함께 적었다.

① 망각은 버그가 아니라 기능이다

시장은 메모리 관리를 위해 네 가지 레버를 사용한다: 중요도(Importance) → 병합(Merge) → 망각(Decay) → 제거(Eviction). 모든 정보를 영원히 저장하는 시스템은 결국 노이즈 때문에 무너진다.

우리 시스템의 대응 — 기억이 쌓이는 바로 그 순간, 0에서 1 사이의 중요도 점수가 자동으로 매겨진다. 점수가 낮은 잡담성 기억은 하이퍼볼릭 망각 곡선을 따라 시간이 갈수록 회상 가중치가 줄고, 임계 아래로 내려가면 야간 정리에서 제거 후보가 된다. 반대로 중요도가 높거나 자주 회상되는 기억은 망각에서 면제(promoted)되어 사실상 영구 보존되고, 핵심 사실은 ‘핀 고정’으로 망각·병합 대상에서 아예 빼둔다. 핵심은 ‘무엇을 잊을지’를 우연에 맡기지 않고 규칙으로 통제한다는 점이다. 덕분에 몇 달을 연속으로 굴려도 시스템이 노이즈에 파묻히지 않는다. 인지과학의 망각 곡선(Forgetting Curve) 원리를 실제 운영에 적용한 결과다.

② 수면 기반 통합 (Sleep-time Compute)

OpenAI의 “dreaming”이나 Letta의 “sleep-time compute”가 주목받는 이유가 있다. 깨어 있을 때는 에피소드(Episodic) 메모리를 빠르게 적재하고, 유휴 시간에 요약과 클러스터링을 수행하는 방식이다. 이는 비용 효율적이며 메모리의 품질을 점진적으로 높여준다.

우리 시스템의 대응 — 매일 밤 정해진 시각에 ‘dreaming’이라 부르는 정리 배치가 돈다. ① 만료·저중요도 기억 가비지 수집 → ② 의미가 겹치는 기억 병합 → ③ 시간 충돌 해소 → ④ 반복적으로 등장한 에피소드를 절차적 기억으로 승격, 이렇게 네 단계다. 낮에는 대화를 값싸게 적재만 하고, 비용이 드는 요약·구조화는 유휴 시간으로 미루는 구조다. 여기에 과잉 일반화 방지 가드를 둬서, 정리 과정이 개별 사실을 뭉뚱그려 왜곡하지 않도록 했다. 시장이 이제 막 논문으로 내놓는 ‘수면 기반 통합’을 우리는 이미 운영 스케줄로 돌려온 셈이다.

③ Bi-temporal 지식그래프

Zep의 Graphiti 논문이 제시한 Bi-temporal(이시적) 접근법은 두 개의 시간축을 분리한다. “현실에서 언제 참이었는가(Valid Time)”와 “에이전트가 언제 이를 인지했는가(Transaction Time)”를 나누는 것이다. 이 분리가 없으면 모델은 과거의 사실을 현재의 사실로 착각하는 ‘시간 환각’을 일으킨다.

우리 시스템의 대응 — 모든 기억에 ‘언제 일어난 일인가’와 ‘언제 그것을 기록했는가’가 따로 남는다. 그래서 as_of 회상으로 특정 시점에 우리가 알고 있던 지식 상태를 그대로 복원할 수 있다(시간여행 회상). 사실이 바뀌면 새 사실이 옛 사실을 대체(Supersede)하는 관계로 그래프에 기록돼, ‘과거엔 맞았지만 지금은 틀린’ 정보를 현재의 사실로 착각하는 일을 막는다.

④ 결정론적 충돌 해소

연구 결과에 따르면 LLM은 두 정보 중 무엇이 더 최신인지 판단하는 데 취약하다. 따라서 신선도 판단을 LLM의 직관에 맡기면 오류가 발생하기 쉽다. 최신 접근법은 LLM의 판단을 배제하고 타임스탬프를 기준으로 업데이트를 처리한다.

우리 시스템의 대응 — 새 기억이 기존 기억과 코사인 유사도로 일정 수준 이상 겹치면 중복·충돌로 판정한다. 이때 어느 쪽이 더 최신인지는 LLM의 직관이 아니라 타임스탬프로 결정해 갱신한다. 신선도 판단을 모델에 맡기지 않는 이유는 단순하다 — 바로 그 판단이 LLM이 가장 약한 지점이기 때문이다. 그래서 그 한 부분만큼은 일부러 결정론적 코드로 처리한다.

⑤ Episodic · Semantic · Procedural 분리

LangMem이 제안한 세 가지 메모리 타입 중 핵심은 절차적 기억(Procedural Memory)이다. 이는 검증된 다단계 행동 패턴을 ‘스킬’로 압축하여, 유사한 상황이 오면 즉시 실행할 수 있게 만드는 기술이다.

우리 시스템의 대응 — 작업의 맥락(상황·트리거)으로 회상되는 절차적 기억을 둔다. 과거에 통했던 다단계 절차를 ‘스탠딩 룰(Standing Rule)’로 등록해두면, 비슷한 상황이 올 때 그 절차가 지켜야 할 제약(standing constraint)으로 떠올라 곧바로 적용된다. 게다가 봇마다 적용 범위를 필터링해, 특정 에이전트에게만 해당하는 절차가 엉뚱한 봇에 끼어들지 않게 했다.

⑥ 멀티 스코프 · 멀티 에이전트 메모리

mem0가 사용자, 세션, 에이전트 단위로 스코프를 분리한 것은 매우 중요한 결정이다. 기억의 범위를 분리해야 정보의 오염을 막을 수 있기 때문이다.

우리 시스템의 대응 — 에이전트마다 독립된 메모리 뱅크를 운영한다. 각 봇의 경험·관찰·사실이 분리 저장되고, 필요할 때만 교차 참조한다. 한 에이전트의 추정이 다른 에이전트의 ‘사실’로 새어 드는 오염을 구조적으로 막기 위해서다. 더해서 같은 사건도 world(외부 사실)·experience(경험)·observation(관측)으로 유형을 나눠 보관해, 검증된 사실과 주관적 관측이 뒤섞이지 않게 했다.

⚠️ 벤더 벤치마크를 맹신하지 마라

메모리 시장의 성능 지표를 볼 때 주의할 점이 있다. 유명한 “mem0 vs Zep” 비교 수치 중 상당수는 벤더가 주도한 연구에서 나온 결과다. arXiv:2504.19413 같은 논문이 대표적이다. 벤더의 입장이 반영된 결과일 수 있음을 인지해야 한다.

평가 방식 자체의 한계도 존재한다. LongMemEval 같은 프레임워크는 Recall@K(검색된 상위 K개 중 정답이 있는 비율)를 주로 측정한다. 하지만 이 방식은 중복되거나 모순된 정보를 저장해도 점수가 높게 나오는 역설을 가지고 있다. 실제 운영 환경에서는 노이즈가 늘어나 품질이 떨어지지만, 지표상으로는 우수해 보일 수 있다는 뜻이다.

우리는 골든셋(Golden Set) 기반의 자체 평가 하니스와 야간 회귀 테스트를 통해 성능을 직접 검증한다. 벤더의 수치를 참고하되, 우리의 숫자는 우리가 직접 확인한다.

메모리 포이즈닝 — 새로운 보안 위협

지속형 메모리는 새로운 보안 공격의 통로가 된다. 세션이 끝나면 사라지는 프롬프트 인젝션과 달리, 메모리 포이즈닝(Memory Poisoning)은 오염된 기억을 영구적인 백도어로 만든다. 잘못된 정보가 다음 세션에서도 계속 살아남아 모델의 판단을 흐리게 한다.

업계는 이제 막 이 문제에 대한 방어책을 논의하기 시작했다. 우리는 데이터의 출처(Provenance)를 추적하고, 중복을 제거하며, 충돌 시 최신 정보를 우선하는 설계를 통해 오염에 대한 내성을 확보했다.

프라이버시와 비용 — 클라우드의 역설

지속형 메모리는 본질적으로 거대한 개인정보 저장소다. 클라우드 기반 메모리 서비스는 사용자당 비용(Per-seat)이 발생하며, 모든 데이터가 외부 서버로 전송된다. 민감한 업무를 다룰수록 리스크는 커진다.

우리는 자체 호스팅과 LAN 내부 운영을 지향한다. 데이터는 외부로 나가지 않으며, 민감한 처리는 로컬 LLM에 위임한다. 이것이 엔터프라이즈 환경에서 우리가 선택한 방식이다. 또한, 글로벌 벤더들이 취약한 한국어와 HWP 문서 처리에서도 높은 정확도를 유지하도록 설계했다.

📚 레퍼런스

• Gartner: Over 40% of Agentic AI Projects Will Be Canceled by End of 2027 (2025-06-25)
• TechCrunch: mem0 raises $24M from YC, Peak XV and Basis Set (2025-10-28)
• TechCrunch: Letta emerges from stealth with $10M seed (2024-09-23)
• arXiv:2501.13956 — Zep: A Temporal Knowledge Graph Architecture for Agent Memory
• arXiv:2410.10813 — LongMemEval benchmark (ICLR 2025)
• arXiv:2504.19413 — Mem0 성능 평가 논문 (벤더 주도 연구)

✅ 마무리

2026년의 AI 엔지니어링은 “어떤 모델을 쓸 것인가”에서 “에이전트가 무엇을 어떻게 기억하고 잊을 것인가”로 이동했다. RAG는 여전히 중요하지만, 그것만으로는 부족하다. 그 위에 상태를 관리하는 메모리 레이어가 반드시 필요하다.

시장의 기술들이 하나의 방향으로 수렴하고 있다. 중요도 기반의 망각, 수면 기반 통합, Bi-temporal 그래프, 결정론적 충돌 해소, 절차적 기억, 그리고 멀티 스코프 분리. 이 여섯 가지가 2026년 메모리 엔지니어링의 핵심이다.

에이전트를 설계하고 있다면, 모델을 고르기 전에 이 질문을 먼저 던져보길 권한다. “이 에이전트는 무엇을 기억하고, 언제 잊으며, 어떻게 업데이트할 것인가?” 이 설계의 깊이가 에이전트의 진짜 성능을 결정한다.