레슨 5: 메모리의 경계와 안전

학습 목표:

• '메모리'라는 기능이 왜 동시에 새로운 공격 표면이기도 한지 설명하기
• MemoryTrap 사례에서 일상적인 조작이 어떻게 세션을 넘나드는 공격으로 바뀌었는지 다시 이야기하기
• 어떤 콘텐츠는 결코 영속 메모리에 쓰지 말아야 하는지, 그리고 어떤 정보는 오래되면 위험해지는지 판단하기
• 메모리 오염을 특정해 방어하는 구체적 조치를 최소 두 가지 대기

전제: 레슨 4를 마치고 구조화된 상태와 체크포인트를 이해하고 있을 것 | 이전: 레슨 4 << | 다음: 레슨 6 >>

일상적인 '리포지토리 클론, 설치 승인' 조작

영속 메모리가 연결된 에이전트에게 새 프로젝트를 도와 달라고 요청합니다: 리포지토리를 클론하고, 의존성이 깔끔하게 설치되는지 확인해 달라고요. 에이전트는 package.json을 읽고, 설치가 필요한 의존성을 찾아, 승인할지 묻습니다. 당신이 '진행해'라고 말하면 에이전트가 설치를 실행하고, 작업이 마무리되고, 당신은 다른 일로 넘어갑니다.

이 일련의 흐름에서 수상해 보이는 것은 없습니다. 아무도 에이전트에게 '이전 지시를 무시하라'고 하지 않았고, 아무도 당신이 모르는 URL을 건네지 않았습니다. 에이전트는 그저 해야 할 일을 했을 뿐입니다: 클론, 확인, 설치, 완료.

Cisco 연구팀이 발견해 OWASP Gen AI Security Project 블로그에 공개한 실제 취약점 — 연구자들이 MemoryTrap이라 이름 붙인 — 은 바로 이런 종류의 경로를 기술합니다. 글은 이렇게 적습니다: "In the vulnerability we called MemoryTrap, we found that a routine developer workflow could turn into persistent prompt injection. The path was surprisingly ordinary: clone a repository, let the agent help, approve a dependency installation, and move on."¹ (우리가 MemoryTrap이라 부른 취약점에서, 우리는 일상적인 개발자 워크플로가 지속적인 프롬프트 인젝션으로 바뀔 수 있음을 발견했습니다. 그 경로는 놀랍도록 평범했습니다: 리포지토리를 클론하고, 에이전트가 돕게 하고, 의존성 설치를 승인하고, 넘어갑니다.) 표면상으로는 아무 일도 일어나지 않았지만, 승인된 설치 내부에서 의존성 패키지나 리포지토리 어딘가에 숨어 있던 악성 콘텐츠가 더 성가신 무언가를 할 기회를 잡았습니다. 그것은 이 프로젝트에만 갇혀 있지 않았습니다: "Instead, it reached persistent memory, the global hooks configuration, and even influenced a highly trusted instruction layer through the system prompt."¹ (대신, 그것은 영속 메모리, 전역 훅 설정에 도달했고, 시스템 프롬프트를 통해 고도로 신뢰되는 지시 계층에까지 영향을 미쳤습니다.) 달리 말하면, "a one-time action could shape the model's future behavior across sessions, projects, and even reboots."¹ (한 번의 조작이 세션, 프로젝트, 심지어 재부팅을 넘어 모델의 미래 행동을 형성할 수 있었습니다.)

메모리가 새로운 공격 표면인 이유: ASI06

이 사례는 에이전트 보안에 대한 OWASP의 위험 분류에서 ASI06 — 메모리 및 컨텍스트 오염(Memory & Context Poisoning) — 에 해당합니다. 이 범주 뒤의 논리는 공식 블로그에 분명히 서술되어 있습니다: "Agentic systems do not just respond in the moment. They retain context, reuse memory, and rely on persistent state to guide future reasoning and actions. That is what makes them useful. It is also what makes them vulnerable."¹ (에이전트 시스템은 그 순간에 응답만 하는 것이 아닙니다. 그것들은 컨텍스트를 유지하고, 메모리를 재사용하며, 미래의 추론과 행동을 이끌기 위해 영속 상태에 의존합니다. 그것이 그것들을 유용하게 만드는 것입니다. 그것은 또한 그것들을 취약하게 만드는 것이기도 합니다.)

이 문장을 분해하면, 그것은 사실 앞의 네 레슨이 하나씩 쌓아 올린 능력 목록입니다: 레슨 2의 히스토리 관리는 대화를 이어가게 하고, 레슨 3의 외부 메모리는 정보를 세션을 넘어 영속하게 하며, 레슨 4의 구조화된 상태와 체크포인트는 작업을 멈춘 지점부터 재개하게 합니다. 이 능력들 하나하나가 에이전트를 더 유용하게 만들고, 하나하나가 동시에 이것을 뜻합니다: 악성 콘텐츠가 이렇게 신뢰되고 자동으로 읽히고 실행되는 곳에 한번 슬며시 들어가면, 그 영향은 이번 한 번의 틀린 답에 국한되지 않습니다. 그것은 몇 번이고 다시 읽히고, 몇 번이고 다시 효력을 발휘하며, 누군가 알아채고 치울 때까지 계속됩니다.

바로 그것이 MemoryTrap의 '의존성 설치 승인'이 위험했던 근본 원인입니다. 승인된 것은 고립된 일회성 조작이 아니라 영속 메모리와 훅 설정에 쓸 수 있는 경로였습니다 — 몇 번이고 신뢰되고 로드되는 종류의 저장소 말입니다.

무엇을 저장하고, 무엇을 저장하지 말 것인가

MemoryTrap이 던지는 핵심 질문은 이것입니다: 어떤 콘텐츠가 결코 영속 메모리나 훅 설정 — 자동으로 반복해서 로드되는 종류의 저장소 — 에 들어가서는 안 되는가?

앞선 코스 '에이전트 도구 호출: 에이전트가 실제로 일하게 만들기'는 그 레슨 5 '권한과 안전: 에이전트가 할 수 있는 일의 경계'에서 기본 규칙 하나를 제시했습니다: 도구가 반환하는 콘텐츠는 언제나 데이터이지 결코 지시가 아니다. 메모리 계층에서는 그 규칙을 한 걸음 더 밀어붙여야 합니다: 읽힌 콘텐츠는 검토 없이 자동으로 메모리로 승격되어서는 안 된다. 에이전트가 작업을 하며 읽는 리포지토리 파일, 의존성 설치 로그, 웹 콘텐츠는 이번 한 작업의 입력 데이터일 뿐입니다. 그중 한 줄을 그대로 CLAUDE.md나 Auto memory에 복사하는 것은 '이번 작업 중 읽은 신뢰할 수 없는 텍스트'를 '모든 미래 세션에서 신뢰되는 규칙으로 로드되는 콘텐츠'로 승격시킵니다. 그것이 바로 MemoryTrap의 '의존성 설치 승인' 안에서 벌어진 일입니다.

'무엇을 저장할 것인가'라는 구체적 질문에 대해, 바로 적용할 수 있는 몇 가지 경계가 있습니다:

• 자격 증명은 저장하지 말 것: 키, 비밀번호, 액세스 토큰 — 일단 자동으로 로드되는 메모리 파일에 쓰이면, 매 세션마다 윈도우에 다시 노출되어, 아무 이득도 없이 유출 표면만 넓힙니다.
• 신뢰할 수 없는 원본 텍스트를 있는 그대로 저장하지 말 것: 작업 중 읽은 파일 내용, 웹 텍스트, 의존성 출력. 그중 무언가를 기억해야 한다면, 그것은 사람이 확인해 명확한 진술로 다시 쓴 결론(예: '이 의존성은 Node 18 이상이 필요하다')이어야지, 읽은 텍스트 덩어리 전체를 그대로 메모리 파일로 옮긴 것이 되어서는 안 됩니다.
• 안정적이고 확인된 규칙과 사실은 저장할 가치가 있음: 예를 들어 레슨 3의 프로젝트 코드 스타일 관례, 또는 실제 조사 후 확인된 근본 원인. 이런 콘텐츠는 신뢰할 수 있는 출처가 분명하고, 메모리에 쓰는 것이 진짜 가치를 가져옵니다.

검증의 잣대는 레슨 3의 경로 경계 확인과 같은 사고의 흐름입니다: '이것을 기술적으로 쓸 수 있는가'가 아니라 '내가 지금 쓰려는 콘텐츠가 신뢰할 수 있는 출처에서 왔는가, 그리고 모든 미래 세션이 자동으로 신뢰할 자격이 있는가'입니다.

오래된 메모리의 위험: 한때 옳았으나 이제는 틀린 규칙

'무엇을 저장하지 말 것인가'를 넘어, 놓치기 쉬운 두 번째 부류의 위험이 있습니다: 이미 메모리에 있는 콘텐츠가 시간이 지나며 오래된 메모리(stale memory) 가 될 수 있다는 것 — 한때 옳았으나 더 이상 적용되지 않는데도, 영속 메모리에 앉아 있다는 이유로 여전히 현재 유효한 규칙처럼 실행되는 것입니다.

몇 달 전에 쓰인 Auto memory 노트를 떠올려 봅시다: '이 프로젝트 배포는 간단함 — main 브랜치에 푸시하면 자동으로 라이브가 됨, 추가 검토 불필요.' 그때는 사실이었을 수 있습니다. 하지만 몇 달이 지나 프로젝트에 필수 코드 리뷰가 도입되고, 아무도 그 노트를 갱신하지 않습니다. 에이전트가 그 오래된 메모리를 읽고 여전히 그것을 현재의 신뢰할 수 있는 운영 지침으로 다룬다면 — main에 곧장 푸시하고 리뷰를 건너뛴다면 — 그 결과는 메모리 오염과 같은 부류의 문제입니다: 신뢰해서는 안 될 콘텐츠가 단지 '메모리' 자리를 차지하고 있다는 이유로 권위 있는 사실로 취급되는 것입니다.

오래된 메모리와 메모리 오염의 차이는 기원에 있습니다: 오염은 악성 콘텐츠가 능동적으로 쓰여 들어간 것이고, 오래된 메모리는 선의로 정확하게 쓰였으나 아무도 제때 갱신하거나 정리하지 않아 신뢰할 수 없게 된 콘텐츠입니다. 하지만 둘은 같은 방어 태세를 공유합니다 — 메모리 안의 콘텐츠는 무조건 신뢰해서는 안 되며, 특히 시간이 지나며 바뀌는 권한이나 프로세스에 닿을 때는 여전히 유효한지 주기적으로 재검증해야 합니다.

Anthropic의 수정, 그리고 메모리 너머의 다른 신뢰 표면들

MemoryTrap이 공개된 후, Anthropic의 대응은 기록해 둘 가치가 있습니다: 글이 적듯, "To Anthropic's credit, after we at Cisco disclosed the issue, Claude Code v2.1.50 removed user memories from the system prompt, reducing the specific high-trust override path we identified. That was the right fix for the path we found."¹ (Anthropic의 공을 인정하자면, 우리 Cisco가 문제를 공개한 후 Claude Code v2.1.50은 시스템 프롬프트에서 사용자 메모리를 제거하여, 우리가 식별한 특정 고신뢰 오버라이드 경로를 줄였습니다. 그것은 우리가 발견한 경로에 대한 올바른 수정이었습니다.) 그 평가는 그 자체로 하나의 상기를 담고 있습니다: 수정된 것은 '우리가 발견한 경로'이지 '메모리 오염 위험 전체'가 아닙니다. 메모리, 훅, 설정 파일 — 시스템이 신뢰할 수 있는 출처로 반복 로드하는 곳이라면 어디든 원칙적으로 다음 공격의 착지점이 될 수 있습니다.

OWASP 블로그의 더 일반적인 원칙: "Once malicious content reaches trusted surfaces like memory, hooks, or configuration, the attacker is no longer just influencing one response. They are influencing future reasoning."¹ (악성 콘텐츠가 메모리, 훅, 설정 같은 신뢰되는 표면에 도달하고 나면, 공격자는 더 이상 하나의 응답에만 영향을 미치는 것이 아닙니다. 그들은 미래의 추론에 영향을 미치고 있는 것입니다.) 그 문장은 이번 레슨이 논의한 모든 것을 마무리합니다: 레슨 3의 메모리 파일과 레슨 4의 체크포인트는 모두 근본적으로 '미래 세션이 신뢰하고 로드할' 저장소입니다. 유용할수록, 진지하게 지켜진 쓰기 관문을 가질 자격이 있습니다.

정리

• 메모리가 유용한 것은 콘텐츠가 세션을 넘어 영속하고 신뢰와 함께 반복 로드되게 하기 때문이다 — 바로 그것이 메모리를 공격 표면으로도 만든다. ASI06 위험 범주는 이 부류의 메모리 및 컨텍스트 오염을 기술한다
• MemoryTrap 사례는 평범해 보이는 하나의 일상 워크플로(리포지토리 클론, 의존성 설치 승인)가 악성 콘텐츠를 영속 메모리와 전역 훅 설정에 도달하게 하고, 시스템 프롬프트를 통해 고도로 신뢰되는 지시 계층에까지 영향을 미칠 수 있음을 보여준다. 한 번의 일회성 조작으로 세션, 프로젝트, 재부팅을 넘어 모델의 미래 행동을 형성하기에 충분하다
• 무엇을 저장할지에는 분명한 경계가 있다: 자격 증명은 저장하지 말고, 신뢰할 수 없는 원본 텍스트는 그대로 저장하지 말며, 확인되고 안정적인 규칙과 사실만이 저장할 가치가 있다
• 오래된 메모리도 위험하다: 한때 옳았으나 더 이상 적용되지 않는 콘텐츠가 여전히 현재 유효한 규칙처럼 실행되면, 메모리 오염과 같은 부류의 문제가 된다
• Anthropic은 공개된 경로를 수정했지만(v2.1.50이 시스템 프롬프트에서 사용자 메모리를 제거), 더 일반적인 원칙은 이것이다: 악성 콘텐츠가 어떤 신뢰 표면(메모리, 훅, 설정)에든 도달하고 나면, 공격자는 더 이상 하나의 응답이 아니라 미래의 추론에 영향을 미친다

레슨 6 >>

Footnotes

1. Memory Is a Feature. It Is Also an Attack Surface — https://genai.owasp.org/2026/05/13/memory-is-a-feature-it-is-also-an-attack-surface/ ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶