[SAMSUNG SDS] Agentic AI 시대, 진화하는 보안 위협과 그 해법은?

 

AI Agent가 만들어낸 보안 환경의 대변화

기업들은 AI Agent를 중심으로 디지털 혁신을 실현하고 있다. 지금의 AI Agent는 스스로 판단하고 외부 시스템과 연동하여 실제 행위를 수행하는 독립적인 실행 주체로 진화하고 있다. 많은 기업들이 생성형 AI를 실제 업무에 통합하며 문서 자동화, 고객 응대, 소프트웨어 개발, 내부 지식 검색 등의 분야에서 급격한 효율화가 이루어지고 있다. 그만큼 이전과 다른 유형의 보안 위협과도 마주치게 되었다.

AI Agent의 등장으로 자신의 환경이나 설정을 조작하거나 불법 행위를 하는 등의 위험을 방지하기 위해 AI의 흐름 전체를 추적하고 통제할 수 있어야 한다는 새로운 요구가 등장했다. 자율적 실행 능력을 갖춘 AI는 예상하지 못한 방식으로 시스템을 위협할 수 있어 주의가 필요하다.

 

새로운 보안 위협에 어떻게 대응할 것인가?

OpenAI와 구글 딥마인드도 에이전트 기능을 공개할 때 '고위험 작업은 반드시 사용자 승인 절차를 거쳐야 한다'는 정책을 강조한다. 사람이 마지막 통제권을 행사해야 한다는 뜻이다. 과거에는 실험에 그쳤던 AI 기반 공격 시도가 이제는 글로벌과 국내 기업을 모두 겨냥하며 피해 규모와 파급력 또한 커지고 있다. 따라서 기업들이 AI 활용 속도만큼이나 AI 보안 리스크에 대한 이해와 대응 역량을 함께 끌어올려야 한다.

 

Agentic AI 환경에서 발생 가능한 주요 보안 위협

기존 보안 체계로 대응하기 어려운 새로운 위협들이 등장함에 따라 보다 체계적으로 정리하고 관리하려는 움직임이 나타나고 있다. 대표적으로 OWASP는 정기적으로 OWASP Top 10 for LLM을 발표하며 기술 진화에 발맞춘 보안 기준 마련에 나섰다. 이 리스트는 Agentic AI 환경에서 특히 주의해야 할 취약점을 체계적으로 정리한 것이다.

 

이 표는 Agentic AI의 행동 추적 및 통제 관점에서 주목할 만한 5가지 취약점이다. 

 

1) 과도한 위임

LLM 기반 AI Agent가 지나친 자율성과 권한을 갖게 되는 취약점이다. 사용자의 승인을 받지 않고 외부 시스템 접근, API 호출, 이메일 발송, 데베 수정, 시스템 명령 실행과 같은 실제 영향을 주는 행동을 수행 가능할 때 발생한다. 개발자가 의도하지 않은 작업을 하게 만들 수 있기 때문에 민감 정보가 유출되거나 외부 공격자가 시스템을 제어하는 일이 발생할 수 있다. 업무 자동화나 외부 서비스 연동에서 이런 공격이 벌어지면 실제 서비스에 막대한 피해가 될 수 있다. 따라서 시스템 설계와 운영 시 반드시 에이전트의 권한과 행동 범위를 제한하고 통제해야 한다.

 

2) 부적절한 출력 처리

여러 에이전트가 협업하는 환경에서 위험한 취약점이다. 에이전트 하나가 감염되면 출력이 다른 에이전트의 입력으로 사용되고 그게 반복되면 악성 명령과 코드가 확산될 수 있다. 마이크로소프트와 구글은 이런 위험을 방지하기 위해 에이전트 실행 시 최소 권한 부여와 외부 API 호출 검증, 실행 추적 로그화를 필수적으로 하고 있다. 검증 절차를 반드시 거치도록 구성하고 흐름 전체를 보호할 수 있는 구조적 검증 절차도 필요하다.

 

3) 프롬프트 인젝션

사용자가 입력하는 문장 안에 악의적 명령을 숨겨두고 AI가 이를 실행하도록 유도하는 공격이다. 사용자는 자신이 어떤 실행을 유발했는지 인지하지 못하고 정보 유출이나 시스템 변경이 발생될 수 있다. AI가 입력 내용을 온전히 신뢰하는 구조적 특성 때문에 발생하며, 이는 가장 심각한 보안 위협 중 하나다.

 

4) 민감 정보 유출

LLM 기반 AI 시스템 또는 에이전트가 개인정보, 내부 문서, 인증 정보, API 키 등 공개되어서는 안되는 중요한 정보를 외부로 노출하는 보안 취약점이다. 에이전트 외부 연동이나 자동화 메시지 전송 과정에서 검증과 필터링 없이 민감 내용을 포함한 응답을 생성하거나 전송할 때 발생한다. 따라서 LLM 및 에이전트 시스템에서는 필요한 최소 정보만 사용하고 응답 전에 항상 민감 데이터가 포함되어있는 지 자동으로 검사해야 한다. 

 

5) 시스템 프롬프트 유출

LLM 또는 에이전트의 내부 설정, 운영 정책, 명령어 템플릿 등 시스템 프롬프트에 해당하는 정보가 외부로 노출되는 보안 취약점이다. 이 취약점은 에이전트가 제공한 답변이나 출력, 또는 외부 연동과정에서 내부 프롬프트가 의도치 않게 포함되어 노출될 때 발생한다. 에이전트의 판단과 행동의 기준이 되는 내부 프롬프트가 유출되면 공격자는 AI Agent를 쉽게 우회하거나 조작할 수 있다. 따라서 LLM 및 에이전트의 모든 출력 결과를 사전 점검해서 내부 프롬프트 누출이 없는지 필터링하고 감시하는 게 필요하다.

 

AI 보안 위협, 국내외 대응 전략과 준비 현황

이처럼 Agentic AI 환경에서 등장한 새로운 보안 위협에 대응하기 위해 각국과 기업들은 발 빠르게 움직이고 있다. 유럽 연합의 경우 AI를 위험도에 따라 분류하여 고위험 AI에는 반드시 행동을 추적하고 인간이 감독하도록 하는 'AI ACT'를 24년 3월 최종 통과시켜 26년 전면 시행을 앞두고 있다. 미국은 23년 10월 '안전하고 신뢰할 수 있는 AI' 행정명령을 발표해 체계 구축을 권고한 바가 있다. 국내에서는 25년 1월 제정된 '인공지능기본법'이 26년부터 시행될 예정이다. 해당 법은 고영향 AI와 생성형 AI 등 위험도가 높은 시스템에 대한 규제와 여러 의무를 규정하고 있다. 국내 주요 대기업과 금융 기관도 이 법을 반영해 AI 보안 가이드라인을 내부 표준으로 제정하고 LLM 기반 서비스에 대해 에이전트 행위 추적과 프롬프트 검증 로직을 추가하는 보안 조치를 도입하고 있다. 

 

AI 보안, 기업이 반드시 준비해야 할 것들

1) 프롬프트에서 최종 결과물까지 모든 단계를 추적하고 통제할 수 있는 체계가 필요하다.

2) 조직 문화와 인재 중심의 대응이 뒷받침되어야 한다.

 

 

마무리하며

보안은 AI 혁신을 막는 장치가 아니라 지속 가능한 혁신을 담보하는 기반임을 분명히 해야한다. 지금은 급변하는 보안 위협에 대응하여 기업 전반의 문화를 바꾸고 실행 가능한 보안 체계를 구축할 때이다. AI는 신뢰할 수 있는 동반자와 협력자가 되어 기업 혁신을 한 단계 끌어올리는 힘이 될 것이다.

 

 

[출처]

SAMSUNG SDS - Agentic AI 시대, 진화하는 보안 위협과 그 해법은?

https://www.samsungsds.com/kr/insights/security-threats-in-the-agentic-ai-era.html