이번 보고서는 대한민국과 싱가포르 인공지능안전연구소(AISI)가 2026년 상반기 공동 수행한 ‘도구 사용형 LLM 에이전트의 데이터 유출 위험’ 결과를 종합한 것이다. AI 에이전트로 인한 데이터 유출은 프롬프트 인젝션(Prompt Injection)이나 탈옥(Jailbreak)과 같은 악의적 공격 상황에서만 발생하지 않는다. 이메일, 캘린더, 내부 문서, 데이터베이스, 코드 저장소, 협업 채널 등 실제 업무 도구에 접근 권한을 가진 에이전트는 정상적인 지시를 수행하는 과정에서도 판단 착오로 인해 민감 정보를 부적절하게 조회, 전달, 공개하는 치명적 오류를 범할 수 있다.

이번 평가는 회의 일정 조율 및 환불 처리, 항공권 예약, 보안 취약점 분류 등 총 12개의 현실적인 다단계 업무 시나리오를 기반으로 진행되었다. 양자는 독립적인 테스트 파이프라인을 구축하면서도, ReAct 기반 에이전트 및 모의 사용자, ‘MCP(Model Context Protocol)’ 도구 환경, 그리고 단편적인 최종 응답이 아닌 ‘전체 실행 궤적(Execution Trajectory)’을 분석하는 공통의 평가 방법론을 엄격히 적용했다.
정량적 평가 결과는 에이전트의 '업무 수행 능력'과 '안전한 데이터 처리 능력' 사이에 뚜렷한 간극이 존재함을 보여준다. 평가 대상 모델들의 경우, 정확도(Correctness)와 안전성(Safety) 등 개별 지표 기준으로 전반적으로 양호한 결과를 보였으나, 두 기준을 동시에 충족하는 비율은 상대적으로 낮게 나타났다.

더불어 정성적 분석을 통해 도출된 핵심 결론은 "에이전트의 뛰어난 업무 성능이 곧 안전성을 담보하지 않는다"는 점이다. 일부 에이전트는 지시된 업무를 표면적으로 성공리에 완수하면서도, 이면에서 민감 정보를 권한 없는 대상에게 공유하거나 필요 이상의 데이터를 과도하게 수집하는 양상을 보였다. 나아가 추론 과정에서는 사내 보안 정책을 올바르게 인지했음에도 실제 도구 호출 및 출력 단계에서는 이를 위반하는 '인지-행동 불일치' 사례가 발생했으며, 실제 도구를 실행하지 않고 임무를 완료했다고 허위 보고하는 환각(Hallucination) 현상도 다수 확인되었다.

따라서 향후 AI 에이전트의 안전성 평가는 모델의 최종 텍스트 응답에만 의존해서는 안 되며, 에이전트가 어떤 정보를 조회하여 어떤 도구를 호출했고 누구에게 데이터를 전달했는지를 포괄하는 '전체 실행 궤적'을 기준으로 수행되어야 한다. 그리고 이러한 결과는 AI 에이전트가 기업 업무 환경에 도입되는 과정에서 데이터 안전성이 단순한 부가적 검토 사항이 아니라, 실제 활용 가능성을 판단하는 데 함께 고려되어야 할 중요한 평가 요소임을 시사한다.

This report consolidates the results of a joint study on data leakage risks in tool-using LLM agents, conducted in the first half of 2026 by the AI Safety Institutes (AISI) of Korea and Singapore. Data leakage caused by AI agents does not occur only under malicious attacks such as prompt injection or jailbreak. An agent granted access to real work tools, including email, calendars, internal documents, databases, code repositories, and collaboration channels, can commit critical errors, improperly retrieving, transmitting, or disclosing sensitive information through misjudgment even while carrying out ordinary instructions.

The evaluation was based on a total of 12 realistic, multi-step business scenarios, including meeting scheduling, refund processing, flight booking, and security vulnerability triage. While each institute built its own independent testing pipeline, both rigorously applied a shared evaluation methodology that used ReAct-based agents and simulated users, an MCP (Model Context Protocol) tool environment, and analysis of the full execution trajectory rather than the fragmentary final response.

The quantitative results show a clear gap between an agent's task performance and its capacity for safe data handling. For the models evaluated, individual metrics such as correctness and safety were generally favorable, but the proportion that satisfied both criteria at the same time was relatively low.

The key conclusion drawn from the qualitative analysis is that an agent's strong task performance does not in itself guarantee safety. Some agents completed their assigned tasks successfully on the surface while, beneath it, sharing sensitive information with unauthorized parties or excessively collecting more data than necessary. Furthermore, cases of cognition-action mismatch emerged, in which an agent correctly recognized internal security policies during its reasoning but violated them at the actual tool-call and output stages, and many instances of hallucination were also confirmed, in which agents falsely reported completing a task without having executed the tools at all.

Therefore, future safety evaluation of AI agents must not rely solely on a model's final text response. It should instead be carried out on the basis of the full execution trajectory, encompassing what information an agent retrieved, which tools it called, and to whom it transmitted data. These findings suggest that, as AI agents are introduced into enterprise work environments, data safety is not a merely supplementary consideration but an important evaluation factor that must be weighed together in judging their real-world applicability.

▶ Singapore AISI: Singapore AISI page