AI Agent Security

Security Implementation in Enterprise Agent Platform

ybjeon.today 2026. 6. 11. 01:40

Enterprise Agent Platform의 Security Implementation

1. Goal

엔터프라이즈 생성형 AI 플랫폼을 security implementation 관점에서 비교한다.

핵심 질문은 다음과 같다.

이 플랫폼에서 Agent는 누구의 권한으로 동작하고, 어떤 Tools 또는 MCP를 호출하며, 그 동작은 어떻게 통제되고 감사되는가?

Main Points

User / Agent Identity
Permission Delegation
Agent별 Least Privilege
Tool / MCP Control
Guardrails
Content Filtering
Prompt Injection Defense
DLP / Sensitive Data Detection
Network Isolation
Audit / Logging
Observability
Data Retention / Residency
SIEM / SOC Integration

2. 비교 대상 플랫폼

Vendor	Enterprise AI Assistant	Agent / AI Platform
OpenAI	ChatGPT Enterprise	OpenAI API, Responses API, Agents SDK
Anthropic	Claude Enterprise	Claude API, MCP
Google	Gemini Enterprise	Vertex AI, Gemini Enterprise Agent Platform, Agent Builder
AWS	Amazon Q Business	Amazon Bedrock, Bedrock Agents, AgentCore
Microsoft	Microsoft 365 Copilot	Azure AI Foundry, Copilot Studio

3. 핵심 Security 비교 항목

Security Item	Core Question
Identity	User와 Agent를 각각 개별적으로 식별할 수 있는가?
Permission Delegation	Agent가 사용자 권한으로 동작하는가, 자체 권한으로 동작하는가?
Agent Permission Isolation	Agent별 least privilege를 부여할 수 있는가?
Tool Control	Agent가 호출할 수 있는 API, SaaS, DB, 업무 시스템을 제한할 수 있는가?
MCP Control	외부 MCP Server를 허용하거나 차단할 수 있는가?
MCP Allowlist	승인된 MCP Server만 연결할 수 있는가?
Guardrails	입력, 출력, Tool 호출, Memory 쓰기를 정책으로 제한할 수 있는가?
Content Filtering	유해 콘텐츠, 정책 위반, 부적절한 응답을 탐지하고 차단할 수 있는가?
Prompt Injection Defense	direct / indirect prompt injection을 탐지하고 차단할 수 있는가?
DLP / Sensitive Data Detection	PII, 금융 데이터, 소스코드, 영업비밀을 탐지, 마스킹, 차단할 수 있는가?
Network Control	VPC, VNet, Private Endpoint, PrivateLink 등으로 isolation 가능한가?
Data Access Control	기존 시스템 권한을 상속하는가, 별도 IAM으로 제어하는가?
Audit / Logging	prompt, Tool call, Agent execution, admin change를 감사할 수 있는가?
Observability	Agent decision flow, Tool call, error, latency를 trace할 수 있는가?
Data Retention	conversation, log, file, memory의 retention 기간을 제어할 수 있는가?
Data Residency	데이터 저장 및 처리 region을 제어할 수 있는가?
SIEM / DLP Integration	log를 Splunk, Sentinel, Chronicle 등으로 전달할 수 있는가?
Runtime Security	code execution, browser, shell, file access를 격리하고 제어할 수 있는가?
Evaluation / Red Teaming	배포 전 Agent security testing과 policy evaluation을 수행할 수 있는가?

4. Platform Security Feature Comparison

Item	ChatGPT Enterprise	Claude Enterprise	Gemini Enterprise / Google Agent Platform	AWS Bedrock + AgentCore	Microsoft 365 Copilot	Azure AI Foundry
Product Type	Enterprise AI Assistant	Enterprise AI Assistant	Assistant + Agent Platform	Agent Platform	Enterprise AI Assistant	Agent Platform
Primary Users	Employees	Employees	Employees + Developers	Developers / Platform Teams	Employees	Developers / Platform Teams
Default Identity	Workspace User	Claude Organization User	Google Cloud / Workspace User	IAM principal / Agent identity	Entra ID User	Entra ID User / Agent identity
Agent Identity	제한적, user/workspace 중심	제한적, user/organization 중심	Agent Identity 지원	AgentCore Identity	M365 / Entra permission model 기반 Copilot Agents	Microsoft Entra 기반 Agent Identity 지원
Permission Delegation Model	User permissions + connector permissions 중심	User/organization permissions 중심	Agent가 자체 권한 또는 end user behalf로 동작 가능	Agent 자체 권한 및 IAM-based delegation 설계 가능	User Microsoft Graph permission inheritance 중심	Agent identity + delegated access 설계 가능
User Permission Inheritance	Connector별 permission inheritance	Connector별 permission inheritance	Workspace / Cloud IAM / Data source ACL	직접 설계 필요	SharePoint, Exchange, Teams, Graph permission inheritance	Data source / Azure RBAC / Entra 기반 설계
Agent Permission Isolation	제한적	제한적	가능	강함	Copilot Studio / Agent별 설정 가능	강함
External MCP Allowance	Connector / Actions / MCP ecosystem 기반 조건부 허용	Claude Desktop / Connectors / MCP ecosystem과 통합	Google Agent Platform / Gateway 계열로 제어	AgentCore Gateway가 MCP-compatible tool interface 제공	Copilot Studio / Graph connector 중심	MCP tools를 AI Gateway 경유로 routing해 제어
MCP Allowlist	product/admin policy에 따라 다름	product/admin policy에 따라 다름	Gateway / IAM / policy 기반 설계	Gateway / IAM / Policy 기반 설계	Tenant / connector policy 중심	AI Gateway가 auth, rate limit, IP restriction, audit logging 적용
Tool Permission Control	Workspace Admin / Connector settings	Organization Admin / Connector settings	IAM, Agent Identity, Connector settings	IAM, AgentCore Policy, Gateway	Entra, Purview, Copilot Studio, Graph permissions	Entra ID, Azure RBAC, AI Gateway, API Management
Network Isolation	SaaS 기반, customer VPC 직접 제어 제한적	SaaS 기반, network control 제한적	Google Cloud 기반 제어 가능	VPC, PrivateLink, IAM endpoint 설계 가능	SaaS 기반 M365 boundary	VNet, Private Endpoint, Azure Policy
Audit Logs	Compliance Platform / Admin & Audit Logs API	Enterprise audit logs, Compliance API	Cloud Audit Logs, usage audit logs, traces/spans	CloudTrail, CloudWatch, AgentCore Observability	Microsoft Purview Audit	Azure Monitor, Log Analytics, Purview
Tool Call Audit	Compliance log coverage 확인 필요	Compliance API / audit log coverage 확인 필요	Agent Platform audit logging	AgentCore Observability / Gateway / CloudTrail	Purview Audit / Copilot audit logs	AI Gateway audit logging / Azure Monitor
Prompt / Response Logging	Compliance Platform을 통해 eDiscovery, DLP, SIEM integration 가능	Compliance API로 activity logs, chats, files, projects, users 접근 가능	Usage audit logs / Cloud Logging / trace	Application design + CloudWatch / CloudTrail	Purview Audit / eDiscovery / DSPM for AI 확인	Foundry tracing / Azure Monitor 설계
Admin Change Audit	지원	지원	Cloud Audit Logs	CloudTrail	Purview Audit	Azure Activity Log / Monitor
Data Retention	Enterprise retention policy	Custom data retention controls	Workspace / Cloud retention policy	Customer account log/storage policy	M365 / Purview retention	Azure / Purview retention
Guardrails	GPT settings, Admin policy, Connector/Action control 중심	Claude safety policy, organization policy 중심	Gemini safety / Vertex AI safety / policy	Bedrock Guardrails + AgentCore Policy	Purview, DLP, sensitivity labels, Copilot policy	Azure AI Content Safety, Prompt Shields, policy
Content Filtering	OpenAI model safety와 workspace policy 기반	Claude safety policy 기반	Gemini safety filters	Bedrock Guardrails content filters	Microsoft safety stack + Purview policy	Azure AI Content Safety
Prompt Injection Defense	Connector/Action design 및 app policy에 의존	Claude safety와 client/tool policy에 의존	Workspace Gemini는 layered defense 강조	Bedrock Guardrails prompt attack filter + Gateway design	M365 security model + Purview + connector policy	Prompt Shields가 direct/indirect prompt injection 탐지
DLP Integration	Compliance Platform이 DLP/eDiscovery/SIEM과 통합	Compliance API를 외부 SIEM/DLP와 통합 가능	Google DLP / Workspace DLP / Cloud Logging 연계	Macie, DLP pipeline, CloudWatch/SIEM 설계 필요	Microsoft Purview DLP 강점	Microsoft Purview, Defender, Sentinel integration
Data Residency	Enterprise contract / region option 확인 필요	Enterprise contract / region option 확인 필요	Google Cloud / Workspace region policy 확인 필요	region, VPC, account로 설계 가능	M365 data residency policy	Azure region / data boundary / private deployment
Encryption	Encryption at rest/in transit	Encryption at rest/in transit	Google Cloud encryption	KMS / CMK 설계 가능, 강함	M365 encryption	Key Vault / CMK 가능
Customer Managed Key	Enterprise Key Management scope 확인 필요	available scope 확인 필요	Google Cloud CMEK available scope 확인 필요	KMS 기반, 강함	Microsoft 365 Customer Key available scope 확인 필요	Azure Key Vault / CMK, 강함
Model/Data Isolation	Enterprise data training opt-out policy	Enterprise data control policy	Workspace/Cloud customer data protection policy	Bedrock은 customer input/output으로 학습하지 않음	M365 tenant boundary	Azure tenant/subscription/resource boundary
Abuse Monitoring	Admin/Compliance log 기반 탐지	Audit/Compliance API 기반 탐지	Cloud Logging / Audit Logs 기반 탐지	CloudTrail, CloudWatch, GuardDuty integration	Purview Audit / Defender / Sentinel	Azure Monitor / Defender / Sentinel
Rate Limiting	SaaS policy 및 API limits	SaaS/API limits	Google Cloud quota/policy	API Gateway, WAF, Lambda, service quota	M365 service limits / tenant policy	API Management, Gateway, Azure policy
Egress Control	직접 network egress control 제한적, SaaS 기반	직접 network egress control 제한적, SaaS 기반	Google Cloud 환경에서 VPC Service Controls 가능	VPC, PrivateLink, NAT, Security Group, Network Firewall	SaaS 기반 M365 boundary	VNet, Private Endpoint, NSG, Firewall
Sandbox / Code Execution	Advanced Data Analysis / Actions usage policy 검토	Claude Code / Desktop / Tool usage policy 검토	code execution feature 사용 시 별도 isolation 필요	AgentCore Code Interpreter, Lambda, container sandbox 설계	Copilot Studio agent action control	Code Interpreter / tool execution environment control
File Upload Control	Workspace/Admin policy	Organization policy	Workspace/Cloud policy	S3/IAM/KMS/AV scan 설계	Purview, sensitivity labels	Storage, Defender, Purview policy
Connector Governance	Workspace Admin, Connector policy	Connector policy	Workspace / Agent Builder connector policy	AgentCore Gateway / IAM	Graph connectors, Copilot Studio, Purview	API Management, AI Gateway, Connector policy
Tool Input/Output Filtering	app/Connector design 및 Compliance logs로 보완	app/MCP Gateway design으로 보완	Cloud Logging, policy, safety filter 조합	Gateway + Guardrails + Lambda validation	Purview/DLP/Connector policy	AI Gateway + Content Safety
Human Approval	GPT/Action design별 구현	Tool/MCP design별 구현	Agent workflow 내 구현	Step Functions, Lambda, approval workflow 설계	Power Automate / Copilot Studio approval	Logic Apps / Power Automate / workflow approval
Evaluation / Red Teaming	Enterprise deployment 전 별도 evaluation framework 필요	별도 evaluation framework 필요	Vertex AI evaluation 계열 사용 가능	Bedrock evaluation / custom red team 설계	Microsoft Responsible AI / Purview review	Azure AI evaluation, red teaming, Content Safety
Groundedness Detection	app/RAG design으로 보완	app/RAG design으로 보완	Grounding/search quality management 필요	Knowledge Bases + evaluation 설계	Graph grounding + Purview	Azure AI Content Safety groundedness detection
Protected Material Detection	Policy/model safety 기반	Policy/model safety 기반	Policy/model safety 기반	Guardrails/policy 설계	Microsoft policy 기반	Azure protected material detection
SIEM Integration	Compliance Platform → SIEM	Compliance API → SIEM/Datadog 등	Cloud Logging export	CloudWatch/CloudTrail → SIEM	Sentinel / Purview / Defender	Sentinel / Monitor / Log Analytics
Incident Response	Compliance logs로 reconstruction	Compliance API로 reconstruction	Cloud Audit Logs / traces 기반	AgentCore Observability + CloudTrail로 상세 reconstruction	Purview Audit / Defender	Azure Monitor / Sentinel
Security Implementation Flexibility	Medium	Medium	Medium–High	Very High	Medium	High
Security Operation Complexity	Low–Medium	Low–Medium	Medium	High	Medium	Medium–High

5. Core Comparison: User Permissions vs Agent Permissions

AI Agent security에서 가장 중요한 질문은 다음이다.

Agent는 누구의 권한으로 동작하는가?

크게 두 가지 모델이 있다.

5.1 User-delegated Model

User-delegated model은 Agent가 사용자 권한을 위임받아 동작하는 방식이다.

예시는 다음과 같다.

User: Youngbae
  ↓
Agent
  ↓
SharePoint / Google Drive / Jira

이 경우 Agent는 Youngbae가 접근할 수 있는 문서만 볼 수 있어야 한다.

이 모델에 가까운 제품

Product	Description
Microsoft 365 Copilot	Microsoft Graph / SharePoint / Exchange permission inheritance
Gemini Enterprise	Workspace / data source permission inheritance
ChatGPT Enterprise	Connector별 user permission 기반 access
Claude Enterprise	Connector별 user/organization permission 기반 access

Advantages

사용자가 이미 가진 권한을 활용할 수 있다.
전사적 Assistant에 적합하다.
데이터 과다 노출 위험을 줄이기 쉽다.
기존 business SaaS permission structure를 재사용할 수 있다.

Disadvantages

Agent가 독립 service account처럼 복잡한 작업을 수행하는 데 한계가 있다.
Permission debugging이 어려울 수 있다.
Tool call scope가 SaaS policy에 묶인다.
사용자 권한이 과도하게 넓으면 AI도 과도한 데이터에 접근할 수 있다.

5.2 Agent Identity Model

Agent Identity Model은 Agent 자체에 별도 identity를 부여하는 방식이다.

예시는 다음과 같다.

Finance-Agent
  ↓
IAM Role / Managed Identity
  ↓
ERP Read API
  ↓
Return Results

이 경우 Agent가 호출할 수 있는 API는 특정 개인의 권한과 독립적으로 별도 설계된다.

이 모델에 가까운 제품

Product	Description
AWS Bedrock + AgentCore	AgentCore Identity, IAM, Gateway, Policy 중심
Azure AI Foundry	Microsoft Entra 기반 Agent Identity, Azure RBAC 중심
Google Agent Platform / Vertex AI	Agent Identity, IAM, VPC Service Controls 기반 설계
OpenAI API / Agents SDK	application level에서 별도 permission model 설계 필요
Claude API / MCP	application 및 MCP Gateway level에서 별도 permission model 설계 필요

Advantages

Agent별 least privilege 설계 가능.
Tool/API permission을 세밀하게 분리 가능.
production business automation에 적합.
audit trail과 accountability를 명확히 정의하기 쉬움.
Agent별 network, data, API access policy 분리 가능.

Disadvantages

설계 복잡도가 높음.
IAM, network, logging, policy 설계 필요.
security team과 platform team의 참여 필수.
잘못 설계하면 Agent가 과도한 권한을 가질 수 있음.

6. External MCP / Tool Permission Perspective

외부 MCP를 허용할 때는 단순히 “연결 가능한가”를 넘어서 다음을 평가해야 한다.

Question	Importance
MCP server allowlist가 가능한가?	Very High
MCP server별 tool permission 제한이 가능한가?	Very High
Tool call 전 user approval step을 넣을 수 있는가?	High
Tool call log가 보존되는가?	Very High
Tool input/output이 DLP 대상인가?	Very High
MCP server authentication은 OAuth, API key, service account 중 무엇인가?	Very High
Agent가 MCP server를 통해 filesystem, shell, network에 접근할 수 있는가?	Very High
external SaaS MCP와 internal MCP를 분리할 수 있는가?	High
MCP Gateway를 둘 수 있는가?	Very High
secrets는 어디에 저장되고 어떻게 rotation 되는가?	Very High

7. Recommended MCP Security Architecture

MCP를 Agent에 직접 연결하는 것보다 중간에 Gateway를 두는 방식이 더 안전하다.

권장 구조는 다음과 같다.

User
  ↓
Enterprise AI / Agent Platform
  ↓
MCP Gateway
  ↓
Approved MCP Servers
  ↓
Internal APIs / SaaS / DB

MCP Gateway에서 제어할 항목

Control Item	Description
Authentication	MCP client / server authentication
Authorization	Agent별 Tool invocation permission
Allowlist	승인된 MCP server만 허용
Rate Limit	과도한 call 방지
IP Restriction	허용된 network로 제한
DLP	sensitive data exfiltration 탐지
Schema Validation	Tool input/output validation
Audit Logging	누가 어떤 tool을 호출했는지 기록
Human Approval	write/delete/send 같은 high-risk action에 approval 요구
Secret Management	API key, token, credential 보호
Egress Control	외부 network로 나가는 traffic 제한

8. Detailed Guardrails / Filtering Classification

“Guardrails”라는 용어는 플랫폼마다 의미가 조금씩 다르다.

따라서 “Guardrails를 지원하는가”만 확인하는 것은 부족하다. 다음처럼 세분화해야 한다.

Guardrail Type	Description	Example
Input Guardrail	model invocation 전 user prompt 검사	금지된 요청, jailbreak, prompt injection 차단
Output Guardrail	user에게 보여주기 전 model response 검사	sensitive data, harmful content, policy-violating response 차단
Tool Input Guardrail	Agent가 Tool을 호출하기 전 Tool call argument 검사	`delete_user`, `send_email`, `transfer_money` 호출 차단
Tool Output Guardrail	Tool result를 model에 다시 넣기 전 검사	문서 내 hidden prompt injection 제거
Context Guardrail	RAG에 들어가는 document chunk 검사	sensitive document, contaminated document, malicious instruction 필터링
Memory Guardrail	long-term memory에 저장하기 전 content 검사	SSN, password, access token 저장 차단
Action Guardrail	실제 business action 실행 전 policy check	payment, deletion, permission change는 approval 필요
Policy Guardrail	조직 정책 기반 allow/block	“외부 email 전송 금지”, “customer data 외부 전송 금지”
Network Guardrail	external call destination 제한	승인된 API/MCP Server만 호출
Cost Guardrail	usage와 cost 제한	Agent loop, 과도한 token/API call 방지

9. AI Security Threat별 Required Defenses

Threat	Description	Required Security Feature
Prompt Injection	model이 system instruction을 무시하도록 유도하는 공격	Prompt Shields, input filtering, instruction hierarchy, policy enforcement
Indirect Prompt Injection	document/webpage/email 내 hidden instruction을 통한 공격	Tool output filtering, document scanning, context isolation
Jailbreak	safety policy 우회 시도	Jailbreak detection, content filtering, output guardrail
Data Exfiltration	Agent가 sensitive data를 외부로 전송	DLP, egress control, tool allowlist, audit logs
Tool Abuse	Agent가 unauthorized API 호출	Tool permission, MCP Gateway, IAM, approval workflow
Over-permissioned Agent	Agent가 과도한 권한 보유	Least privilege, agent identity, permission boundary
Credential Leakage	secrets가 prompt, log, memory에 노출	Secret scanning, memory filtering, log redaction
Unsafe Code Execution	Agent가 위험한 code 실행	Sandboxing, network isolation, file system restriction
Hallucinated Action	잘못된 reasoning에 기반해 business action 실행	Groundedness detection, human approval, evaluation
Data Poisoning	RAG document 또는 tool output이 오염됨	Source validation, content scanning, trusted data pipeline
Tool Poisoning	MCP tool description 또는 schema에 malicious instruction 포함	MCP server validation, tool metadata scanning, allowlist
Agent Loop / Cost Explosion	Agent가 반복 call로 비용 발생	Rate limit, max step limit, budget guardrail
Compliance Violation	log/data retention policy 위반	Retention policy, audit log, eDiscovery
Unauthorized Admin Change	admin이 위험한 configuration change 수행	Admin audit log, change approval, SIEM alert

10. Security Implementation Direction by Platform

10.1 ChatGPT Enterprise

ChatGPT Enterprise는 전사적 AI Assistant로 강점이 있지만, 고객이 Agent Runtime을 직접 운영하는 구조는 아니다.

Security Implementation Points

SSO / SCIM / RBAC configuration
Workspace user and group policy configuration
Connector별 access permission verification
Compliance Platform integration
Admin & Audit Logs API integration
DLP / eDiscovery / SIEM integration
외부 GPTs / Actions / Connectors 허용 정책 수립
sensitive data upload 제한 정책 수립
Data retention and deletion policy review
Enterprise Key Management available scope 확인
API usage에 대한 zero data retention applicability 확인

Questions to Verify

Question	Reason
사용자가 업로드한 file과 conversation log를 누가 볼 수 있는가?	Data access control
Connector가 원래 permission을 제대로 inherit하는가?	over-exposure 방지
admin configuration change를 감사할 수 있는가?	Operational audit
Compliance log를 SIEM으로 전달할 수 있는가?	Security monitoring
external GPTs / Actions / Connectors를 허용할 것인가?	External Tool risk management
Prompt와 Response가 DLP 대상이 될 수 있는가?	sensitive data leakage 방지
data retention period와 encryption key control을 조직 정책에 맞출 수 있는가?	Regulatory compliance

10.2 Claude Enterprise

Claude Enterprise는 document analysis, long context, safety에 강점이 있는 Enterprise Assistant로 볼 수 있다.

Security Implementation Points

SSO / SCIM
Role and permissions
Audit logs
Compliance API
Custom data retention controls
IP allowlisting / tenant restrictions
Connector allow policy
Claude Code / Desktop Extension usage control
File upload policy
External MCP usage policy
API data retention policy review

Questions to Verify

Question	Reason
Claude Code의 local files, repos, shells 접근 범위는 어디까지인가?	Development environment security
Desktop Extension / Connector usage를 허용할 것인가?	External extension control
Enterprise audit log와 Compliance API가 충분한 traceability를 제공하는가?	Audit trail
data retention period를 조직 정책에 맞게 줄일 수 있는가?	Data governance
external MCP server usage를 centrally restricted 할 수 있는가?	Tool security
Claude API 사용 시 zero data retention 또는 retention policy는 어떻게 적용되는가?	Regulatory compliance

10.3 Gemini Enterprise / Google Agent Platform

Gemini는 Assistant와 Agent Platform 성격을 모두 섞고 있다.

Security Implementation Points

Google Cloud IAM
Workspace permission inheritance
Workforce Identity Federation
Agent Identity
Principal Access Boundary
VPC Service Controls
Cloud Audit Logs
Usage audit logs
Connector error logs
Trace / span / metrics
Data source access control
Vertex AI safety / policy settings
Prompt injection mitigation review
Google Cloud DLP / Workspace DLP integration

Questions to Verify

Question	Reason
Agent가 자체 권한으로 동작하는가, end user behalf로 동작하는가?	Permission delegation model decision
Google Drive / Workspace permission inheritance가 제대로 동작하는가?	document over-exposure 방지
Agent Identity별 IAM boundary 설정이 가능한가?	Agent least privilege
Agent actions를 Cloud Audit Logs에서 별도로 볼 수 있는가?	Audit trail
VPC Service Controls로 data exfiltration boundary를 만들 수 있는가?	Network and data boundary
external documents 또는 search results에서 오는 indirect prompt injection은 어떻게 완화되는가?	Agent safety

10.4 AWS Bedrock + AgentCore

AWS는 고객이 security architecture를 직접 설계하는 모델에 가장 가깝다.

Security Implementation Points

IAM role per agent
AgentCore Identity
AgentCore Gateway
AgentCore Policy
AgentCore Observability
Bedrock Guardrails
Prompt attack filter
Content filters
Sensitive information filter
VPC / PrivateLink
KMS encryption
CloudTrail / CloudWatch
Secrets Manager
API Gateway / Lambda permission isolation
Human approval workflow
Agent memory security
CloudWatch traces / spans를 통한 Agent execution tracing

Questions to Verify

Question	Reason
Agent별 IAM Role을 어떻게 나눌 것인가?	Least privilege design
user-delegated access가 필요한가, Agent service role만으로 충분한가?	Permission delegation model
MCP tools를 Gateway 뒤에 둘 것인가?	Tool control
write action은 human approval을 요구해야 하는가?	High-risk action approval
Agent → Tool → Data access flow를 CloudTrail로 reconstruction 할 수 있는가?	Incident investigation
Memory에 저장되는 정보는 KMS와 retention policy로 통제되는가?	Memory security
Agent별 outbound network 제한이 가능한가?	Data exfiltration prevention
Bedrock Guardrails를 model call뿐 아니라 Agent workflow boundary에도 어떻게 적용할 것인가?	Guardrail coverage

10.5 Microsoft 365 Copilot

Microsoft 365 Copilot은 Enterprise Assistant security 관점에서 Microsoft 365 permission model과 가장 밀접하게 연결된다.

Security Implementation Points

Entra ID
Conditional Access
Microsoft Graph permission
SharePoint / Exchange / Teams permission cleanup
Purview Audit
Purview DLP
Sensitivity labels
Data lifecycle management
Oversharing detection
Copilot interaction audit
Copilot Studio agent policy
External connector policy
eDiscovery / legal hold
DSPM for AI review

Questions to Verify

Question	Reason
SharePoint permissions가 과도하게 열려 있지 않은가?	Copilot이 과도한 document를 노출하는 것 방지
Copilot이 sensitive document를 answer에 사용하지 못하도록 Purview policy가 적용되는가?	Data protection
Prompt / response / Copilot interaction을 audit logs 또는 eDiscovery에서 확인할 수 있는가?	Audit and incident investigation
Teams Channel Agent 같은 agentic feature가 기존 security policy를 우회하지 않는가?	Agent security
Graph connector가 original permission을 정확히 반영하는가?	External data permission inheritance
sensitivity labels와 DLP policies가 Copilot responses에도 적용되는가?	Information protection policy consistency

10.6 Azure AI Foundry

Azure AI Foundry는 Microsoft 측 Agent Platform 중 AWS AgentCore와 가장 유사하다.

Security Implementation Points

Microsoft Entra Agent Identity
Entra ID
Azure RBAC
Project managed identity
MCP tools용 AI Gateway
Azure API Management
Private Endpoint / VNet
Azure Monitor / Log Analytics
Microsoft Purview
Azure AI Content Safety
Prompt Shields
Groundedness detection
Protected material detection
Key Vault
Policy / blueprint 기반 control

Questions to Verify

Question	Reason
Agent별 separate identity를 부여할 것인가?	Least privilege per Agent
Agent가 user behalf로 동작하는 delegated model이 필요한가?	Permission delegation approach
external MCP tools는 AI Gateway를 통해서만 호출하게 할 것인가?	Tool security
Gateway가 authentication, rate limit, IP restriction, audit logging을 지원하는가?	MCP control
Agent execution과 data access를 Azure Monitor 및 Purview로 연결할 수 있는가?	Audit and governance
Private Endpoint를 통해 external exposure 없이 운영 가능한가?	Network isolation
Prompt Shields를 direct 및 indirect prompt attack 모두에 적용할 수 있는가?	Prompt injection defense

11. Security Architecture Patterns

11.1 Enterprise Assistant Security Pattern

User
  ↓
Enterprise AI Assistant
  ↓
Connector
  ↓
SaaS ACL / Document Permission
  ↓
Allowed Data Only

핵심 원칙은 AI가 사용자의 기존 권한을 그대로 따른다는 것.

Key Controls

SSO
SCIM
RBAC
Connector permission inheritance
DLP
Audit log
Admin policy
Data retention
eDiscovery
SIEM export
Prompt / response governance
File upload control

11.2 Agent Platform Security Pattern

User
  ↓
Agent Runtime
  ↓
Agent Identity
  ↓
Policy / Gateway
  ↓
Approved Tools
  ↓
Internal APIs / DB / SaaS

핵심 원칙은 Agent 자체 권한과 Tool invocation을 통제하는 것.

Key Controls

Identity per Agent
IAM role / managed identity per Agent
Tool allowlist
MCP Gateway
API Gateway
Secret Manager / Key Vault
VPC / VNet / Private Endpoint
Guardrails
Human approval
Observability
Audit trail
Prompt injection defense
Tool input/output filtering
Memory filtering
Runtime sandboxing
Egress control

12. Security Evaluation Framework

각 플랫폼 비교 시 다음 scorecard를 사용할 수 있다.

Evaluation Area	Sub-items	Score
Identity & Access	User identity, Agent identity, delegated access, least privilege	1–5
Tool & MCP Security	Tool allowlist, MCP Gateway, tool permission, tool audit	1–5
Guardrails	Input/output/tool/context/memory/action guardrails	1–5
Content Safety	Harmful content, jailbreak, protected material, groundedness	1–5
Prompt Injection Defense	Direct/indirect prompt injection detection and blocking	1–5
Data Protection	DLP, PII detection, masking, redaction, file control	1–5
Runtime Security	Sandbox, code execution control, browser isolation, egress control	1–5
Network Security	VPC/VNet, Private Endpoint, PrivateLink, firewall, egress allowlist	1–5
Cryptography	Encryption at rest/in transit, CMK, key rotation	1–5
Logging & Audit	Prompt, response, tool call, admin change, identity event logs	1–5
Observability	Trace, span, execution graph, latency, error, step-level debug	1–5
Governance	Retention, residency, legal hold, eDiscovery, classification	1–5
SIEM/SOC Integration	Sentinel, Splunk, Chronicle, Datadog, Cloud SIEM integration	1–5
Evaluation & Red Teaming	Security testing, policy eval, regression test, release gate	1–5
Incident Response	Agent execution reconstruction, containment, forensics, alerting	1–5
Secret Management	Tool credential storage, rotation, access logging	1–5
Cost / Abuse Control	Rate limit, quota, max step, budget guardrail	1–5

13. Final Security Principles

Agent별 unique identity를 부여한다.
Agent별 least privilege를 적용한다.
user-delegated action과 Agent-owned action을 명확히 구분한다.
external MCP를 직접 연결하지 말고 Gateway를 중간에 둔다.
MCP server는 allowlist 기반으로만 허용한다.
모든 Tool call은 audit log에 남긴다.
Write / Delete / Send 같은 high-risk action에는 human approval을 요구한다.
prompt, response, tool input, tool output, memory, RAG context는 모두 security inspection 대상이다.
Guardrails를 model 앞뒤에만 두지 말고 Tool과 Memory boundary에도 둔다.
external document, email, webpage, ticket, MCP output은 모두 untrusted content로 취급한다.
indirect prompt injection은 RAG와 Agent 환경에서 가장 중요한 threat 중 하나다.
code execution과 Browser Tools에는 항상 sandbox, network restriction, audit logging을 적용한다.
DLP는 prompt/response뿐 아니라 file upload, connector data, tool output, memory에도 적용한다.
Guardrail detection result는 blocking뿐 아니라 audit log와 SIEM alert에도 연결한다.
production Agent는 지속적인 red teaming과 evaluation을 거쳐야 한다.
승인된 MCP Server만 허용하고, tool schema와 description도 security review 대상에 포함한다.
Agent memory는 password, token, SSN, personally identifiable information, sensitive business data 저장을 막도록 filter한다.
Agent가 외부로 호출할 수 있는 domain, API, MCP server를 allowlist 기반으로 제한한다.
Tool credential은 Secrets Manager 또는 Key Vault에서 관리한다.
모든 security event는 나중에 “User → Agent → Tool → Data → Response” 흐름으로 reconstruction 가능해야 한다.

14. Final Summary

AI platform security는 세 가지 layer로 봐야 한다.

14.1 Access Security

누가 무엇에 접근할 수 있는가?

Key elements:

User identity
Agent identity
Delegated access
IAM / RBAC
Connector permission
MCP permission

14.2 Content Security

model과 user 사이에 무엇이 오가는가?

Key elements:

Guardrails
Content filtering
Prompt injection detection
Jailbreak detection
DLP
PII masking
Groundedness detection
Protected material detection

14.3 Runtime Security

Agent가 실제로 무엇을 실행할 수 있는가?

Key elements:

Tool allowlist
MCP Gateway
Sandbox
Code execution control
Browser isolation
Egress control
Human approval
Observability
Audit trail

결국 enterprise AI security의 핵심 질문은 다음으로 바뀐다.

Agent는 어떤 권한으로 어떤 데이터를 보고, 어떤 Tools를 실행하며, 그 과정 전체에 어떤 content guardrail과 runtime control이 적용되고, 그 action을 나중에 감사할 수 있는가?

15. Reference

[1] OpenAI — Business data privacy, security, and compliance

[2] OpenAI — New tools for ChatGPT Enterprise compliance, SCIM, and GPT controls

[3] Anthropic Claude Docs — Compliance API

[4] Anthropic Claude Docs — API and data retention

[5] Claude Support — Compliance API integrations

[6] Google Workspace Blog — Enterprise security controls for Gemini in Google Workspace

[7] Google Cloud Docs — Gemini Enterprise audit logging

[8] AWS — Amazon Bedrock AgentCore

[9] AWS Docs — Amazon Bedrock AgentCore Gateway

[10] AWS Docs — Policy in Amazon Bedrock AgentCore

[11] AWS Docs — AgentCore Observability

[12] AWS Docs — Amazon Bedrock Guardrails

[13] AWS Docs — Detect prompt attacks with Amazon Bedrock Guardrails

[14] Microsoft Learn — Audit logs for Copilot and AI applications

[15] Microsoft Learn — Agent identity concepts in Microsoft Foundry

[16] Microsoft Learn — Govern MCP tools by using an AI gateway

[17] Microsoft Learn — Prompt Shields in Azure AI Content Safety

[18] Microsoft Azure — Azure AI Content Safety