Source: https://owasp.org/www-project-top-10-for-large-language-model-applications/
Version: 1.1
Overview
이 문서는 LLM(Large Language Model) 애플리케이션의 가장 중요한 보안 취약점을 정리한 OWASP Top 10 for LLM Applications 프로젝트 페이지다. 이 프로젝트는 이후 LLM, agentic AI 시스템, 기타 generative AI 기술을 포괄하는 OWASP GenAI Security Project로 확장되었다.
Key Points
- 기존 Top 10 프로젝트는 LLM, 에이전틱 AI, AI 기반 앱의 보안 및 안전 리스크를 다루는 글로벌 오픈소스 이니셔티브인 OWASP GenAI Security Project로 성장했다.
- 이 v1.1 리스트는 자율적으로 tool을 사용하는 agent가 등장하기 이전 버전이다. 멀티스텝, tool-calling agent에 특화된 위협(goal hijacking, tool misuse, rogue agent 등)은 OWASP Top 10 for Agentic Applications 2026 참고.
- LLM07(Insecure Plugin Design)과 LLM08(Excessive Agency)은 agentic 시스템과 가장 관련이 깊은 두 카테고리다. plugin/tool 사용과 autonomy가 바로 agent가 일반 LLM 위에 추가하는 요소
- 10가지 리스크는 애플리케이션 전체 라이프사이클을 다룬다: 입력 처리(LLM01), 출력 처리(LLM02), 학습 데이터와 의존성(LLM03, LLM05), 인프라 가용성(LLM04), 데이터 유출(LLM06), 모델에 대한 인간의 신뢰(LLM09, LLM10).
- 완전 자율 멀티스텝 agent보다는 chatbot, RAG, plugin 기반 앱 같은 전통적인 LLM 통합 시스템을 위한 threat modeling 체크리스트로 쓰기 적합하다. agent 관련 위협은 Agentic Top 10에서 별도로
Details
Top 10 List (Version 1.1)
- LLM01: Prompt Injection - 조작된 입력이 LLM을 조종하여 무단 접근, 데이터 유출, 잘못된 의사결정을 초래한다.
- LLM02: Insecure Output Handling - LLM 출력을 검증하지 않으면 코드 실행을 포함한 다운스트림 익스플로잇으로 이어질 수 있다.
- LLM03: Training Data Poisoning - 학습 데이터 변조는 모델을 손상시켜 보안, 정확성, 윤리를 저해하는 응답을 유발할 수 있다.
- LLM04: Model Denial of Service - LLM에 대한 리소스 집약적 작업은 서비스 중단과 비용 증가를 초래할 수 있다.
- LLM05: Supply Chain Vulnerabilities - 손상된 컴포넌트, 서비스, 데이터셋은 시스템 무결성을 훼손해 유출이나 장애를 일으킨다.
- LLM06: Sensitive Information Disclosure - 출력에서 민감 정보 유출을 방지하지 못하면 법적 문제나 경쟁 우위 상실로 이어질 수 있다.
- LLM07: Insecure Plugin Design - 신뢰할 수 없는 입력을 처리하면서 접근 제어가 미흡한 플러그인은 원격 코드 실행 같은 심각한 익스플로잇 위험이 있다.
- LLM08: Excessive Agency - LLM에 과도한 자율성(autonomy)을 부여하면 신뢰성, 프라이버시, 신뢰를 해치는 의도치 않은 결과가 발생할 수 있다.
- LLM09: Overreliance - LLM 출력을 비판적으로 검토하지 않으면 잘못된 의사결정, 보안 취약점, 법적 책임으로 이어질 수 있다.
- LLM10: Model Theft - 독점 모델에 대한 무단 접근은 모델 탈취, 경쟁 우위 상실, 민감 정보 유출 위험을 초래한다.
Conclusion
OWASP Top 10 for LLM Applications(v1.1)는 여전히 LLM 애플리케이션의 가장 중요한 보안 리스크를 다루는 기초 참고 자료이지만, 이 프로젝트는 이후 더 넓은 OWASP GenAI Security Project로 발전했고, 현재 유지되는 Top 10 목록은 genai.owasp.org/llm-top-10에서 호스팅된다.
Reference
[1] OWASP Top 10 for Large Language Model Applications
[2] OWASP GenAI Security Project
[3] Latest Top 10 for LLM Applications