SECTION Ⅳ · 레드티밍 준비
공격 전에 절반은 결정된다
기획·구성 → 위협 시나리오 개발 → 환경 준비. 준비가 곧 결과의 질을 좌우합니다.
1기획 & 구성
먼저 '규칙'을 합의한다
평가 목적·대상 범위·수행 조건·중단 기준을 사전에 명확히 정의합니다. AI는 모델·데이터·앱·외부 연계가 함께 동작하므로 관련 부서와 교전 규칙(Rules of Engagement)을 합의하는 것이 핵심입니다.
수행 목적·범위검증할 보안·안전·품질 목표와 점검/제외 대상
허용 위협·금지 행위적용 위협 항목, 서비스 장애·실제 개인정보 접근 등 금지
중단 조건장애·민감정보 노출·고위험 취약점 발견 시 즉시 중단
보고 체계긴급 보고 대상, 승인자, 연락 채널, 대응 책임
목표·범위 설정 — 핵심 모델뿐 아니라 데이터·앱·인터페이스·외부 연계까지 전체를 고려하고 정량·정성 평가 기준과 연결합니다.
평가 기준 & 위험 등급 — 공격 성공률·차단율·재현율 같은 정량 기준과 영향도·악용 가능성 같은 정성 기준을 함께 사용해 Critical~Safe 5단계 위험 등급으로 조치 우선순위를 정합니다.
2위협 시나리오 개발
공격 표면 → 페르소나 → 시나리오
공격 표면 식별 — 사용자 입력·API·파일 업로드·RAG·외부 도구·에이전트 등 외부와 연결되는 접점을 찾습니다. 특히 실제 시스템 동작(코드 실행·데이터 조회)으로 이어지는 접점을 우선 검토합니다.
AI 레드팀 페르소나 정의 — 시뮬레이션할 공격자 유형을 정합니다.
일반 사용자의도치 않은 오류·환각·부적절 응답
악의적 사용자탈옥·프롬프트 인젝션·정보 유출
내부 사용자권한 오남용·내부정보 노출
자동화 도구 활용자대량 공격·반복 우회·취약 패턴 탐색
공격 시나리오 구성 — 시나리오 명, 공격 표면, 페르소나, 공격 유형, 사전 조건, 실행 절차, 판정 기준, 영향도, 기록 항목을 문서화합니다. 재현 가능한 테스트 단위로 구성하는 것이 원칙입니다.
3환경 준비
안전하게, 재현 가능하게
실제 서비스 영향을 최소화하면서 유효한 결과를 얻도록 환경을 갖춥니다.
1테스트 환경 구성운영·스테이징·개발 중 위험 수준에 맞는 환경 결정
2자산 요청최소 권한 원칙 — 테스트 전용 계정·임시 인증정보·별도 데이터셋 활용
3일정 수립배포 일정과 충돌 방지, 운영 테스트는 이용자 영향 적은 시간대
4도구·데이터셋 준비컴퓨팅 자원·자동화 프레임워크·퍼징·스캐너, 페르소나별 입력 데이터셋
5법적·윤리 검토교전 규칙 준수, 법적 쟁점 사전 검토
🚨 비상 보고 절차 — 예기치 못한 장애·보안 사고에 대비해 활동 중단 기준과 즉각적 에스컬레이션 채널을 사전에 수립하고 이해관계자와 합의해야 합니다.
AI 보안 레드티밍 가이드 · ④ 레드티밍 준비 · 총 6편 중 4편