[MIT] Evaluation

개요 

MITRE ATT&CK Evaluations는 공개적으로 알려진 APT 그룹의 전술·기법·절차(TTPs)를 기반으로 공격 시나리오를 에뮬레이션하고, 보안 제품이 각 공격 단계를 얼마나 식별하는지 확인하는 평가 체계이다.

이 평가는 제품의 성능을 순위화하는 것이 목적이 아니라, 단계별 탐지 여부, 미탐지 구간, 탐지 수준 등을 확인하여 보안 제품의 가시성과 한계를 비교하는 데 목적이 있다.

평가는 공식 순위를 제공하지 않으며, 단계별 탐지 결과와 텔레메트리, 스크린샷 등의 원시 데이터를 공개하여 누구나 확인할 수 있다. (참조 1. https://evals.mitre.org/)

 

본문

Detection
Detection은 보안 솔루션이 공격 행위를 얼마나 잘 “볼 수 있는지”를 확인하는 평가 관점이다.

단순히 로그가 남았는지만 보는 것이 아니라, 제품이 해당 행위를 공격으로 판단했는지, 그리고 ATT&CK의 전술이나 기법 수준까지 설명할 수 있는지를 기준으로 구분한다.

Detection 결과는 다음과 같은 수준으로 나뉜다.

구분	의미
None	공격 행위에 대한 데이터나 탐지가 없음
Telemetry	로그나 이벤트는 수집했지만, 공격으로 판단하지는 못함
General	의심스러운 행위로 탐지했지만 구체적인 전술·기법은 식별하지 못함
Tactic	공격 목적을 식별함. 예: 실행, 지속성, 자격 증명 접근
Technique	구체적인 공격 기법까지 식별함

이 중 Telemetry와 Analytic Detection의 차이가 중요하다. 

 

Telemetry는 원시 로그가 남아 있는 상태이므로 분석가가 직접 보면 공격 흔적을 찾을 수 있지만, 제품이 스스로 공격이라고 판단한 것은 아니다. 

 

반면 General, Tactic, Technique은 제품이 데이터를 분석하여 공격 행위로 식별한 결과이므로 Analytic Detection에 해당한다.

Protection
Protection은 보안 솔루션이 공격 행위를 실제로 차단했는지 확인하는 평가 관점이다.

카테고리	의미
Blocked	공격 행위가 차단됨
Quarantined	공격 관련 객체나 행위가 격리됨
Interrupted	공격 흐름이 중단됨
실패	공격 차단에 실패함

Detection이 “공격을 보았는가”에 가깝다면, Protection은 “공격을 막았는가”에 가깝다. 공격 시나리오의 각 단계에서 제품이 행위를 차단했는지, 격리했는지, 또는 공격 흐름을 중단시켰는지를 기준으로 결과가 기록된다.

 

참조

1. MITRE EVALS

https://evals.mitre.org/