암호화된 트래픽 검사

1 minute read

관련 주제

암호화된 트래픽 검사란 무엇인가요?

암호화된 트래픽 검사는 TLS(Transport Layer Security) 및 SSL과 같은 암호화 프로토콜로 보호되는 네트워크 트래픽을 분석하여, 통신을 반드시 복호화하지 않고도 악성 콘텐츠를 탐지하고, 보안 위협을 식별하며, 네트워크 가시성을 유지하는 방식입니다. 현대적인 암호화 트래픽 검사는 암호화되지 않은 패킷 헤더와 연결 패턴을 검토하는 메타데이터 분석, 의심스러운 통신 특성을 식별하는 행동 분석, 암호화 연결의 적법성을 검증하는 인증서 검사, 그리고 정책 및 개인정보 보호 고려 사항이 허용할 때 심층 분석을 위해 특정 암호화 트래픽을 복호화하는 선택적 TLS 검사(SSL 브레이크 앤 인스펙트라고도 함) 등 다양한 접근 방식을 결합합니다.

이 구분은 중요합니다. 많은 조직이 암호화된 트래픽 검사를 TLS 검사와 혼동하지만, 검사라는 개념은 훨씬 더 광범위한 기능을 포괄합니다. 메타데이터만으로도 실제 페이로드 내용을 건드리지 않고도 보안과 관련된 방대한 양의 정보를 파악할 수 있습니다. 연결 패턴, 타이밍, 트래픽 양, 프로토콜, 인증서만으로도 위협을 식별하는 데 충분한 경우가 많으므로, 조직은 통신을 복호화하거나 사용자 개인정보에 영향을 주지 않고도 암호화된 트래픽에 대한 상당한 가시성을 확보할 수 있습니다.

동의어

암호화된 트래픽 검사가 중요한 이유

보편적인 암호화로의 전환은 네트워크 보안 요구 사항을 근본적으로 변화시켰을 뿐만 아니라, 보안 팀이 더 이상 간과할 수 없는 위험한 사각지대를 동시에 만들어 냈습니다.

공격자들은 암호화된 트래픽을 은폐 수단으로 의도적으로 악용합니다. 악성코드는 탐지를 피할 수 있다고 생각하고 HTTPS를 사용해 명령 및 제어 서버와 통신합니다. 데이터 유출은 암호화된 채널을 통해 이루어집니다. 네트워크 내 횡적 이동(lateral movement)에도 암호화된 프로토콜이 사용됩니다. 암호화된 트래픽 검사가 없으면, 네트워크 트래픽을 감시하는 보안팀은 암호화된 데이터 덩어리만 보게 되어 실제로 무슨 일이 일어나고 있는지 전혀 파악할 수 없습니다.

통계는 충격적입니다. 대부분의 데이터 침해에는 공격자가 암호화된 트래픽을 통해 수행하는 횡적 이동이 수반됩니다. 랜섬웨어 배포, 권한 상승, 지속성 확보 메커니즘 모두 암호화된 채널을 통과합니다. 암호화된 트래픽 검사 기능이 없는 조직은 사실상 앞이 보이지 않는 상태로 운영하는 셈이며, 엔드포인트 탐지 및 대응이나 기타 개별 도구에 의존하는 동안 네트워크 수준의 위협은 전혀 탐지되지 않은 채 활동합니다.

규정 준수 프레임워크에서는 암호화된 트래픽에 대한 가시성을 점점 더 의무화하고 있습니다. HIPAA, PCI DSS, GDPR과 같은 규정은 조직이 데이터 유출 및 무단 접근을 탐지할 수 있음을 입증할 것을 요구합니다. HTTPS를 통한 암호화된 데이터 유출은 기존 도구에서는 정상적인 트래픽으로 인식되므로, 조직은 민감한 데이터가 네트워크 밖으로 유출되고 있다는 사실조차 모른 채 규정 준수 요건을 충족하지 못할 수 있습니다. 암호화된 트래픽 검사는 이러한 규정 준수 요건을 충족하는 데 필요한 가시성을 제공합니다.

암호화된 트래픽 검사의 작동 원리

효과적인 암호화 트래픽 분석은 단일 방식이 아닌, 서로 보완적인 여러 접근 방식을 통해 이루어집니다.

메타데이터 분석이 그 기반을 이룹니다. 네트워크 트래픽에는 송신 및 수신 IP 주소, 포트, 프로토콜, 패킷 크기, 타이밍 패턴, 흐름 지속 시간, 연결 순서 등 방대한 양의 암호화되지 않은 정보가 포함되어 있습니다. 이러한 메타데이터는 암호 해독 없이도 악성 활동을 드러내는 경우가 많습니다. 비콘(beaconing) 악성코드는 독특한 주기적 통신 패턴을 생성합니다. 데이터 유출은 비정상적인 트래픽 양 패턴을 만들어냅니다. 명령 및 제어(C&C) 통신은 정상 트래픽과는 다른 타이밍 특성을 보입니다. 메타데이터에 대한 행동 분석을 통해 많은 위협을 포착할 수 있습니다.

인증서 검사는 암호화된 연결을 검증합니다. 모든 TLS 연결에는 연결 정보, 발급자, 유효 기간 및 도메인 정보가 포함된 인증서가 있습니다. 유효하지 않은 인증서, 자체 서명된 인증서, 일치하지 않는 도메인, 만료된 인증서는 모두 위협이나 침해된 시스템을 은폐할 가능성이 있는 의심스러운 암호화된 연결을 나타냅니다. 인증서 고정(certificate pinning)은 애플리케이션이 예상된 서버에만 연결되도록 보장하여, 위조된 인증서를 이용한 중간자(man-in-the-middle) 공격을 방지합니다.

TLS 검사(선택적 복호화)는 메타데이터 분석만으로는 충분하지 않을 때 더 심층적인 가시성을 제공합니다. 조직은 HTTPS 트래픽을 복호화하여 검사한 후, 전송을 위해 다시 암호화하는 프록시 인프라를 구축합니다. 이 접근 방식은 조직이 양쪽 엔드포인트를 모두 제어하고, 사용자가 트래픽 검사가 이루어지고 있음을 이해하고 있을 때 효과적입니다. 많은 조직은 기업 네트워크 내 직원에게는 TLS 검사를 허용하는 정책을 시행하는 한편, 그 외 상황에서는 개인정보 보호를 존중하고 있습니다. 주요 고려 사항으로는 사용자가 경고 메시지를 받지 않도록 인증서 유효성을 유지하는 것, 복호화가 성능에 미치는 영향을 관리하는 것, 그리고 데이터 보호 규정을 준수하는 것이 포함됩니다.

엔드포인트 기반 가시성은 네트워크 수준의 암호화된 트래픽 검사를 보완합니다. 노트북과 서버에서 실행되는 엔드포인트 탐지 및 대응(EDR) 도구는 암호화가 이루어지기 전 소스에서 암호화되지 않은 트래픽을 관찰할 수 있습니다. 이를 통해 애플리케이션이 송수신하는 내용을 완벽하게 파악할 수 있으며, 중간자 공격(Man-in-the-Middle)에 대한 우려도 피할 수 있습니다. 그러나 엔드포인트만 대상으로 하는 접근 방식은 네트워크 채널을 통해 서버 간에 직접 발생하는 횡방향 이동(lateral movement)을 포착하지 못합니다.

고급 탐지 기술은 행동 분석과 머신러닝을 결합합니다. 관련 도구는 암호화된 트래픽 패턴을 분석하여 악의적인 행동을 나타내는 이상 징후를 식별합니다. 비정상적인 연결 대상, 예상치 못한 프로토콜, 의심스러운 타이밍, 비정상적인 데이터 양 등은 페이로드 내용이 암호화된 상태라 하더라도 경보를 유발합니다. 알려진 위협을 기반으로 학습된 머신러닝 모델은 알려지지 않은 위협에서도 유사한 패턴을 인식합니다.

암호화된 트래픽 검사 방법

메타데이터 분석은 암호화된 페이로드를 건드리지 않고, 암호화되지 않은 패킷 헤더와 연결 특성을 조사합니다. 수동 분석은 통신을 방해하지 않고 트래픽을 캡처하여, 성능 저하나 암호 해독에 대한 우려 없이 가시성을 제공합니다.

능동적 복호화는 검사를 위해 특정 트래픽을 선택적으로 복호화합니다. 조직은 위험 평가 및 개인정보 보호 고려 사항을 바탕으로 어떤 트래픽을 복호화할지 결정하는 정책을 수립합니다.

인증서 유효성 검사는 TLS 인증서를 검사하여 무효, 자체 서명 또는 의심스러운 인증서를 식별함으로써 잠재적인 보안 침해 가능성을 파악합니다. 행동 기준선 설정은 정상적인 암호화 트래픽 패턴을 확립한 후, 악의적인 활동을 시사하는 편차에 대해 경고를 발령합니다.

암호화된 트래픽 검사에 대한 모범 사례

메타데이터 분석을 기반 전략으로 삼으십시오. 대부분의 위협은 암호 해독 없이도 연결 패턴, 인증서 세부 정보, 행동 이상 징후를 통해 드러납니다. 더 침습적인 접근 방식을 고려하기 전에 먼저 이 부분부터 시작하십시오. TLS 검사가 언제 수행되는지에 대한 명확한 정책을 수립하십시오. 투명성은 직원의 신뢰를 쌓아줍니다. 많은 조직이 사내 네트워크에서는 검사를 실시하는 한편, 개인 기기 및 외부 네트워크에서는 개인정보 보호를 존중하고 있습니다.

암호화된 트래픽 분석 기능을 제공하는 네트워크 탐지 및 대응 플랫폼을 도입하십시오. NetWitness와 같은 솔루션은 메타데이터 분석, 행위 기반 탐지, 인증서 검사를 결합하여 전면적인 복호화 없이도 암호화된 트래픽 속 위협을 식별합니다.

행동 기준선을 활용하십시오. 조직의 정상적인 암호화 트래픽 패턴을 파악하면 잠재적 위협이나 시스템 침해 가능성을 나타내는 이상 현상을 탐지할 수 있습니다. 인증서 세부 정보를 모니터링하십시오. 유효하지 않은 인증서, 인증서 이름과 실제 연결 간의 불일치, 의심스러운 발급자는 종종 중간자 공격(Man-in-the-Middle)이나 시스템 침해를 나타냅니다.

선택적 TLS 검사를 구현하십시오. 모든 HTTPS 트래픽을 복호화하는 대신, 의심스러운 트래픽 흐름이나 심층 검사가 필요한 특정 애플리케이션만 복호화하여 보안 요구 사항과 성능 및 개인정보 보호 간의 균형을 맞추십시오. 암호화된 트래픽 검사를 검증하십시오. 정기적인 테스트를 통해 탐지 시스템이 단순히 정상적으로 작동한다고 가정하지 않고, 암호화된 트래픽 내에서 예상되는 위협을 실제로 포착하는지 확인하십시오.

팀원들에게 암호화된 트래픽 분석 교육을 실시하십시오. 많은 보안 전문가들은 암호화되지 않은 트래픽에 의존하여 탐지 기술을 습득했습니다. 암호화된 트래픽 분석에는 다른 기술과 도구가 필요합니다. 엔드포인트 탐지 기능과 결합하십시오. 네트워크 수준의 암호화된 트래픽 검사는 엔드포인트 탐지 및 대응(EDR)을 보완합니다. 두 가지를 함께 사용하면 어느 한쪽만으로는 포착할 수 없는 위협을 모두 탐지할 수 있습니다.

관련 용어 및 동의어

  • TLS 검사: 보다 심층적인 검사와 위협 탐지를 위해 TLS로 암호화된 트래픽을 선택적으로 복호화하는 것.
  • SSL 검사: SSL/TLS 트래픽의 복호화 및 검사를 지칭하는 구식 용어로, 대부분 TLS 용어로 대체되었다.
  • 암호화된 위협 탐지: 행동 분석 및 메타데이터 검사를 통해 암호화된 통신 내의 위협을 식별하는 것.
  • 암호화된 트래픽 탐지: 페이로드를 반드시 복호화하지 않고도 의심스럽거나 악의적인 암호화된 트래픽 패턴을 찾아내는 것.
  • 암호화된 트래픽 모니터링: 보안 위협 및 정책 위반 여부를 파악하기 위해 암호화된 통신을 지속적으로 관찰하는 것.
  • 암호화된 트래픽 가시성: 메타데이터 분석 및 행동 탐지를 통해 암호화된 트래픽에 대한 보안 가시성을 확보하는 것.
  • 암호화된 트래픽 분석(ETA): 복호화 없이 암호화된 트래픽의 특성을 종합적으로 분석하는 것.
  • 암호화된 네트워크 트래픽 분석: 암호화된 네트워크 통신을 분석하여 위협 및 보안 문제를 식별하는 것.
  •  

사람들이 자주 묻는 질문

1. 패킷 캡처를 통해 암호화된 트래픽을 수동적으로 분석할 수 있습니까?

네. 수동 패킷 캡처는 암호화된 트래픽을 캡처한 후, 페이로드를 복호화하지 않고 메타데이터, 인증서 및 시간 패턴을 분석함으로써, 암호화된 내용을 건드리지 않고도 다양한 위협에 대한 가시성을 제공합니다.

기업 트래픽의 약 90%가 암호화되어 있기 때문에 암호화된 트래픽 분석은 매우 중요합니다. 분석 기능이 없다면, 공격자들은 악성코드, 명령 및 제어 통신, 데이터 유출, 측면 이동을 완전히 감지되지 않은 채 숨길 수 있습니다.

URL에 HTTPS(HTTP가 아닌)가 표시되어 있는지 확인하고, 브라우저 주소 표시줄에 자물쇠 아이콘이 있는지 살펴본 다음, 자물쇠 아이콘을 클릭하여 인증서 세부 정보와 유효 기간 정보를 확인하세요.

TLS 검사는 보안 장비에서 HTTPS 트래픽을 선택적으로 복호화하여 심층 검사를 수행한 후, 다시 암호화하여 전송을 계속하는 방식으로, 암호화된 페이로드 내용을 검사할 수 있게 해줍니다.

신뢰할 수 있는 웹사이트에 접속할 때 인증서 경고가 표시되면 연결이 가로채진 것일 수 있습니다. 인증서 세부 정보를 확인하여 불일치, 유효하지 않은 서명 또는 의심스러운 발급 기관이 있는지 살펴보세요. 비정상적인 연결 상태나 성능 문제도 보안 침해의 징후일 수 있습니다.

암호 해독 없이 검사할 경우, 발신 및 수신 IP 주소, 포트, 프로토콜, 인증서 세부 정보, 패킷 크기, 시간 정보, 흐름 지속 시간 및 행동 패턴을 확인할 수 있습니다. TLS 검사를 통해서는 전체 페이로드 내용을 확인할 수 있습니다.

메타데이터 분석은 개인정보 보호에 미치는 영향이 미미하다. 반면 TLS 검사는 개인정보 보호에 대한 우려를 야기하므로, 명확한 정책 수립, 투명성 확보, 그리고 데이터 보호 규정 준수가 필요하다. 조직은 보안 요구와 개인정보 보호를 균형 있게 고려하여 선택적 검사를 실시해야 한다.

관련 리소스

지금 바로 위협 탐지 및 대응을 가속화하세요!

Leaving Without The Ransomware Intel?

See which groups are targeting enterprises in 2026 and how to prepare before they strike.