오늘날 네트워크 모니터링 및 문제 해결을 위한 가장 일반적인 도구는 포트 미러링이라고도 알려진 SPAN(스위치 포트 분석기)입니다. 이를 통해 라이브 네트워크의 서비스를 방해하지 않고 대역 외 바이패스 모드에서 네트워크 트래픽을 모니터링할 수 있으며 모니터링된 트래픽의 복사본을 스니퍼, IDS 또는 기타 유형의 네트워크 분석 도구를 포함한 로컬 또는 원격 장치로 보낼 수 있습니다.
몇 가지 일반적인 용도는 다음과 같습니다.
• 제어/데이터 프레임을 추적하여 네트워크 문제를 해결합니다.
• VoIP 패킷을 모니터링하여 대기 시간과 지터를 분석합니다.
• 네트워크 상호 작용을 모니터링하여 대기 시간을 분석합니다.
• 네트워크 트래픽을 모니터링하여 이상 징후를 탐지합니다.
SPAN 트래픽은 동일한 소스 장치의 다른 포트에 로컬로 미러링되거나 소스 장치(RSPAN)의 레이어 2에 인접한 다른 네트워크 장치에 원격으로 미러링될 수 있습니다.
오늘은 3개 계층의 IP를 통해 전송할 수 있는 ERSPAN(Encapsulated Remote Switch Port Analyser)이라는 원격 인터넷 트래픽 모니터링 기술에 대해 이야기하겠습니다. 이는 SPAN을 Encapsulated Remote로 확장한 것입니다.
ERSPAN의 기본 작동 원리
먼저 ERSPAN의 기능을 살펴보겠습니다.
• 소스 포트의 패킷 복사본은 GRE(Generic Routing Encapsulation)를 통한 구문 분석을 위해 대상 서버로 전송됩니다. 서버의 물리적 위치는 제한되지 않습니다.
• 칩의 UDF(User Defined Field) 기능을 활용하여 전문가 수준의 확장 목록을 통해 Base 도메인을 기준으로 1~126바이트의 오프셋을 수행하고 세션 키워드를 일치시켜 시각화를 구현합니다. TCP 3방향 핸드셰이크 및 RDMA 세션과 같은 세션
• 지원 설정 샘플링 속도;
• 패킷 차단 길이(패킷 슬라이싱)를 지원하여 대상 서버에 대한 부담을 줄입니다.
이러한 기능을 통해 오늘날 ERSPAN이 데이터 센터 내부의 네트워크를 모니터링하는 데 필수적인 도구인 이유를 알 수 있습니다.
ERSPAN의 주요 기능은 두 가지 측면으로 요약될 수 있습니다.
• 세션 가시성: ERSPAN을 사용하여 새로 생성된 모든 TCP 및 RDMA(Remote Direct Memory Access) 세션을 백엔드 서버에 수집하여 표시합니다.
• 네트워크 문제 해결: 네트워크 문제가 발생할 때 오류 분석을 위해 네트워크 트래픽을 캡처합니다.
이를 위해 소스 네트워크 장치는 대규모 데이터 스트림에서 사용자가 관심을 갖는 트래픽을 필터링하고, 복사본을 만들고, 각 복사본 프레임을 충분한 추가 정보를 전달하는 특별한 "슈퍼프레임 컨테이너"로 캡슐화해야 합니다. 수신 장치로 올바르게 라우팅되어야 합니다. 또한 수신 장치가 원래 모니터링된 트래픽을 추출하고 완전히 복구할 수 있도록 합니다.
수신 장치는 ERSPAN 패킷 캡슐화 해제를 지원하는 다른 서버일 수 있습니다.
ERSPAN 유형 및 패키지 형식 분석
ERSPAN 패킷은 GRE를 사용하여 캡슐화되고 이더넷을 통해 IP 주소 지정이 가능한 대상으로 전달됩니다. ERSPAN은 현재 IPv4 네트워크에서 주로 사용되고 있으며, 앞으로는 IPv6 지원이 요구될 것입니다.
ERSAPN의 일반적인 캡슐화 구조의 경우 다음은 ICMP 패킷의 미러 패킷 캡처입니다.
ERSPAN 프로토콜은 오랜 기간에 걸쳐 개발되었으며 기능이 향상되면서 "ERSPAN 유형"이라는 여러 버전이 형성되었습니다. 유형마다 프레임 헤더 형식이 다릅니다.
이는 ERSPAN 헤더의 첫 번째 버전 필드에 정의됩니다.
또한 GRE 헤더의 프로토콜 유형 필드도 내부 ERSPAN 유형을 나타냅니다. 프로토콜 유형 필드 0x88BE는 ERSPAN 유형 II를 나타내고, 0x22EB는 ERSPAN 유형 III을 나타냅니다.
1. I형
Type I의 ERSPAN 프레임은 원래 미러 프레임의 헤더 바로 위에 IP 및 GRE를 캡슐화합니다. 이 캡슐화는 원래 프레임에 14(MAC) + 20(IP) + 4(GRE) 38바이트를 추가합니다. 이 형식의 장점은 헤더 크기가 작고 전송 비용이 절감된다는 것입니다. 그러나 GRE Flag 및 Version 필드를 0으로 설정하기 때문에 확장 필드를 포함하지 않으며 Type I은 널리 사용되지 않으므로 더 이상 확장할 필요가 없습니다.
Type I의 GRE 헤더 형식은 다음과 같습니다.
2. 유형 II
Type II에서는 GRE 헤더의 C, R, K, S, S, Recur, Flags 및 Version 필드가 S 필드를 제외하고 모두 0입니다. 따라서 Type II의 GRE 헤더에는 Sequence Number 필드가 표시됩니다. 즉, Type II는 GRE 패킷의 수신 순서를 보장할 수 있어, 네트워크 장애로 인해 순서가 뒤바뀐 다수의 GRE 패킷을 정렬할 수 없게 된다.
Type II의 GRE 헤더 형식은 다음과 같습니다.
또한 ERSPAN Type II 프레임 형식은 GRE 헤더와 원래 미러링된 프레임 사이에 8바이트 ERSPAN 헤더를 추가합니다.
Type II의 ERSPAN 헤더 형식은 다음과 같습니다.
마지막으로 원본 이미지 프레임 바로 뒤에는 표준 4바이트 이더넷 CRC(순환 중복 검사) 코드가 있습니다.
구현 시 미러 프레임에는 원본 프레임의 FCS 필드가 포함되지 않고 대신 전체 ERSPAN을 기반으로 새 CRC 값이 다시 계산된다는 점은 주목할 가치가 있습니다. 이는 수신 장치가 원본 프레임의 CRC 정확성을 확인할 수 없으며 손상되지 않은 프레임만 미러링된다고 가정할 수 있음을 의미합니다.
3. 유형 III
Type III은 네트워크 관리, 침입 탐지, 성능 및 지연 분석 등을 포함하되 이에 국한되지 않고 점점 복잡해지고 다양한 네트워크 모니터링 시나리오를 처리하기 위해 더 크고 유연한 복합 헤더를 도입합니다. 이러한 장면은 미러 프레임의 모든 원본 매개변수를 알아야 하며 원본 프레임 자체에 없는 매개변수도 포함해야 합니다.
ERSPAN Type III 복합 헤더에는 필수 12바이트 헤더와 선택적 8바이트 플랫폼별 하위 헤더가 포함되어 있습니다.
Type III의 ERSPAN 헤더 형식은 다음과 같습니다.
다시 말하지만 원래 미러 프레임 뒤에는 4바이트 CRC가 있습니다.
Type III의 헤더 형식에서 볼 수 있듯이 Type II를 기반으로 Ver, VLAN, COS, T 및 Session ID 필드를 유지하는 것 외에도 다음과 같은 많은 특수 필드가 추가됩니다.
• BSO: ERSPAN을 통해 전달되는 데이터 프레임의 로드 무결성을 나타내는 데 사용됩니다. 00은 양호한 프레임, 11은 불량 프레임, 01은 짧은 프레임, 11은 큰 프레임입니다.
• 타임스탬프: 시스템 시간과 동기화된 하드웨어 시계에서 내보냅니다. 이 32비트 필드는 최소 100마이크로초의 타임스탬프 세분성을 지원합니다.
• 프레임 유형(P) 및 프레임 유형(FT): 전자는 ERSPAN이 이더넷 프로토콜 프레임(PDU 프레임)을 운반하는지 여부를 지정하는 데 사용되고, 후자는 ERSPAN이 이더넷 프레임 또는 IP 패킷을 운반하는지 여부를 지정하는 데 사용됩니다.
• HW ID: 시스템 내 ERSPAN 엔진의 고유 식별자입니다.
• Gra(Timestamp Granularity) : 타임스탬프의 세분성을 지정합니다. 예를 들어, 00B는 100마이크로초 세분성을 나타내고, 01B는 100나노초 세분성을 나타내며, 10B IEEE 1588 세분성을 나타내며, 11B는 더 높은 세분성을 달성하기 위해 플랫폼별 하위 헤더가 필요합니다.
• Platf ID와 플랫폼별 정보: Platf별 정보 필드는 Platf ID 값에 따라 형식과 내용이 다릅니다.
위에서 지원되는 다양한 헤더 필드는 원래의 트렁크 패키지와 VLAN ID를 유지하면서 오류 프레임이나 BPDU 프레임을 미러링하는 등 일반 ERSPAN 애플리케이션에서 사용할 수 있습니다. 또한 미러링 중에 주요 타임스탬프 정보 및 기타 정보 필드를 각 ERSPAN 프레임에 추가할 수 있습니다.
ERSPAN의 자체 기능 헤더를 사용하면 네트워크 트래픽에 대한 보다 정교한 분석을 달성한 다음 관심 있는 네트워크 트래픽과 일치하도록 ERSPAN 프로세스에 해당 ACL을 마운트하기만 하면 됩니다.
ERSPAN, RDMA 세션 가시성 구현
RDMA 시나리오에서 RDMA 세션 시각화를 달성하기 위해 ERSPAN 기술을 사용하는 예를 들어보겠습니다.
RDMA: 원격 직접 메모리 액세스를 통해 서버 A의 네트워크 어댑터는 지능형 네트워크 인터페이스 카드(inics)와 스위치를 사용하여 서버 B의 메모리를 읽고 쓸 수 있으므로 높은 대역폭, 낮은 대기 시간 및 낮은 리소스 활용도를 달성할 수 있습니다. 빅데이터 및 고성능 분산 스토리지 시나리오에 널리 사용됩니다.
RoCEv2: 통합 이더넷 버전 2를 통한 RDMA. RDMA 데이터는 UDP 헤더에 캡슐화됩니다. 대상 포트 번호는 4791입니다.
RDMA의 일상적인 운영 및 유지관리에는 많은 양의 데이터 수집이 필요하며, 이는 일일 수위 기준선 및 이상 경보를 수집하는 데 사용되며 이상 문제를 찾아내는 기초가 됩니다. ERSPAN과 결합하면 대규모 데이터를 빠르게 캡처하여 마이크로초 전달 품질 데이터와 스위칭 칩의 프로토콜 상호 작용 상태를 얻을 수 있습니다. 데이터 통계 및 분석을 통해 RDMA 엔드 투 엔드 포워딩 품질 평가 및 예측을 얻을 수 있습니다.
RDAM 세션 시각화를 달성하려면 트래픽을 미러링할 때 RDMA 상호 작용 세션에 대한 키워드를 일치시키는 ERSPAN이 필요하고 전문가 확장 목록을 사용해야 합니다.
전문가 수준 확장 목록 일치 필드 정의:
UDF는 UDF 키워드, 기본 필드, 오프셋 필드, 값 필드 및 마스크 필드의 5개 필드로 구성됩니다. 하드웨어 항목의 용량에 따라 제한되므로 총 8개의 UDF를 사용할 수 있습니다. 하나의 UDF는 최대 2바이트와 일치할 수 있습니다.
• UDF 키워드: UDF1... UDF8 UDF 일치 도메인의 8개 키워드를 포함합니다.
• 기본 필드: UDF 일치 필드의 시작 위치를 식별합니다. 다음
L4_header(RG-S6520-64CQ에 적용 가능)
L5_header(RG-S6510-48VS8Cq용)
• 오프셋: 기본 필드를 기준으로 한 오프셋을 나타냅니다. 값의 범위는 0~126입니다.
• 값 필드: 일치하는 값입니다. 마스크 필드와 함께 사용하여 특정 값이 일치하도록 구성할 수 있습니다. 유효한 비트는 2바이트입니다.
• 마스크 필드: 마스크, 유효 비트는 2바이트입니다.
(추가: 동일한 UDF 일치 필드에 여러 항목이 사용되는 경우 기본 필드와 오프셋 필드가 동일해야 합니다.)
RDMA 세션 상태와 관련된 두 가지 주요 패킷은 CNP(혼잡 알림 패킷) 및 NAK(부정 승인)입니다.
전자는 스위치에서 보낸 ECN 메시지(eout 버퍼가 임계값에 도달할 때)를 수신한 후 RDMA 수신기에서 생성되며, 여기에는 혼잡을 유발하는 흐름이나 QP에 대한 정보가 포함됩니다. 후자는 RDMA 전송에 패킷 손실 응답 메시지가 있음을 나타내는 데 사용됩니다.
전문가 수준의 확장 목록을 사용하여 이 두 메시지를 일치시키는 방법을 살펴보겠습니다.
전문가 액세스 목록 확장 rdma
udp any any any eq 4791 허용UDF 1 l4_header 8 0x8100 0xFF00(RG-S6520-64CQ 일치)
udp any any any eq 4791 허용UDF 1 l5_header 0 0x8100 0xFF00(RG-S6510-48VS8CQ 일치)
전문가 액세스 목록 확장 rdma
udp any any any eq 4791 허용udf 1 l4_header 8 0x1100 0xFF00 udf 2 l4_header 20 0x6000 0xFF00(RG-S6520-64CQ 일치)
udp any any any eq 4791 허용udf 1 l5_header 0 0x1100 0xFF00 udf 2 l5_header 12 0x6000 0xFF00(RG-S6510-48VS8CQ 일치)
마지막 단계로 전문가 확장 목록을 적절한 ERSPAN 프로세스에 탑재하여 RDMA 세션을 시각화할 수 있습니다.
마지막에 쓰세요
ERSPAN은 오늘날 점점 더 대형화되는 데이터 센터 네트워크, 점점 복잡해지는 네트워크 트래픽, 점점 더 정교해지는 네트워크 운영 및 유지 관리 요구 사항에 없어서는 안 될 도구 중 하나입니다.
O&M 자동화 수준이 증가함에 따라 Netconf, RESTconf 및 gRPC와 같은 기술은 네트워크 자동 O&M 분야의 O&M 학생들 사이에서 인기가 있습니다. 미러 트래픽을 다시 전송하기 위한 기본 프로토콜로 gRPC를 사용하는 것에도 많은 이점이 있습니다. 예를 들어 HTTP/2 프로토콜을 기반으로 동일한 연결에서 스트리밍 푸시 메커니즘을 지원할 수 있습니다. ProtoBuf 인코딩을 사용하면 정보 크기가 JSON 형식에 비해 절반으로 줄어들어 데이터 전송이 더 빠르고 효율적입니다. ERSPAN을 사용하여 관심 있는 스트림을 미러링한 다음 이를 gRPC의 분석 서버로 보내면 네트워크 자동 운영 및 유지 관리의 능력과 효율성이 크게 향상될 것이라고 상상해 보십시오.
게시 시간: 2022년 5월 10일
