일반적인 NPB(Non-Person-Block) 애플리케이션 시나리오에서 관리자에게 가장 골치 아픈 문제는 미러링된 패킷과 NPB 네트워크의 혼잡으로 인한 패킷 손실입니다. NPB에서 패킷 손실이 발생하면 백엔드 분석 도구에서 다음과 같은 일반적인 증상이 나타날 수 있습니다.
- APM 서비스 성능 모니터링 지표가 감소하고 거래 성공률이 떨어지면 경보가 발생합니다.
- NPM 네트워크 성능 모니터링 표시기 예외 경보가 발생했습니다.
- 보안 모니터링 시스템이 이벤트 누락으로 인해 네트워크 공격을 감지하지 못합니다.
- 서비스 감사 시스템에서 생성된 서비스 손실 행위 감사 이벤트
... ...
바이패스 모니터링을 위한 중앙 집중식 캡처 및 배포 시스템으로서 NPB의 중요성은 자명합니다. 하지만 NPB는 기존의 실시간 네트워크 스위치와는 데이터 패킷 트래픽을 처리하는 방식이 상당히 다르며, 많은 서비스 실시간 네트워크에서 사용되는 트래픽 혼잡 제어 기술은 NPB에 적용할 수 없습니다. 그렇다면 NPB 패킷 손실 문제를 어떻게 해결해야 할까요? 패킷 손실의 근본 원인 분석부터 시작해 보겠습니다!
NPB/TAP 패킷 손실 혼잡 근본 원인 분석
우선, 실제 트래픽 경로와 시스템과 레벨 1 또는 레벨 NPB 네트워크의 입출력 간의 매핑 관계를 분석합니다. NPB가 어떤 네트워크 토폴로지를 형성하든, 집합 시스템으로서 전체 시스템의 "접근"과 "출력" 사이에는 다대다 트래픽 입력 및 출력 관계가 존재합니다.
다음으로, 단일 기기에 탑재된 ASIC 칩의 관점에서 NPB의 비즈니스 모델을 살펴보겠습니다.
특징 1입력 및 출력 인터페이스의 "트래픽"과 "물리적 인터페이스 속도"가 비대칭적이어서 다수의 마이크로 버스트가 발생하는 것은 불가피합니다. 일반적인 다대일 또는 다대다 트래픽 집계 시나리오에서 출력 인터페이스의 물리적 속도는 입력 인터페이스의 총 물리적 속도보다 작은 경우가 많습니다. 예를 들어, 10G 수집 채널 10개와 10G 출력 채널 1개가 있는 경우입니다. 다단계 구축 시나리오에서는 모든 NPBBS를 하나로 간주할 수 있습니다.
특징 2ASIC 칩의 캐시 용량은 매우 제한적입니다. 현재 일반적으로 사용되는 ASIC 칩을 예로 들면, 640Gbps 데이터 전송 속도를 가진 칩은 3~10MB의 캐시를, 3.2Tbps 속도를 가진 칩은 20~50MB의 캐시를 가지고 있습니다. 이는 브로드컴, 베어풋, CTC, 마벨 등 여러 ASIC 칩 제조업체에 해당합니다.
특징 3기존의 종단 간 PFC(패킷 처리 제어) 흐름 제어 메커니즘은 NPB(노이즈 패킷 전송) 서비스에 적용할 수 없습니다. PFC 흐름 제어 메커니즘의 핵심은 종단 간 트래픽 억제 피드백을 구현하여 궁극적으로 통신 엔드포인트의 프로토콜 스택으로 전송되는 패킷 수를 줄여 혼잡을 완화하는 것입니다. 그러나 NPB 서비스의 패킷 소스는 미러링된 패킷이므로, 혼잡 처리 전략으로는 패킷 폐기 또는 캐싱만 가능합니다.
다음은 유량 곡선에서 나타나는 일반적인 마이크로 버스트의 모습입니다.
10G 인터페이스를 예로 들면, 2단계 트래픽 추세 분석도에서 트래픽 속도는 장시간 동안 약 3Gbps로 유지됩니다. 그러나 마이크로밀리초 단위의 추세 분석도에서는 트래픽 급증(마이크로버스트)이 10G 인터페이스의 물리적 속도를 크게 초과하는 것을 볼 수 있습니다.
NPB 마이크로버스트 완화를 위한 핵심 기술
비대칭적인 물리적 인터페이스 속도 불일치의 영향을 줄입니다.- 네트워크를 설계할 때 입력 및 출력 물리적 인터페이스 속도의 비대칭성을 최대한 줄여야 합니다. 일반적인 방법은 더 높은 속도의 업링크 인터페이스를 사용하고, 물리적 인터페이스 속도의 비대칭성을 피하는 것입니다(예: 1Gbps 및 10Gbps 트래픽을 동시에 복사하는 경우).
NPB 서비스의 캐시 관리 정책을 최적화합니다.- 스위칭 서비스에 적용되는 일반적인 캐시 관리 정책은 NPB 서비스의 포워딩 서비스에는 적용할 수 없습니다. NPB 서비스의 특성에 맞춰 정적 보장 + 동적 공유 방식의 캐시 관리 정책을 구현해야 합니다. 이는 현행 칩 하드웨어 환경의 제약 조건 하에서 NPB 마이크로버스트 현상의 영향을 최소화하기 위함입니다.
분류된 교통 공학 관리 시스템을 구현합니다.- 트래픽 분류에 기반한 우선순위 트래픽 엔지니어링 서비스 분류 관리를 구현합니다. 카테고리별 큐 대역폭을 기반으로 우선순위가 다른 큐의 서비스 품질을 보장하고, 사용자에게 중요한 서비스 트래픽 패킷이 패킷 손실 없이 전달되도록 합니다.
합리적인 시스템 솔루션은 패킷 캐싱 기능과 트래픽 셰이핑 기능을 향상시킵니다.- 다양한 기술적 수단을 통해 솔루션을 통합하여 ASIC 칩의 패킷 캐싱 기능을 확장합니다. 여러 위치에서 흐름 형태를 조정함으로써 마이크로 버스트가 조정 후 마이크로 균일 흐름 곡선으로 변환됩니다.
Mylinking™ 마이크로 버스트 트래픽 관리 솔루션
방안 1 - 네트워크 최적화 캐시 관리 전략 + 네트워크 전반에 걸친 분류 기반 서비스 품질 우선순위 관리
네트워크 전체에 최적화된 캐시 관리 전략
Mylinking™ 트래픽 수집 제품은 다수의 고객에 대한 NPB 서비스 특성과 실제 비즈니스 시나리오에 대한 심층적인 이해를 바탕으로, 네트워크 전체에 "정적 보장 + 동적 공유" 방식의 NPB 캐시 관리 전략을 구현합니다. 이는 비대칭 입력 및 출력 인터페이스가 많은 환경에서 트래픽 캐시 관리 효율을 극대화하고, 기존 ASIC 칩 캐시 용량이 고정된 경우에도 마이크로버스트 내성을 최대한 확보할 수 있도록 합니다.
마이크로버스트 처리 기술 - 비즈니스 우선순위에 기반한 관리
트래픽 캡처 장치를 독립적으로 배포할 경우, 백엔드 분석 도구의 중요도 또는 서비스 데이터 자체의 중요도에 따라 우선순위를 지정할 수 있습니다. 예를 들어, 여러 분석 도구 중 APM/BPC는 중요한 비즈니스 시스템의 다양한 지표 데이터를 모니터링하고 분석하기 때문에 보안 분석/보안 모니터링 도구보다 우선순위가 높습니다. 따라서 이 시나리오에서는 APM/BPC에 필요한 데이터를 높은 우선순위로, 보안 모니터링/보안 분석 도구에 필요한 데이터를 중간 우선순위로, 기타 분석 도구에 필요한 데이터를 낮은 우선순위로 설정할 수 있습니다. 수집된 데이터 패킷이 입력 포트로 들어오면 패킷의 중요도에 따라 우선순위가 결정됩니다. 우선순위가 높은 패킷이 먼저 전송된 후 우선적으로 전송되고, 우선순위가 낮은 패킷이 전송된 후에 전송됩니다. 우선순위가 높은 패킷이 계속해서 도착하는 경우, 우선순위가 높은 패킷이 우선적으로 전송됩니다. 입력 데이터가 출력 포트의 전송 용량을 장시간 초과하는 경우, 초과 데이터는 장치의 캐시에 저장됩니다. 캐시가 가득 차면 장치는 우선순위가 낮은 패킷부터 우선적으로 폐기합니다. 이러한 우선순위 관리 메커니즘을 통해 핵심 분석 도구는 분석에 필요한 원본 트래픽 데이터를 실시간으로 효율적으로 확보할 수 있습니다.
마이크로버스트 처리 기술 - 전체 네트워크 서비스 품질의 분류 보장 메커니즘
위 그림에서 보는 바와 같이, 트래픽 분류 기술은 액세스 계층, 집계/코어 계층, 출력 계층의 모든 장치에서 서로 다른 서비스를 구분하는 데 사용되며, 캡처된 패킷의 우선순위가 다시 표시됩니다. SDN 컨트롤러는 트래픽 우선순위 정책을 중앙 집중식으로 전달하고 이를 포워딩 장치에 적용합니다. 네트워크에 참여하는 모든 장치는 패킷에 담긴 우선순위에 따라 서로 다른 우선순위 큐에 매핑됩니다. 이러한 방식으로 트래픽 양이 적고 우선순위가 높은 패킷은 패킷 손실 없이 처리될 수 있습니다. 이는 APM 모니터링 및 특정 서비스 감사 우회 트래픽 서비스에서 발생하는 패킷 손실 문제를 효과적으로 해결합니다.
해결책 2 - GB급 확장 시스템 캐시 + 트래픽 셰이핑 방식
GB 레벨 시스템 확장 캐시
당사의 트래픽 수집 장치는 고급 기능 처리 능력을 갖추고 있어 장치 메모리(RAM)의 일정 공간을 글로벌 버퍼로 활용할 수 있습니다. 이를 통해 장치의 버퍼 용량을 크게 향상시킬 수 있습니다. 단일 수집 장치에 최소 GB 용량의 캐시 공간을 제공할 수 있습니다. 이 기술을 통해 당사 트래픽 수집 장치의 버퍼 용량은 기존 수집 장치보다 수백 배 더 높아집니다. 동일한 전송률에서 당사 트래픽 수집 장치의 최대 마이크로 버스트 지속 시간은 더욱 길어집니다. 기존 수집 장비에서 지원하던 밀리초 단위가 초 단위로 향상되어 견딜 수 있는 마이크로 버스트 시간이 수천 배 증가합니다.
다중 큐 트래픽 셰이핑 기능
마이크로버스트 처리 기술 - 대용량 버퍼 캐싱 + 트래픽 셰이핑 기반 솔루션
초대용량 버퍼를 통해 마이크로버스트로 발생하는 트래픽 데이터를 캐싱하고, 송신 인터페이스에 트래픽 셰이핑 기술을 적용하여 분석 도구로의 패킷 출력을 원활하게 합니다. 이 기술을 적용함으로써 마이크로버스트로 인한 패킷 손실 현상을 근본적으로 해결할 수 있습니다.
게시 시간: 2024년 2월 27일
