Network Packet De-duplication for your Data Optimization via Nework Packet Broker

데이터 중복 제거는 저장 용량을 최적화하는 대중적이고 대중적인 저장 기술입니다. 데이터세트에서 중복된 데이터를 제거하고 하나의 사본만 남겨서 중복된 데이터를 제거합니다. 아래 그림과 같이 이 기술은 물리적 저장의 필요성을 크게 줄일 수 있습니다. 증가하는 데이터 스토리지 수요를 충족할 수 있는 공간입니다. 중복 제거 기술은 주로 다음 측면을 포함하여 많은 실질적인 이점을 가져올 수 있습니다.

(1)	ROI(투자 수익)/TCO(총 소유 비용) 요구 사항을 충족합니다.
(2)	데이터의 급속한 증가를 효과적으로 제어할 수 있습니다.
(3)	효과적인 저장 공간을 늘리고 저장 효율성을 향상시킵니다.
(4)	총 스토리지 비용과 관리 비용을 절감하세요.
(5)	데이터 전송의 네트워크 대역폭을 절약하십시오.
(6)	공간, 전원 공급, 냉각 등 운영 및 유지 관리 비용을 절감합니다.

Dedupe 기술은 데이터를 여러 번 백업한 후 중복되는 데이터가 많기 때문에 데이터 백업 및 보관 시스템에 널리 사용되며 이는 이 기술에 매우 적합합니다. 실제로 Dedupe 기술은 온라인 데이터, 니어라인 데이터 및 오프라인 데이터 저장 시스템. 파일 시스템, 볼륨 관리자, NAS 및 sans에서 구현할 수 있습니다.Dedupe는 데이터 압축 기술을 데이터 패키징에 사용할 수 있으므로 데이터 재해 복구, 데이터 전송 및 동기화에도 사용할 수 있습니다.Dedupe 기술은 많은 애플리케이션에서 데이터 사용량을 줄이는 데 도움이 됩니다. 데이터 저장, 네트워크 대역폭 절약, 저장 효율성 향상, 백업 창 감소, 비용 절감이 가능합니다.

Dedupe에는 중복 제거 비율과 성능이라는 두 가지 주요 차원이 있습니다. Dedupe 성능은 특정 구현 기술에 따라 달라지며, Dedupe 비율은 아래 표에 표시된 것처럼 데이터 자체의 특성과 애플리케이션 패턴에 따라 결정됩니다. 현재 스토리지 공급업체는 다음과 같은 중복 제거 비율을 보고합니다. 20:1에서 500:1까지.

높은 중복 제거율	낮은 중복 제거율
사용자가 생성한 데이터	자연계의 데이터
데이터 변화율이 낮음	데이터의 높은 변화율
참조 데이터, 비활성 데이터	활성 데이터
낮은 데이터 변경률 적용	높은 데이터 변경률 적용
전체 데이터 백업	증분 데이터 백업
데이터 장기 저장	데이터 단기 저장
광범위한 데이터 애플리케이션	소규모 데이터 애플리케이션
지속적인 데이터 비즈니스 처리	종합데이터 업무처리
소규모 데이터 세분화	빅데이터 세분화
데이터 분할 연장	고정 길이 데이터 분할
인식된 데이터 콘텐츠	데이터 내용을 알 수 없음
시간 데이터 중복 제거	공간 데이터 중복 제거

중복 제거 구현 지점

Dedupe 기술을 개발하거나 적용할 때는 다양한 요소를 고려해야 합니다. 이러한 요소는 성능과 효과에 직접적인 영향을 미치기 때문입니다.

(1)	무엇	어떤 데이터에 가중치가 적용되나요?
(2)	언제	살은 언제 없어질까?
(3)	어디	체중 감량은 어디에 있습니까?
(4)	어떻게	무게를 줄이는 방법은 무엇입니까?

중복제거 핵심 기술

일반적으로 스토리지 시스템의 중복 제거 프로세스는 다음과 같습니다. 먼저 모든 데이터 파일을 데이터 세트로 나누고 각 데이터 블록에 대해 지문을 계산한 다음 지문 해시 검색 키워드를 기반으로 매칭하여 중복된 데이터를 나타냅니다. 데이터 블록은 데이터 블록 인덱스 번호만 저장합니다. 그렇지 않으면 데이터 블록이 새로운 데이터 블록의 유일한 조각이고 관련 메타 정보를 생성한다는 의미입니다. 따라서 스토리지 시스템의 물리적 파일은 데이터 블록의 논리적 표현에 해당합니다. FP 메타데이터 집합입니다. 파일을 읽을 때 먼저 읽어보세요. 그런 다음 FP 시퀀스에 따라 스토리지 시스템에서 해당 데이터 블록을 꺼내고 물리적 파일의 복사본을 복원합니다. 위 프로세스에서 Dedupe의 핵심 기술에는 주로 파일 데이터 블록 분할이 포함된다는 것을 알 수 있습니다. , 데이터 블록 지문 계산 및 데이터 블록 검색.

(1) 파일 데이터 블록 분할

(2) 데이터 블록 지문 계산

(3) 데이터 블록 검색