데이터 중복 제거는 저장 용량을 최적화하는 널리 사용되는 저장 기술입니다. 이 기술은 데이터 세트에서 중복된 데이터를 제거하여 하나의 사본만 남겨 중복 데이터를 제거합니다. 아래 그림과 같습니다. 이 기술은 증가하는 데이터 저장 수요를 충족하기 위해 필요한 물리적 저장 공간을 크게 줄일 수 있습니다. 중복 제거 기술은 주로 다음과 같은 측면을 포함하여 많은 실질적인 이점을 가져올 수 있습니다.
| (1) | ROI(투자 수익률)/TCO(총 소유 비용) 요구 사항을 충족합니다. |
| (2) | 데이터의 급격한 증가는 효과적으로 통제될 수 있습니다. |
| (3) | 효과적인 보관 공간을 늘리고 보관 효율성을 향상시킵니다. |
| (4) | 총 보관 비용과 관리 비용을 절감하세요. |
| (5) | 데이터 전송의 네트워크 대역폭을 절약합니다. |
| (6) | 공간, 전력 공급, 냉각 등의 운영 및 유지관리 비용을 절감합니다. |
중복 제거 기술은 데이터 백업 및 아카이빙 시스템에서 널리 사용되는데, 여러 번의 데이터 백업 후 중복 데이터가 많이 발생하기 때문입니다. 따라서 중복 제거 기술은 매우 적합합니다. 실제로 중복 제거 기술은 온라인 데이터, 니어라인 데이터, 오프라인 데이터 저장 시스템 등 다양한 환경에서 활용될 수 있습니다. 파일 시스템, 볼륨 관리자, NAS, SAN 등에 구현될 수 있습니다. 중복 제거 기술은 데이터 재해 복구, 데이터 전송 및 동기화에도 활용될 수 있으며, 데이터 압축 기술은 데이터 패키징에 사용될 수 있습니다. 중복 제거 기술은 다양한 애플리케이션의 데이터 저장 공간 절감, 네트워크 대역폭 절약, 스토리지 효율성 향상, 백업 윈도우 단축, 비용 절감에 도움을 줄 수 있습니다.
중복 제거에는 두 가지 주요 차원이 있습니다. 중복 제거 위치 비율과 성능입니다. 중복 제거 성능은 특정 구현 기술에 따라 달라지지만, 중복 제거율은 아래 표에서 볼 수 있듯이 데이터 자체의 특성과 애플리케이션 패턴에 따라 결정됩니다. 스토리지 공급업체는 현재 중복 제거율을 20:1에서 500:1까지 보고합니다.
| 높은 중복 제거율 | 낮은 중복 제거율 |
| 사용자가 생성한 데이터 | 자연 세계의 데이터 |
| 데이터 낮은 변화율 | 데이터 높은 변화율 |
| 참조 데이터, 비활성 데이터 | 활성 데이터 |
| 낮은 데이터 변경률 적용 | 높은 데이터 변경률 적용 |
| 전체 데이터 백업 | 증분 데이터 백업 |
| 데이터 장기 저장 | 데이터 단기 저장 |
| 다양한 데이터 애플리케이션 | 소규모 데이터 애플리케이션 |
| 지속적인 데이터 비즈니스 처리 | 일반 데이터 비즈니스 처리 |
| 소규모 데이터 세분화 | 빅데이터 세분화 |
| 데이터 분할을 연장합니다 | 고정 길이 데이터 분할 |
| 인식된 데이터 내용 | 데이터 내용을 알 수 없음 |
| 시간 데이터 중복 제거 | 공간 데이터 중복 제거 |
중복 제거 구현 지점
Dedupe 기술을 개발하거나 적용할 때는 다양한 요소를 고려해야 합니다. 이러한 요소는 성능과 효과에 직접적인 영향을 미치기 때문입니다.
| (1) | 무엇 | 어떤 데이터의 가중치가 낮아지나요? |
| (2) | 언제 | 무게는 언제 없어질까요? |
| (3) | 어디 | 체중 감량은 어디에서 할 수 있나요? |
| (4) | 어떻게 | 무게를 줄이는 방법은? |
중복 제거 핵심 기술
저장 시스템의 일반적인 중복 제거 프로세스는 다음과 같습니다. 먼저 데이터 파일을 데이터 집합으로 나누고 각 데이터 블록에 대해 지문을 계산한 다음 지문 해시 검색 키워드를 기반으로 일치하면 중복된 데이터 블록에 대한 데이터가 표시되고 데이터 블록 인덱스 번호만 저장됩니다. 그렇지 않으면 데이터 블록이 새 데이터 블록의 유일한 조각임을 의미하고 데이터 블록을 저장하고 관련 메타 정보를 만듭니다. 따라서 저장 시스템의 물리적 파일은 FP 메타데이터 집합의 논리적 표현에 해당합니다. 파일을 읽을 때 먼저 논리적 파일을 읽은 다음 FP 순서에 따라 저장 시스템에서 해당 데이터 블록을 꺼내 물리적 파일의 복사본을 복원합니다. 위의 프로세스에서 볼 수 있듯이 Dedupe의 핵심 기술은 주로 파일 데이터 블록 분할, 데이터 블록 지문 계산 및 데이터 블록 검색을 포함합니다.
(1) 파일 데이터 블록 분할
(2) 데이터 블록 지문 계산
(3) 데이터 블록 검색
네트워크 패킷 중복 제거를 시작하기 위한 권장 모델을 찾으려면:
Mylinking™ 네트워크 패킷 브로커(NPB) ML-NPB-640048*10GE SFP+ 및 4*40GE/100GE QSFP28, 최대 880Gbps
Mylinking™ 네트워크 패킷 브로커(NPB) ML-NPB-56606*40GE/100GE QSFP28 및 48*10GE/25GE SFP28, 최대 1.8Tbps
Mylinking™ 네트워크 패킷 브로커(NPB) ML-NPB-506048*10GE SFP+ 및 2*40GE QSFP, 최대 560Gbps
Mylinking™ 네트워크 패킷 브로커(NPB) ML-NPB-486048*10GE SFP+, 최대 480Gbps, 기능 플러스
Mylinking™ 네트워크 패킷 브로커(NPB) ML-NPB-481048*10GE SFP+, 최대 480Gbps
Mylinking™ 네트워크 패킷 브로커(NPB) ML-NPB-2410P24*10GE SFP+, 최대 240Gbps, DPI 기능
Mylinking™ 네트워크 패킷 브로커(NPB) ML-NPB-6400
48*10GE SFP+ 및 4*40GE/100GE QSFP28, 최대 880Gbps
게시 시간: 2022년 10월 18일
