출처 : http://www.oracle.com/technetwork/articles/servers-storage-admin/o11-113-size-zfs-dedup-1354231.html
dedup 등록정보를 활성화시키게 되면 ZFS 파일 시스템에서 중복데이터를 제거하게 됩니다.
아래 이미지처럼 파일시스템의 dedup 등록정보가 사용으로 설정된 경우 중복 데이터블록이 동기적으로 제거되며 그결과 고유한 데이터만 저장되고 공통 구성 요소는 파일간에 공유됩니다.
중복제거의 경우 디스크 공간 사용 및 비용을 절감할수 있으나 사용하기전에 메모리 요구 사항을 고려해야합니다. 또한 파일시스템에서 압축을 활성화하면 디스크 공간을 더욱 줄일수 있습니다.
ZFS 데이터 중복제거(dedup) 요구사항dedup 정보를 활성화하기 이전 아래 조건을 먼저 확인합니다.
1) 중복제거를 통한 공간 절약이 가능한 데이터인지 확인
# zdb -S dedup_pool_test
Simulated DDT histogram:
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 163K 20.3G 20.3G 20.3G 163K 20.3G 20.3G 20.3G
2 93.5K 11.7G 11.7G 11.7G 227K 28.4G 28.4G 28.4G
4 1.26K 161M 161M 161M 5.55K 710M 710M 710M
8 5 640K 640K 640K 46 5.75M 5.75M 5.75M
16 3 384K 384K 384K 75 9.38M 9.38M 9.38M
32 1 128K 128K 128K 40 5M 5M 5M
64 2 256K 256K 256K 216 27M 27M 27M
128 5 640K 640K 640K 989 124M 124M 124M
256 4 512K 512K 512K 1.38K 177M 177M 177M
512 1 128K 128K 128K 803 100M 100M 100M
128K 1 128K 128K 128K 165K 20.7G 20.7G 20.7G
Total 257K 32.2G 32.2G 32.2G 564K 70.5G 70.5G 70.5G
dedup = 2.19, compress = 1.00, copies = 1.00, dedup * compress / copies = 2.19
==> 예상 중복제거 비율이 2보다 클 경우 중복 제거를 통한 공간 절약 효과가 있습니다.
위의경우 dedup=2.19 > 2 보다 크기에 중복 제거를 사용으로 함으로써 공간 절약 효과를 볼수 있을것으로 판단됩니다.
2) 시스템 메모리가 중복 제거를 지원할 정도로 충분한지 확인
- 각 코어 내부이ㅡ 중복제거 테이블 항목은 약 320바이트
- 할당된 블록 수에 320을 곱해 확인
in-core DDT size = 257K x 320 = 83520K
3) 중복 제거 테이블이 메모리에 적합할때 중복 제거 성능이 가장좋으며 중복제거 테이블을 디스크에 기록해야 할 경우 성능이 저하됩니다.
메모리가 리소스가 부족한 상태로 파일 시스템에서 중복제거를 사용으로 설정하면 파일 시스템과 관련된 작업을 수행할 때 시스템 성능이 저하될수 있습니다.
예를 들어 메모리 리소스가 부족한 상태로 중복 제거가 사용으로 설정된 큰 파일 시스템을 제거하면 시스템 성능이 저하될수 있습니다.
