안냥하세요 김현린입니다.
SSD 용량 압박에 시달려 중복제거 솔루션을 이래 저래 고민만 하다가..
zfs에 필이 받아 구성하여 테스트 해보았습니다.
ZFS는 linux 위에 올라가는 놈이 있고.
당연히 솔라리스 위에 올라가는 놈이 있습니다.
리눅스 위에 올라가는놈은 iscsi가 지원되지 않고 nfs만 가능하며
솔라리스는 iscsi가 가능하기에 iscsi로 하였습니다.
linux on zfs 의 경우에도 커널위에서 돌아가고 최근 7.9버전까지 나오면서
상당히 안정화 되었다 해서 기대를 했습니다.
zfs의 중복 제거(압축) 방식은
gzip과 lz4 이 두가지가 있습니다.
살짝 구글링을 해보면 gzip은 압축률은 좋지만 성능에서 lz4에 떨어지고
lz4의 경우 성능에서 좋지만 많은 리소스를 요구하며 gzip보다는 압출률이 떨어진다.
입니다.
그래서..
3일정도 삽질끝에 테스트를 완료 하였습니다.
솔라리스보다는 리눅스가 접근성이 좋기에
리눅스로 테스트 해볼까 했지만
성능이 생각보다 만족스럽지 못하기에
솔라리스 까지 테스트 하였습니다.
세팅한 환경은
리눅스나 솔라리스 둘다 8코어 2소켓(총16코어)
메모리 32GB
레드햇 7.4를 사용했으며
솔라리스는 11.3을 사용했습니다.
OS영역 데이터 영역 전부 SSD 위에 올라가 있습니다.
성능 튜닝부분은 전혀 손대지 않았기에 튜닝을 좀 해주면 결과는 바뀔수 있습니다.(블럭 싸이즈라던가..)
일단 간단 요약입니다.
zfs 영역을 esxi 데이터 스토어로 잡고
2012R2 설치후 동영상 파일 1개 넣고 중복 제거 후 용량과 성능을 비교해 보았습니다.
로컬 SSD에 저장하였을때는 중복 제거가 전혀 없기에 13G가 저장되며
동일 데이터 스토어에 복사 할때는 약 50초가 걸렸습니다.
중복 제거가 되지 않기에 당연히 복사하면 26G. 3개는 39G를 사용합니다.
리눅스 NFS로 테스트시 gzip으로 압축 하면 13기가가 8.56G로
이걸 그대로 복사해서 2개를 넣으면 8.66 3개째는 8.67입니다.
lz4로 압축시 최초 1개는 9.82G 2개는 9.82 3개는 9.83입니다.
동일한 데이터 스토어에서 복사하는데 걸리는시간은 gzip 8분
lz4 3분이 소요되었으며 ssd 자체 복사시 50초가 걸립니다.
솔라리스 lz4의 경우 1분 10초라는 엄청난 속도가 나왔습니다.
최대 메모리 사용량은 리눅스에서 복사작업이나 벤치 테스트를 하고있을때 사용하는 메모리량을 봤습니다.
맨 밑이 솔라리스를 이용한 lz4 방식으로 테스트 하였습니다.
만족스러운 성능과 압축률이 나오기에 gzip은 테스트 하지 않았습니다..(귀찮..)
복사하는데 걸리는 시간만 보아도 어느정도 성능이 감이 오실꺼 같습니다.
자세한 성능은 밑의 그림을 보시져..
로컬 SSD의 성능은
요정도 나옵니다.
4K쓰기가 괴랄하게 나오긴했는데..
뭐 일단 넘어 갑시다.
인텔 NVME 1.6TB입니다.
Linux on zfs gzip으로 테스트시 위와 같습니다.
읽기 성능은 그럭저럭 만족 스럽지만 쓰기 성능이 최악입니다..
요약에서도 보셔서 아시겠지만 복사하는데 8분이 걸렸습니다.
압축률은 lz4보다 약 10%정도 더 나오긴 하지만 OS영역으로 쓰기에는 무리가 있어보입니다.
Linux on ZFS lz4 로 구성한후 테스트 결과 입니다.
전반적으로 쓰기 성능이 좋아지긴 했지만 중요한 4k성능이 여전히 똥입니다..
가만히 들여다 보고있으니 linux on zfs 는 시스템 자원을 제대로 못쓰는 느낌입니다.
cpu도 10%이상 사용하지 못하고 있으며 메모리도 30%를 못넘깁니다.
그러면 솔라리스를 보시죠..
시퀀셜 쓰기가 이상하게 안나오긴 하지만
전반적으로 매우 만족 스러운 결과 입니다.
cpu 사용도 최고 사용할때 80% 메모리도 90% 이상 사용하며
시스템 리소스를 쭉쭉 끌어다 사용하고 있습니다.
4k 쓰기 속도를 확인 하고 아빠 미소를 지으며 테스트를 마무리 했습니다.
솔라리스와 리눅스 간에 압축 방식에 따른 압축률은 거의 차이가 없는듯 합니다.
솔라리스가 훨씬 많은 메모리를 사용하기에 당연히 성능이 좋게 나와야지
할수도 있지만 저는 거기에 리눅스는 왜 남는 메모리 20G를 못 가져다 쓰느냐 라고 반박하고 싶습니다.
nfs와 iscsi 차이때문에 성능 차이가 발생하는지 여부는 모르겠습니다.
솔라리스에서 nfs로 잡아서 성능 테스트를 해보면 확실 하겠지만..(귀찮... 솔라리스 어려워..)
헤놀로지에서 nfs와 iscsi 둘다 데이터 스토어로 잡아서 테스트 해보았지만
차이가 없었습니다.
대충 이렇게 정리하고 망해가는 솔라리스 말고 오픈솔라리스로 다시 올려 볼까 하고있습니다..
알고 계시겠지만 zfs에서 압축과 중복제거옵션이 따로 있습니다
저는 freebsd zfs에서 lz4를 사용하고 있는데
리눅스라고 하더라도 gzip이 더 낫다고 하셔서 좀 의아해 찾아봤는데
i7에서도 성능저하가 있다고 하네요 참고하시면 좋을 것 같습니다.(이미 솔라리스에서 lz4를 쓰신다고 하시니)
https://icesquare.com/wordpress/how-to-improve-zfs-performance/
적어도 LZJB보다는 lz4가 압축률과 성능면에서 가장나은 것 같습니다.
중복제거(dedup)라면 1TB당 5GB정도의 메모리를 필요로 한다고 해서 용량압박때문에 프로덕션환경에서 사용해보진 못했습니다만
38TB정도의 스토리지에 24코어/50G ram에서도 성능저하가 있더라구요 (debup켜려면 200GB정도의 RAM이 있어야겠네요)
용량압박이 있으신데다 all-flash 시스템이니 메모리를 좀 더 증설해 dedup켜서 테스트해보시는 것도 괜찮을 것 같네요^^
ZFS 고수분이 봐주시니 몸둘바를 모르겠습니다.
그냥 허접하게 테스트만 해봤습니다.
좀 굴려보고 갠춘하다 싶으면 OS 영역을 이전할까 고민중입니다.
단편화로 인한 성능 저하나 이런게 좀 걱정이긴 하네요...
설정 문제인지 뭔가 미묘한 성능이 나오네요.
전반적으로는 솔라리스보다 못하고
리눅스보다4k 쓰기만 갠춘게 나옵니다.
OS 영역으로 사용해야하기에 저는 솔라리스가 맞아보입니다 ㅎㅎ
속도가. 음. 좀. ㅠ.ㅠ
네트워크 태우기에 10G 속도 이상 나올수가 없지요.
4K속도만 보시면 될것 같네요.
물론 blocksize를 고정할 수도 있지만 추천하지 않는다고 합니다.
2. ZFS의 가장 큰 장점은 COW입니다. 그렇기 때문에 ZFS on Linux는 성능이 느릴 수 밖에 없고 편차가 클수 밖에 없습니다.
뭐 크게 신경을 쓰지는 않습니다.. 만
freebsd나 리눅스에서 성능이 좋지 않으니 고려했었습니다.
리눅스는 제외하고 솔라리스로 박치기 중입니다 ㅎㅎ
그래도 더 압축이 가능하다니 의외네요
혹시 솔라리스는 어떤 배포판을 쓰시나요
오라클이 SUN 인수한 이후로 솔라리스는 맥이 끊어졌다고 들었는데
리눅스나 BSD처럼 계속 유지가 되는가 보네요?
중복제거는 가능하지요.
똑같은 동영상이 2개 있다면 1개어치의 용량만 잡아 먹게 됩니다.
오라클한테 먹힌 이후 솔라리스 개발팀을 해체 하고 해고했다 합니다.
그러면서 명맥이 끊어진게 맞아보이구요.
그래서 오픈 솔라리스 라는게 생긴건지 그전부터 있었는지는 모르겠지만
오픈 솔라리스로 다시 구성해볼려구 합니다.
솔라리스팀 해체되지 않았고 장기간 그럴일 없을겁니다.
OpenSolaris 팀은 해체된지 7-8년쯤 되었습니다. 지금 OpenSolaris는 중국사용자/회사들이 많이 사용하고 있습니다. 물론 illumus (회사이름이 ...) 등도 열심히 하고 있구요
잘못된 기사 이려나요..?
S7-2가 올해 나왔습니다. 위 기사는 2017년이네요
다 짤랐는데 새제품이 어떻게 나올까요?
솔12도 기대해볼만 하겠네요.
linux on ZFS는 해외유저들 사이에서도 불안정해서 권장하지는 않는 분위기더라구요.
문제는 없습니다... 5년 이상 돌아서 걱정이긴 합니다..
성실하게 NAS 업무를 해주고 있군요..
모든 중복제거 솔루션들이 가지고있는 시한 폭탄이죠..
김현린님의 노고와 고급 정보에..
너무 너무 감사드립니다.
또 현린님의 열정이 무섭습니다.
ZFS , 대한민국의 1타가 되시길 기원합니다...(미국애들보더 더 뛰어난...)
이 글을 기억하여 10년 후에 다시 볼게요...
2028년... 또 더울 것 같은 그 여름에.....
전환되서 퍼졌는데.. 썬이 오라클에 먹히면서, 공개가 안돼서, 원래 개발자들 포함
퇴사해서 만든 프로젝트로 널리 퍼짐. 대표적으로 freebsd에서 구현됨 라고 알고 있습니다.
나스쪽 OS에 대부분.. 내장되어 사용가능함. freebsd자체가 오픈소스라.
가장 큰 특징은 하드웨어 없이 raid-z 비슷한 기능 구현. 아마도 스냅샷 스킬의 원조쯤 되는 걸로
들었습니다.
=====
솔라리스 직원들이 애초 개발한 거라. 솔라리스쪽이 잘도는 것은 당연한듯.