예전에 Esxi 7에서 dsm 6.2.3 설치하려다가 죽어도 안 돼서 포기하고(6.1.7은 가능함) Freenas 쓰다가 시놀로지의 UI가 그리워지고 마침 dsm 7도 설치 가이드가 있어서 헤놀로지 최신버전으로 갈아탔습니다. 역시 이 직관적이고 알흠다운 GUI는 시놀로지 만한게 없습니다 ㅎㅎ 

근데 시놀로지는 ZFS와 같은 강력한 스토리지 기능은 없기에 시놀로지의 소프트웨어 레이드만으로는 아쉬움이 있어서 두 마리 토끼를 모두 잡는 방향으로 os를 구성하기로 마음 먹었습니다. ZFS 스토리지용 os를 별도로 두었을 때의 장점은 다음과 같습니다.

1. Esxi에 헤놀로지 설치하기가 편함. (삽질 방지)

2. 헤놀로지에서 디스크 smart 정보가 안 뜨는 걱정을 덜어줌.

3. 스토리지 관리가 더 편리함. (ZFS 레이드 리빌드 시간은 매우 빠른편)

4. 스토리지 가상화를 통해 시스템 자원 분산

5. 가상화 환경을 통해 10g 스위치 없이도 내부적인 10g환경 구축 가능 (비용 절감)

6. Esxi에서 헤놀뿐만 아니라 웹 서버,db서버 등 이것저것 같이 돌리기에 더 좋음.

7. ZFS 파일 시스템의 장점을 모두 이용할 수 있음(COW, 램 캐시, 스냅샷, lz4압축을 통한 성능향상 등등..) - 가장 큰 장점

8. Esxi에서 Vm백업을 통해 헤놀 복원이 편리함.

9. 하드웨어 레이드카드 없이 hba카드만으로 높은 성능을 기대할 수 있음. (가성비)

물론 장점이 있는 만큼 단점도 있는데 단점은

1. Esxi에서 ZFS 스토리지를 운용하면서 높은 성능을 기대하려면 많은 용량의 메모리가 필요함.

2. 저전력 네이티브 헤놀로지 구성 대비 높은 성능을 필요로 하기 때문에 더 많은 비용 필요, 전기세 증가

3. Esxi에서 가상화로 ZFS를 구성하면 하드 절전모드가 안 되기 때문에 전기 사용량 증가, 소음 증가, 발열 증가

4. Esxi를 처음 구성하는 사람에게는 다소 어려울 수 있음.

5. ZFS 파일 시스템 특성상 디스크 단편화 문제로 인한 성능저하. (아직까진 체감 안됨.)

대충 써보면서 느낀 장단점은 이 정도 있는 것 같습니다. 단순히 헤놀로지만 돌리는 것이 아니라 웹서버, db서버, 모니터링 서버 등 이것 저것 운용하시는 분에게는 오히려 비용, 전기세, 발열, 소음 등이 더 감소하는 효과를 보실 수 있습니다. 써보니까 단점보다 장점이 더 많네요.

다만 모든 걸 중앙 집중화 시키는 건 미션 크리티컬한 상황이 발생했을 시 문제가 될 수 있으므로 아주 올인원 구성으로 가는 것 보단 효율적으로 분산 시키는 것을 추천 드립니다. 저 같은 경우는 라우터 및 방화벽 os는 꼭 별도 하드웨어로 구성합니다.

ZFS 스토리지를 운용하기 위해 사용한 os는 Omnios+napp-it 입니다.

기본적으로 무료os 이며 단순히 스토리지 기능만을 사용할 것이기 때문에 가장 가벼운 Omnios를 택하였습니다.

Omnios에 napp-it을 같이 설치하면 웹 ui를 통해 더욱 편리하게 zPool을 생성하고 스토리지를 관리 할 수 있습니다.

다만 모든 걸 웹ui에서 설정 가능한 건 아니고 iscsi나 vlan중 몇몇 구성은 솔라리스11 명령을 통해서만 가능하기에 솔라리스 메뉴얼을 좀 찾아봐야 합니다. 근데 대부분 ui로 설정 가능합니다. 참고로 napp-it에서 시스템 모니터링을 하려면 추가 비용을 내고 pro기능을 사용해야 하는데 pro trial이 24시간인데 esxi 시간이 napp-it보다 NTC시간이 더 빠르면 pro기능이 영원히 지속되는 기적(..)을 맛 볼 수 있습니다 ^^;;

기본적인 스토리지 구성은 다음과 같습니다.

헤놀로지 데이터를 위한 저장소 전용 zpool로 wd red 4tb 5개 raidz1 구성

+Zil Slog용 옵테인 900P 120g

각종 os 전용 스토리지 zpool로 wd 블랙 2tb 4개 raid 10 구성

+Zil slog용 옵테인m10 32g

유의하셔야 할 점은 raidz1은 더 많은 패러티 계산을 필요로 하기에 단순 읽기 쓰기 속도는 raid 10 대비 더 빠를지 몰라도 

가상화로 os를 이것저것 돌리려면 높은 iops를 필요로 하기에 os전용 스토리지는 raid10으로 구성하는 걸 추천합니다. 

ZFS 파일 시스템은 읽기 iops에서 raid10에서 2쌍의 하드를 모두 이용하기에 다중 스레드에선 raidz1보다 iops가 더 높더군요.

wd블랙이 sata하드 중엔 엑세스 타임이 높은 편이라 os용으로 사용했습니다. wd블랙이 좋다 해도 단순 읽기 쓰기 속도는 고용량 하드가 더 빠른 것 같습니다. 그리고 Zil Slog용으론 옵테인 쓰시는 걸 추천드립니다. 단순히 대역폭이 빠른 것보단 레이턴시가 빠른 옵테인이 더 좋습니다. 일반 nvme는 램 캐싱을 하기 때문에 정전시 데이터가 날아가서 slog을 쓰는 의미가 없습니다. 문제는 옵테인을 쓰는 순간 가성비와는 거리가 멀어지기 시작합니다.

암튼 그렇게 zpool 두 개 생성 후 vmkernal포트랑 연결해서 NFS/Iscsi로 마운트 해주면 스토리지는 구성완료입니다.

Iscsi가 더 좋긴 한데 설정이 복잡하고 제 특성상 이것저것 계속 만지작 거리다가 뻑나는 경우가 많은 휴먼 에러(..)가 많은 환경이라 그냥 NFS로 마운트 했습니다. 

Esxi가 똑똑해서 내부에서 가상화로 돌리는 걸 인지해서 그런지 성능은 비슷비슷한 것 같습니다.

그후에 Esxi에 헤놀로지를 설치해 주시면 되는데 설치는 화정큐삼님 tinycore 강좌글보고 설치했고,

918+ dsm 7.0.1로 설치했습니다. 많은 하드가 필요하거나 RDM을 쓰거나 하는게 아니라서 그냥 가장 쉬워보이는 918+로 설치했습니다.

가상화 환경이라 그런지 설치 자체는 아주 순조롭게 되었습니다.

설정은 다음과 같이 했습니다.

스토리지용 raid10 zpool을 NFS1, 시놀로지 데이터용 raidz1을 NFS2 라고 했을 때,

하드디스크1은 부트로더 전용(NFS1), 하드디스크2는 os및 앱 패키지 설치 전용(NFS1), 하드디스크3는 데이터 전용(NFS2 단독 사용) 

구성입니다. 하드디스크 2와 3을 별도로 둔 이유는 Veeam을 통한 VM 백업시 통채로 백업하지 않고 하드1 ,2 만을 백업해 용량을 줄이고 복원이 쉽게 가능하게 구성하기 위함입니다. 하드 디스크3은 데이터만 들어서 VM을 통채로 백업할 필요 없이 파일만을 다른 백업서버에 백업시키면 되니까요. 그 이전에 ZFS 스냅샷이 있어서 VM 복원까지 가는 일은 드물 듯 합니다.

그리고 ZFS lz4 압축율이 높아서 하드3 용량을 실제보다 더 높게 잡아주셔도 됩니다. Omnios에서 모니터링 하면 꾹꾹 눌러 담아서 원본의 2/3정도 밖에 공간 차지를 안 합니다.

이렇게 하면 설치자체는 완료인데 DSM 6버전과 달리 DSM 7에는 치명적인 문제가 하나 있습니다.

DSM 7부터는 보안을 명목으로 써드파티 앱 설치가 불가능하더군요. 써드파티 앱 설치가 불가능하면 Vmware Tools가 설치 불가능해 Vmxnet3가 가상화 환경에서 내부적으로 처리 되지가 않습니다. 가상화 환경에서 내부 스위치는 자체적으로 처리가 되서 시스템 성능에 영향이 없는데 DSM7 버전은 Vmware Tools 설치가 안 돼서 정확히 10g 속도로만 나오면서 호스트 CPU 사용량이 20프로나 올라갑니다. 도커로 설치는 가능하지만 시스템 권한이 없어서 실제 효과는 없습니다.

실제로 Vmware Tools가 설치된 환경에선 같은 데이터스토어에서 만든 os 끼리 공유폴더로 연결하면 내부적으로 처리가 되서 40g 이상 속도로 파일 전송이 되는데 DSM7 헤놀로지 공유 폴더는 같은 하드에서도 친절하게 아주 정확히 10g 속도로만 전송되면서 CPU는 20프로나 먹네요..

보안을 명목으로 써드파티 앱 설치를 막고 점점 폐쇄적으로 가는게 마치 애플의 ios처럼 되어가는 것 같습니다. 그래봤자 리눅스인 주제에

 대안으로 시도해본 것이 데이터 전용 Omnios NFS2를 시놀로지 NFS 원격 폴더 마운트로 사용하고 Omnios자체에서 SMB 공유를 통해 윈도우와 연결하는 것이었는데 Freebsd smbd 커널이 최적화 문젠지 Freenas도 그렇고 Omnios도 그렇고 아무리 튜닝을 해도 Samba 속도가 4~5g 밖에 안 나옵니다. 아예 헤놀에서 NFS 원격 폴더 마운트 한걸 SMB로 공유하면 7~8g 정도 나오는데 그러면 호스트 CPU가 99프로까지 올라가면서 Esxi 전체가 먹통이 되는 기현상이 발생해서 그냥 원래대로 쓰려고 합니다. 

CPU를 많이 먹는 단점이 있지만 그래도 속도는 잘 나와서 다행입니다. Vmware Tools 유무의 차이가 생각보다 크네요.

근데 DSM 6 버전 대비 DSM 7이 확실히 창 뜨는게 훨씬 빠릿하긴 하네요.

나스와 PC간 10g 속도 측정 (Mellanox Connectx-3 를 통한 10g연결 - 헤놀은 Vmxnet3)

ZFS 스토리지는 모두 sync=always 상태로 모든 전송이 동기방식으로 작동합니다.

헤놀 -> PC 10g 연결

PC->헤놀 연결 10g

참고로 하드디스크 1,2의 os전용 NFS1도 공유폴더 생성해서 테스트 해봤습니다.

헤놀 -> PC 10g 연결

PC->헤놀 연결 10g

ZFS에서 읽기는 어차피 램 캐시를 사용하기 때문에 속도는 10g 대역폭 풀로 나옵니다.

램인 만큼 40g로 연결하면 40g가 나오겠지요. (PC의 NVME 속도만 받혀준다면)

NFS1은 WD 하드 블랙 2tb 4개 raid 10인만큼 개당 속도가 150mb/s이니 쓰기 속도 300mb/s를 예상할 수 있습니다.

<인텔 옵테인M10 32g 디스크 벤치마크>

따라서 연속 쓰기가 350mb/s 정도인 옵테인 M10 32g로도 Slog의 성능은 충분히 뽑을 수 있습니다.

WD 블랙 하드가 레드 4tb 대비 대역폭은 더 낮아도 엑세스 타임은 sata 하드 중에 빠른 편에 속하기에 OS용으로는 더 적합합니다.

쓰다 보니 글이 길어졌는데

이 상태로 최소한 3년은 변경 없이 그대로 유지하고 쓸 것 같습니다.

이상 Esxi에서 ZFS COW로 안전한 헤놀로지 구축기 였습니다.