레이드 구성시에 항상 고민입니다...
레이드 컨트롤러의 Raid구성을 사용할 건지, ZFS을 구성 할 건지..
서버
HP DL380p Gen8
Controller : P420i 1MB Cache
Drive: SAS 4TB 7.2K Enter x 12EA
O/S : FreeBSD
1. P420의 Raid 활용 Raid6+1 로 구성
2. ZFS의 RaidZ 구성 (P420에서는 각각 12개의 Logical drive로 구성 후)
더 이상은 Drive 공간이 없습니다.. Cache용 SSD가 1개정도 있으면 좋겠는데.. 용량을 좀더 중요하게 구성중이라..
NAS 전문가님들 어떤 포멧이 낫겠습니까... 항상 고민입니다...
- 배려와 질서는 우리 모두를 자유롭게 합니다. -
ZFS를 하려면 솔라리스를 잘해야 합니다..
(관리할때 ZFS는 솔라리스 명령어를 알아야 한다고 들었습니다..)
참고로 FreeBSD를 재일 잘 지원하는 레이드 카드는 아레카 입니다..
ZFS 를 쓰시겠다면 IT 모드가 되는 컨트롤러를 사용하시는걸 추천드립니다. 9211 같은거요.
편하게 쓰시려면 P420 레이드를 쓰시는게 편합니다. 특히 윈도우에 익숙하신 경우라면 더 그렇구요.
장비를 오로지 스토리지로만 쓴다면 ZFS 에 한표 드립니다. 메모리 넉넉하게 꽂아주시면 성능이야 훌륭하게 나옵니다.
사진자료의 경우 사일런트 커럽션이 문제되는 경우가 많은데...ZFS 는 스크럽 돌리면 자동복구됩니다.
리빌딩해야하는 경우에 ZFS 는 데이터가 있는 만큼만 재기록하면 되어서 데이터가 가득찬 상황이 아니면 리빌딩 속도가 더 빠릅니다. (보통 레이드컨트롤러는 디스크 전체를 블럭단위로 리빌딩합니다.)
단점은 ZFS 사용방법을 익히셔야한다는 거구요. 특히 디스크 교체하는 방법은 필히 공부해두셔야합니다. (그냥 빼고 꽂는게 아니라서..........)
특히 OS 별로 디스크 번호라던가 하는 것이 다르기 때문에...해당 OS 에 맞는 명령어를 미리 확인하셔야합니다.
솔라리스 계열은 디스크번호가 물리Path 를 따라 메겨지기 때문에 위치가 정해지면 디스크번호가 고정됩니다만...
FreeBSD 나 리눅스의 경우는 그렇지 않아서...디스크 갯수나 위치가 바뀌거나 하는 경우 애매해지는 경우가 있습니다. 사용하시는 OS 에 따라 이름을 고정시킬 수 있는 적정한 방법을 이용하셔야합니다.
마지막으로...ZFS 는 UPS 필수입니다. write 하다 정전되면 대략 난감한 상황이 발생할 수 있습니다.
다른 파일 시스템과 마찬가지로 작동합니다.
zil에 쓴 뒤에야 sync 보내기 때문에
UPS 없더라도 위험하진 않습니다
samba 는 sync disable 이 기본설정입니다
iscsi 는 os 마다 동작이 좀 다른 것 같아 확인이 필요하구요
질문주신 분께서 더이상 드라이부 공간이 없다고 하셨기 때문에 zil 용 ssd 를 장착하는건 논외로 보았습니다.
zil용 SSD를 장착한다는 부분은 이해가 잘 안가는데
SSD를 slog로 장착한다는 말인가요?
ZFS Intent Log는 slog를 따로 장착하지 않으면, zpool의 디스크 공간을 사용해서 씁니다
slog 장치를 달지 않아도 ZIL은 기본적으로 존재합니다
ZFS Intent Log는 slog를 따로 장착하지 않으면, zpool의 디스크 공간을 사용해서 씁니다 => 몰랐던 내용이네요. 찾아보니 그렇다고 하네요. (https://nex7.blogspot.com/2013/04/zfs-intent-log.html 요기 참고했습니다)
그렇다 해도 sync disable 인 상황에서는 의미가 없지않나요? RAM 에 들어온 데이터가 ZIL 에 write 가 일어나기 전단계에서 정전이 되면 어차피 데이터가 손실될 것 같은데요.
UPS 없이 쓰기 데이터 손실을 막으려면 모든 zpool 에 대해 sync always 세팅을 해야하는데...쓰기 퍼포먼스가 극악해질 것 같습니다.
추가로 iscsi 는 기본적으로 async 방식으로 동작한다고 하네요.
iscsi도 async가 기본이라니 처음 알았네요...
그런데 기본적으로 zpool 생성하면 바꾸지 않는 한 sync 상태입니다
아랫분도 말씀하시기로는 zil에 sync하면 쓰기 속도가 극악일거라 하시는데... 흠.. 저는 그냥 HDD로 zpool 만들어도 몇 Gbps 정도는 커버하더라고요
10 Gbps 이상으로 가려면 SSD나 옵테인같은걸 SLOG로 달아줘야겠지만.
제가 본 끝판왕 SLOG 장치는 이겁니다
https://www.ebay.com/itm/Microsemi-NV-1616-EMC-16GB-DDR-MN-NVRAM-1616-Card/254346621402?hash=item3b383d71da:g:as8AAOSwxuNdaSUd
stripe size나 압축여부 같은 파라미터 셋팅이 덜 된건 아닌지...
여튼 그냥 sync로 써도 다른 파일시스템보다 느리거다 못쓸 물건은 아니라 생각됩니다
파편화 문제가 골치아파지긴 하지만...
저 콘트롤러에서는 ZFS 못쓴다고 보면 됩니다. ZFS 쓰고 싶으면 HBA로 바꾸는게...
그리고 데이터 안정성을 위해 zil 쓰는데 그러면 쓰기속도 100메가도 안나올겁니다. 완전 헬인데 대용량 같은거는 시간 너무 오래걸려서 답답할겁니다.
그리고 솔라이스 계열에서 ZFS 써야하는데 리눅스에 올라간 ZFS는 이슈리스트 몇개만 봐도 도저히 쓸게 못됩니다.
ZFS 전부 UI로 콘트롤 할수 있고 일부 FC 타겟 모드와 초기 기본설정 및 다운로드 할때 명령어만 메모해도 관리하는데 어렵지 않을겁니다.
리눅스만 아니면 어느걸 써도 무방하지 않나 생각합니다.
공부해야 할게 많네요...