요새 트루나스에 관심이 가서 이것저것 찾아보는데 전혀 예상치 못한 것이 하나 있는데
그것은 윈도우와 달리 부팅디스크가 따로 필요하다는 점입니다.
TrueNAS 하드웨어 구성하기 - Bongtae's Lab
윈도우는 1개의 디스크 내에서 부팅파티션, 시스템 파티션이 갈려서 1개의 드라이브로 해결가능하지만
트루나스는 부팅파티션 따로 시스템파티션 따로 총 2개의 드라이브가 필요하더군요
덕분에 안정성을 위해서 RAID1로 묶으려면 4개의 드라이브가 필요한데 이는 참으로 낭비로 보입니다.
이것이 골치아프게 하는점은 보통 6베이짜리 케이스는 M-ATX, 8베이짜리 케이스는 ATX를 지원하는데
문제는 보통 SATA 포트 지원수량이 M-ATX 6포트, ATX는 8포트입니다.
케이스와 SATA 포트 수량이 1:1로 일치하는 상황이기에
SATA포트를 부팅 또는 시스템 디스크로 사용하기에는 곤란한 상황이 되어버립니다.
이에 대한 대안으로 다음과 같으나 전부다 단점을 가지고 있습니다.
1. SATA 확장카드를 이용하여 SATA 확보
간단히 ASMedia, JMicron, 마벨등의 칩을 이용한 SATA확장카드를 사용하여 SATA포트를 확보하는 방법이 있습니다.
지원하는 포트 수량 대비 사용하는 PCIE 레인이 적어서 병목에 걸리는 문제가 있습니다.
그나마 최신 칩셋인 ASMedia의 ASM1166은 6포트를 지원하나 PCIe 3.0 x2만을 사용합니다.
SATA3 6포트면 대역폭이 3.6GB/s가 필요한데 PCIe 3.0 x2면 2GB/s만을 지원하니 병목이 심합니다.
그리고 무엇보다 이들은 신뢰성이 낮아 불안정한 경향이 있어서 선택하기 꺼려집니다.
그렇다면 안정성이 검증되었고 중고가격도 저렴한 SAS2008계열 HBA카드를 사용하는 방법이 있는데
이것도 아쉬운 점이 있는것이 4포트 제품에서는 대역폭이 충분하나
8포트 제품을 사용하면 대역폭이 살짝 모자르고
(PCIE2.0 x8, 4GB/s, SATA 6.0 8포트, 총 4.8GB/s)
무엇보다 출시된지 오래되었기에 칩셋의 소비전력이 나름 높은 편이라는 점이 가장 아쉽습니다.
(LSI 9211-8i 기준, 아이들:6.4W, 풀로드: 14.63W)
24시간 가동하는 경우가 많은 NAS에서 6W~14W는 결코 적은량이 아니라고 생각하는데 상당히 아쉽더군요
2. M.2또는 PCIe 슬롯에 Nvme SSD를 장착하여 부팅디스크로 활용
SATA포트가 모자르다면 M.2슬롯이나 PCIe슬롯에 Nvme 드라이브를 활용하는 방법이 있습니다.
고가의 Nvme 드라이브를 사용해야 한다는 단점과
PCIe 슬롯을 활용하는경우 PCIe to M.2 어댑터를 추가로 구매해야하는 단점이 있으며
몇몇 CPU, 메인보드의 경우 PCIe 레인이 적어서 이마저도 어려울 수 있다는 단점이 있으고
무엇보다 단지 부팅디스크를 위해서 M.2 또는 PCIe 슬롯을 사용하여 확장성을 포기해야한다는 점이 매우 아쉽습니다.
3. USB 메모리를 부팅 디스크로 사용
부팅디스크 용량이 32기가면 충분하기에 저렴한 USB메모리를 부팅디스크로 사용하는 방법을 고려할 수도 있고
실제로 이렇게 사용하는 사람들도 있습니다.
하지만 USB메모리는 불안정한 저장매체이기에 안정성에서 의문이 가고
무엇보다 트루나스측에서도 권장하지 않는 방법이기에 꺼려집니다.
4. 부트디스크의 잔여용량 또는 캐쉬로 사용하는 SSD에 파티션을 생성하여 활용
1부트드라이브의 남는 공간에 파티션을 잡아서 사용하거나
비슷하게 캐쉬로 쓰는 SSD의 파티션을 쪼개서 시스템 드라이브로 사용하는 방법도 있긴 하지만
이는 공식적으로 지원되는 방법이 아니기에 메이저 업데이트를 하면 깨질 수 있다는 문제가 있습니다.
트루나스로 자작NAS를 만드는것도 시작부터 쉬워보이지는 않는군요
R/W가 빈번하게 일어나는 영역이라서 권장하지 않긴 합니다.
https://www.truenas.com/docs/core/coretutorials/systemconfiguration/settingthesystemdataset/
저도 작년에 마이크로서버 N36L을 TrueNAS로 되살리면서 부트풀 때문에 골머리를 좀 앓았는데. 결국은 가능한 SATA는 모두 데이터 핸들링에 활용하고.
PCIe 슬롯에 NVME SSD 남는거 얹어서 미러링 없이 올렸습니다.
원래 구형시스템이라 NVME부팅이 될리가 없지만, CloverEFI활용해서 USB로 점프해서 부팅 넘기는 식으로 처리 했습니다.
TrueNAS Scale 이라면 리눅스 환경이라서 CloverEFI없이도 USB에서 커널이미지 로딩 후 NVMe로 연결되도록 해서 처리도 가능할거고요.
캐쉬는 어차피 다량의 메모리를 가진 시스템 + 캐쉬가 효과적인 환경 아니라면 개인레벨에선 추천되지 않고, 실제로 저도 실험삼아 적용은 해봤지만 지금은 다 해제했습니다.
정확히는 약간의 요령을 부려서 부트풀을 작은 사이즈로 설치하고 (정규 설치로는 아직까지 부트풀은 선택만 하면 디스크 전체를 사용) 그 나머지 영역을 콘솔에서 캐쉬 영역으로 할당하는 방법일거 같네요. (부트풀이 sub가 아니라 메인, 트루나스 몇번 업데이트할때도 괜찮았습니다. TrueNAS Core입니다.)
어쨋든 제 짧은 생각에 이걸 제일 현명하게 해결하는 것은 USB 3.0 이상 지원되는 시스템 한정이지만 USB 메모리중 SSD컨트롤러를 쓴 녀석이나 아예 mSATA나 NVME 케이스로 USB로 물려서 설치 하는 것이고요. 정말 일반 USB메모리를 어쩔수 없이 활용해야 한다면 지속적인 부트풀 Write를 막도록 조절하거나 USB가 망가진다고 생각하고 그냥 쓰는 방법이 있습니다. (USB2개 이상 미러링 으로 망가지면 계속 교체하는 방법). 다운타임이 크게 무관한 개인환경이라면 아예 재설치 한다고 생각하고 콘피그레이션 백업만 열심히 하는 방법도 있습니다. 재설치후 적용하면 거의 뚝딱 원래 환경으로 복귀되더군요.
캐쉬는 정확하게 RAM과 SSD중 어느것을 의미하시는건지 알 수 있을까요?
물론 Write 는 쉽게 생각하는 Write랑은 다소 다르지만 그냥 개념샹으로만 잡기로 하죠.
NVNe를 2차 캐시 정로 쓰는건데 개인환경에서는 오히려 성능하락을 유발한다고 알려져 있습니다.
시놀로지 등의 캐쉬랑 비슷하지만 좀 다른데, 서버wide 1개 캐쉬로 되는게 아니라 데이터풀당 각각의 캐쉬가 필요합니다.
결국 캐쉬는 여러모로 개인이 쓰라고 만들어놓은건 아닌거 같아요.
덕분에 SSD 캐시용으로 구매한 U.2 SSD 2장은 ZFS를 쓰게되면 크게 쓸모가 없다는 결론 나오던데 낭비한거 같아서 약간 아쉽더군요
이번에 약간 변태스러운 장기 프로젝트 하나 시작하고 있는데...
mini PCIe 슬롯에 저렴이 m.2 넣어서 부팅으로 쓰려고 생각중입니다.
가끔 wifi 지원하는보드 혹은 지원하려고 슬롯 가진 녀석들이 있을텐데 여기 활용하는것도 방법일거 같네요.
AX211도 단자는 M.2가 맞긴하지만 일반M.2용은 AX210으로 제품이 따로 있어서 AX211을 뽑고 NVME SSD를 꼽아도 정상 사용이 될지는 모르겠군요
- M.2 NVMe에 최대 6포트 SATA카드를 쓴다 > 개인적으로 안정성에 의문, 칩셋들이 신뢰도가......
- 무선모듈용 M.2 포트 혹은 miniPCIe(최근엔 잘없음) 에 2포트 SATA카드를 쓴다 (칩셋이 컨슈머그레이드라도 숙성되어 신뢰가능한 것들)
과거 miniPCIe도 그랬지만 mSATA부터 WLAN, WWLAN, BT 를 가 한 단자 형식에서 지원하는 경우는 흔히 있었습니다.
mSATA, PCIe(WLAN or WWLAN), USB(BT) 를 한가지 이상 동시에 지원하기도 했습니다.
그래서 슬롯 전체 크기는 같은데 중간에 홈이 달라서 E Key니 B Key니 하는 구분으로 종류가 다른 디바이스를 꽂아서 망가지는 걸 방지하고 있습니다.
실제로 M.2 도 SATA 드라이브가 있고, NVMe와 동시에 지원하는 슬롯도 있고, 하나만 지원하는 슬롯도 있고 합니다.
제가 봤을때 CNVio는 기본적으로 PCIe를 기반으로 하면서 다른 단자를 통합한 걸로 보입니다. 무선이 이젠 워낙 고속이라서 PCIe가 필수거든요.
(예: WIFI+BT 콤보칩은 경우에 따라 PCIe+USB 구성이죠)
따라서 NAS 빌드할때 필요에 따라서 무선랜 모듈 제거하고 슬롯에 맞는 컨버터를 쓰거나 해당 슬롯 (Key형식) 에 맞는 SATA 모듈을 쓰면 충분히 추가 포트 구성이 가능할걸로 보입니다.
단 직결로 NVMe를 꽂진 못하실겁니다. PCIe x4 NVMe는 M key고 통신모듈쪽은 A, E, A+E 키로 슬롯상 홈이 달라서 바로 안꽂힙니다.
또 하나의 허들은 x4레인을 쓰는 NVMe가 원칙상으로는 x1만으로도 동작해야 겟지만.. .음.. 해봐야죠..
일단 한달 정도 내에 초 구형 시스템의 miniPCIe (x1레인이죠) 에 NVMe 드라이브를 붙여보긴 할겁니다.
E키 to M키 어댑터를 사다가 시험해봐야하는디 이것도 돈이 좀 나가서 쉽지는 않아보이네요
태생 자체가 엔터프라이즈 기업용입니다.
초기 구축 비용도 많이 듭니다. 시놀로지도 마찬가지 입니다만
본인이 유지관리 능력이 있다면 투루나스가 장점이 많습니다
개인적으로 100TB(14TB*8개)를 zraid2 로 구성하여
70TB 나름 대용량 저장소로 사용중입니다.
저전력 CPU를 구성해도 기본적으로 70~100 w 정도 소비됩니다.
24시간 돌릴경우 100khw 정도 소비됩니다. 1등 대형 냉장고 3대 정도 전기를 처묵 합니다.
가성비, 성능은 매우 좋습니다만...
누진세를 내면서 까지 24시간 운영하는게 투자대비 효율성이 좋지 못해서
부분 운영만 합니다.
언급하신대로 HDD기반의 NAS는 유휴상태라도 모터가 돌아가기이 소비전력을 많 먹어서 개인적으로는 Cold Data용으로 사용할 고용량, 저가격의 SSD가 얼른 대중화 됬으면 하는데 870 QVO 8T가격을 보면 어직 한참 멀었다라는 생각밖에 안드는군요
그래서 최대한 HDD를 적게 쓰려고 위에서 언급했듯이 SSD캐시용으로 U.2 SSD 2장을 구매했는데 이는 ZFS환경에서는 효과적이지 않아 돈낭비를 한 꼴밖에 안되어서 좀 속상하더군요
저는 추가 SATA 컨트롤러 사서 저용량 SSD를 부팅 용으로 사용중입니다. 부팅용 미디어는 백업 이미지를 만들어 놓습니다. 데이터 저장은 HDD를 사용하구요.
제 생각에는 데이터 하드만 따로있는 편이 하드가 고장나거나 용량 업글할때 좋다고 생각합니다.
ZFS 는 데이터 손상없이 용량 업그레이드가 되어서 정말 좋더군요. 올해 초에 1T 6개 -> 2T 6개로 업글했습니다.
설치시에 2개 선택하면 알아서 미러링 잡아주구요
예전 FreeNAS 시절에는 스왑파티션을 pool 에다 잡아서 디스크 슬립이 안되어서 스동으로 스왑 제거하고 어쩌고 했었는데 이번에 보니 부트디스크에 스왑 만들건지 물어보더라구요?
부트디스크에 스왑 만들면 pool 쪽은 스왑 파티션은 생성은 하는데 사용은 안해서 디스크 슬립도 잘 되더군요