안녕Ȣ16;세요 연구실에서 운용할 NAS를 구축Ȣ16;/140;고Ȣ16;lj16;데요 영상데1060;터들1060; ᅔ1;1109;7176; 많아 용량1012; 가능한 크,172; 1105;아야 Ȣ16;lj16; 상황1077;니다 1648;금까1648;lj16; 1228;가 개1064;1201;1004;/196; 1665;에 구축한 헤놀/196;1648; 홈서버를 1060;용했었lj16;데 1060;1232; 규모가 커1648;고 운용에 Ǻ12;/140;움1060; 1080;Ǻ12;서 완1204;7176; 시스템1012; 상위버1204;1004;/196; 새/196; 구축Ȣ16;/140;고합니다
 
그런데 구축Ȣ16;/140;고보니 비용1060; 생각보다 만만치 않더라고요.... 1200;lj16; 여기에 계속 1080;1012; 1077;1109;1060;아니라 처1020;에lj16; 유1648;보수 쉽,172; 업체에서 서버를 1452;문Ȣ16;,144;나 클라우드를 Ǹ16;/140;니 가ᅄ1;1060; 상상초월1060;고 시놀/196;1648;나 Qnapመ1;에서 나온 완1228;품 NAS를 사1088;니 1060;,163;도 가ᅄ1;대비 사양1060; 영 마1020;에 안들더라구요... 데1060;터크기가 크기1064;1648;라 내ǥ12;ኖ1;1008; 1204;ǥ12; 10gbps/196; 구축해서 사용예1221;1064;데 아톰1060;나 셀러론1221;도/196;lj16;... 1228;가 1665;에서 운영해보니 한명도 버,144;워Ȣ16;lj16;,172; 보여서 1665;도 i3 10105를 올/140;서 Ǹ16;고1080;lj16; 상황1060;,144;든요
 
그래서 생각1012; 해보니 구축만.104;고 초0152; 트러블슈ᔚ1;과1221;만 ,144;치면 향후 운용에lj16; 큰 1648;식1060;없Ǻ12;도 운영1060; 가능한,163; 같더라구요 그래서 완1204;7176; ǥ12;품들1012; 다 사서 1088;체1201;1004;/196; 구축1012; Ȣ16;/140;고Ȣ16;lj16;데요 1228;계획1008; i5 + 64gb ǖ16;에 메1064;보드 sata8개 .104;lj16;,152; 구비해서 16TB 8개를 꽂고 M.2 SSD 들1012; 추가해 캐시0143; os디스크/196; 활용할 계획1060;였습니다 OSlj16; 트루나스올릴 계획1060;였구요 
 
그런데 문1228;가....1228;가 헤놀/196;1648;랑 공유기1221;도만 해보고 트루나스lj16; 처1020;1004;/196; 시도Ȣ16;lj16;,144;라 Ǻ12;떻,172; 구성1060; .112;1648; 감1060; 안1105;혀서요 ZFSlj16; /112;1060;드가 Ǻ12;떻,172; 구성1060;.104;나요? 위 내용처/100; 총 128TB구성1012;Ȣ16;면 실1228;/196; 활용할수1080;lj16; 공간1060; Ǻ12;lj12;1221;도/196; 1105;7176;,172; .104;lj16;,148;가요?
그리고 원래 서버ǥ12;품들1012; Ǹ16;/140;다가 가성비가 영엉ኖ1;1060;라 1068;0152; 데스크탑 1228;품들/196; 꾸리/140;니 sata포트가 1328; 모1088;란 감1060;없1094;아 1080;더라구요...앞1004;/196; 데1060;터가 계속 늘Ǻ12;DŽ16;,144;라 확1109;도해야.104;고 기본1201;1064; 용량도 최대한 많1060; 쌓아놔야Ȣ16;lj16;데 pcie에 sata확1109;카드를 붙1060;/140;니 안1221;성과 성능1060; 1032;심.104;고... sas/112;1060;드카드를 꽂1004;/140;니 호환1060; .104;lj16;,148;1648; 모르,192;습니다...운용ᅆ1;험도없고..ㅠ 그래서 Ǻ12;차피 케1060;스도 1068;0152; 데스크탑 케1060;스 (T900)1012; 활용할계획1060;라 Ȣ16;드 ᆨ1;겨넣Ǻ12;봐야 10개1060;니 외ǥ12;에 DAS/196; 썬더볼트 연결1012; 시Ȗ12;lj16;,163;도 생각1012; Ȣ16;고1080;lj16;데 1060;런ᅆ1;우lj16; OS에서 Ǻ12;떻,172; 1064;식Ȣ16;lj16;1648;도 1096;모르고... Ǻ12;떻,172; Ȣ16;면 1339;1012;까요?
 
그리고...무Ꮗ1;보다... 위 내용처/100; 1088;체1201;1004;/196; 1228;1089;해서 굴/160;1012;ǐ12; 7136;....문1228;가 생길1068;1060; 많1012;까요?... ㅠ 1228;가 1068;단 1088;체1228;1089;1004;/196; 1656;문1012; 드리긴했1648;만 1088;체1228;1089;1060;아니여도.104;니 100TB~1060;상급1032; 스토리1648; 서버를 구축할수1080;lj16; 0169;법1060; 1080;다면 알/140;1452;시면 1221;말 감사합니다!
데이터 안정성이 중요하시면 가급적 정품 사용이 편합니다 기술지원 부분도 무시하기 어려운 조건 이거든요
아직까지 엔터 시장에서 시놀은 듣보잡(?) 수준의 취급입니다
비용은 회사가 감당해야할 몫이지, 너무 비싸다고 해서 본인의 노다가를 투여해야할 상황은 아닙니다.
사제로 만들어 놓으면 나중에 직장을 그만두어도 "당신이 만들었으니 당신이 책임지라"는 오물을 뒤집어 쓰게 됩니다.
그런 곳의 제품이나
스토리지 전문기업인 EMC /NetApp 같은 곳의 제품도 있습니다..
보통 큰 대기업이나 은행권 같은 곳에서 사용합니다..
문제는 가격이죠..
스토리지를 구축하시는데 어떤 인터페이스 방식을 사용하실 것인지 다른 말로 하면 어떤 방식의 스토리지를 사용할 것인지부터 시작하셔야 할 듯 하네요..
스토리지는 DAS /NAS /SAN 으로 크게 분류합니다..
이런 것 원하시는군요..
트루네트워크 라는 회사에 가능한지 문의해보세요..
100G 네트웍도 스토리지 용량에 따라서 느려 보일 수도 있습니다..
이후 어떤 카드를 써서 디스크 개수를 확장할껀지 사용할 솔루션을 정해서 호환되는 목록을 확인해서 정해주세요
썬더볼트는 지원되는 OS만 되므로 지원 유무랑 지원되는 칩셋 종류 반드시 확인해주세요 (거기다 시퓨의 세대랑 세트로 따라가므로 자유도가 꽤 떨어집니다) (차라리 광으로 연결하는걸 고려해보세요)
여기까지 정하셨다면 필요한 카드를 전부 장착 가능하고, 필요한 확장성과 NIC등의 확장성을 전부 충족했을떄 필요한 PCIe Lane을 확인해서 병목까지 정해서 보드를 정하시고, 필요한 성능과 호환되는 시퓨를 정해주세요
시퓨, 보드, 디스크, 확장카드, 파워, 케이스까지 정해졌으니 남은건 램용량정도니 이건 예산을 고려해서 적당히 달아주세요 (나중에 쉽게 확장 되는 부분이니 운영하면서 정해도 됩니다)
대충 간략하게 나열해봤는데 간단한 작업이 아니므로 소규모로 할게 아니라면 그냥 벤더제 사는게 맘 편해요
자체 제작했을때 문제점이라면 아무런 보증이 없고, 구축부터 삽질의 연속이란점입니다
물른 벤더제 Storage를 구매해서 디스크를 달아서 구축하면 직접 구축하는것보단 비싸게 먹힙니다
문제없이 성공하시기를 기원합니다..
다만 Cache용 NVMe + 디스크 확장카드 + 10기가를 다 달꺼라면 구조상 병목이 매우 심해지므로 Z + i로는 문제가 될껍니다 (스레빠나 에픽같은 익스트림 고려해보세요)
물론 새 하드디스크 이지요..
x8 2개에 디스크 확장 카드 다 꽃아버리고나서, x4에 NVMe-PCIe 변환 젠더로 억지로 신호 끌어내서 10G 물린다고 쳐도 나머진 전부 x4 1개를 나누어서 쓰게 됩니다
CPU 성능은 거기까지 필요가 없는데 (i7정도면 충분히 감당합니다), 문제는 PCIe Lane이죠
10기가로 하고, NVMe 몇개 꽃고, RAID 2어개 꽃을려면 메인스트림으론 감당이 안 되요
CPU 1 (x8) : 10G
CPU 2 (x8) : RAID
CPU 3 (NVMe) : NVMe
PCH 1 (NVMe) : NVMe
이런식이 되겠네요 (어차피 모든 장치가 상시 100% 대역폭을 쓰는게 아니니 PCH쪽 남은 슬롯에 조금 더 뭔가 물릴 여력은 있습니다)
흑은 CPU 1에 NVMe 2개를 물리고, CPU 3을 NVMe-PCIe 변환하거나, PCH 확장 슬롯에 10G 물려서 정확하게 나누어 떨어지게 할당한다는 선택지도 있습니다 (CPU가 총 20/PCH가 4를 중복 할당하는거니 여러 조합이 있습니다)
어차피 확장카드 다실꺼라면 확장카드를 CPU의 직결 Lane에 꽃은게 PCH전체보다도 대역폭이 넓으니 이쪽에 디스크를 더 꽃아주세요
온보드 8개인 경우 아마 6개가 PCH 기본 제공이고, 2개는 ASMedia같은곳의 칩셋 써서 늘리거나, PCIe 슬롯 개수 줄여서 추가 대역폭을 확보해서 개수를 늘린걸껍니다 (전자가 많음)
그런 구조에서 중복 피할려면 x16의 대역폭을 8/4/4로 나누어서 NVMe 2개 장착(예산 더 들어감)하던지 해야겠네요
Host의 OS정돈 어차피 디스크 성능 중요하지 않으니 남은 아무 SATA 포트에 SSD 2개 꽃아서 RAID1이라도 해두세요
아니면 풀 플래쉬 스토리지 솔류션이 되어야 할지도..
100TB 데이터 포토샵으로 하나하나 수정할 껀가요??
아니면 제온이나 스레빠/에픽 가시면 ECC 됩니다
원래 중요도 높은 자료를 다룰꺼라면 ZFS 상관없이 ECC가 추천되고, ZFS는 ECC가 더 강하게 추천되는 경향이 있습니다
정전이야 UPS 단다고 쳐도 일반 데탑을 파워 2,3중화 하긴 힘드니까요
ATX 파워에서는 하드 많이 다는게 한계가 있어서 답이 없고요..
리던던트 파워 밖에 답이 없습니다..
슈마 745 /747 케이스 구하면 (현재는 케이스만 팔지 않습니다..) 핫스압 8베이 솔류션으로 리던던트 시스템 가능합니다..
PC에 장롱짝이나 반 장롱짝만한 외장 DAS 스토리지를 붙이는 방법도 어느 정도 될 듯합니다..
PC는 꺼지더라도 대형 외장 DAS 스토리지는 보통 거의 모든 것을 이중화 하니까요..
그 외는 다 스토리지 서버 류라고 봐야 하고요..
그러나 위에 적은 것들은 현재 나오는 일반 PC 들보다는 소음이 있기에 쉬운 선택은 아닐 것입니다..
돈 문제도 있고요..
100테라정도면 10개도 될까말까한지라 그나마 ATX라도 버티긴할껍니다 (12V는 안 모잘라니 패스하고, 5V도 10개정돈 어떻게든 될껍니다)
그런 케이스랑 파워 단품으로 사긴 힘드니 케이스를 좀 작은걸로 하고, 디스크만 외부로 뺴서 SAS같은걸로 물려야할꺼같네요
10G나 40G 네트워크로 구성한다면 성능도 나쁘지 않고 대용량은 뭐 디스크가 얼마나 받쳐주냐에 달려 있기에...
보통 듀얼파워인데 하나는 UPS 달고 하나는 직결하고 하면 정전에도 보호는 될거 같네요.
소프트레이드의 강점은 메모리를 읽기캐쉬로 쓸수 있어서 동시접속 IO가 있어도 디스크 부하에 부담이 없다는 강점이 있습니다.
하드웨어 레이드처럼 RAID5(RAIDZ) 하면 안되고 1+0으로 계속 확장하며 사용해야 안정적이고 속도도 괜찮습니다.(소프트레이드는 무조건1+0)
오픈솔라리스부터 ZFS 쭉 써왔는데 확실히 TrueNAS가 좋긴 하더라구요.
TrueNAS 잘만 사용하면 고가 스토리지 안부럽습니다.
R730xd 18테라 풀로 채우고 10 구성하면 90TB 정도는 나올거 같네요. 디스크는 무조건 SAS.
TrueNAS는 벤더 서버로 구성하는게 제일 안정적이며 엥간한 호환성 이슈도 없기에 조립해서 할 생각은 버리세요.
질문해도 어느 나라냐 그 나라에 무슨 무슨 우리 하드 총판이 있으니 거기서 견적받아라 합니다..
그리고 MOQ가 있기에 느낌상 최소1000개 정도 구매하지 않으면 답이 안나옵니다..
그 외 사용하다가 고장이 나면 해외 공장으로 RMA를 보내야 하는데 이거 패킹 운송비 수출입 관련 등등 모든 것을 다 알아야 할 수 있습니다..
RMA 기간은 대략 2달 이상 걸릴겁니다.. 요즘 다들 공장 사정이 안좋아서요..RMA 해서 받아도 새것 안 줍니다.. 고쳐서 보내주죠..
하드는 개인이면 다나와나 대형 쇼핑몰에서 구매하는게 그나마 싸고 기업이면 총판이나 하드 리셀러에게 견적 받아야 합니다..
요즘 환율 때문에 아마 계속 가격이 올라갈 겁니다..
100TB 해봐야 하드 10개도 안됩니다
견적받고 그런게 필요하시면 총판에 문의 해보시면 견적도 드릴겁니다
시게이트 수입원 : 피씨디렉트 대원
WD (구 히타치 포함) 수입원 : 레안텍
그 외도 여러 회사들이 있기는 합니다..
대형 쇼핑몰인 컴퓨존이나 조이젠 같은 곳이 그나마 안전합니다..
개인등록도 되고 기업등록도 되며 기업등록하면 계산서 발행도 깔끔합니다..
사실 돈 따라서 갑니다 ㅎㅎ
12V는 주로 플레터를 돌리는데 사용되고 5V는 주로 기판의 전자회로가 동작하는데 사용됩니다..
문제는 다나와에서 보이는 일반 ATX 파워가 5V /3.3V 가 25A가 대부분이고 어느 정도 여유있게 하드를 돌릴려면 30A급이 되어야 하는데
이런 파워는 제품도 몇 개 없고 가격도 비쌉니다..
15년전만 해도 5V/3.3V 가 30A급 파워는 꽤 나왔었는데 그 때는 GPU가 발달하지 않아서 12V가 많이 사용되지 않았던 때였고
요즘은 거의 모든 파워의 자원이 GPU와 CPU로 가기에 12V만 왕창 커지고 5V/3.3V 는 용량이 작아졌습니다..
컴퓨터는 파워가 좋고 용량이 넉넉해야 별탈 없이 오래 사용합니다..
개인적으로 저는 서버용 파워 몇 회사 제품 외에는 믿지를 않습니다만..(서버용 파워는 일반 시장에서는 보기 힘듭니다..)
직접 조립한다고 하니 파워를 신중하게 고르세요..
ecc issue는 아래 글을 참고하세요.
https://www.truenas.com/community/threads/ecc-vs-non-ecc-ram-and-zfs.15449/
HA는....예산이 되면 생각해보세요 (최대 1대 더 있어야 하니 예산이 팍팍 늘어남)
HDD만 신품으로 넣으셔서 맞추시면 가성비는 나올듯 합니다.
학교연구실은 벤더사 넣으려면 공급루트가 좀 되는것 같아서 비용이 생각보다 더 들듯합니다.
학교 구매팀에서 승인이 안나면 답이 안나옵니다..
특히나 중고는 거의 승인이 안나는 것으로 알고 있습니다..
재대로 된 레이드용 SAS 케이블은 몇가지 없고 가격도 꽤 됩니다..
LSI 는 정품 파는 곳이 거의 없습니다.. LSI가 OEM을 주로 하기 때문이기도 합니다..
스토리지를 구성하면서 재일 골치 아픈게 케이블입니다..
종류도 여러가지이고 가격도 여러가지 이지만 일반적인 케이블은 잘 없고요.. 보통 시스템이나 베어본에 튜닝되어 들어가는 것이라 쉽지 않습니다..
부품 다 이상없이 썼는데 속도도 안나오고 에러가 많고 이러면 십중 팔구 케이블 문제입니다..
http://www.raidmall.com/
아답텍 국내총판인 엔디코에서 운영하는 쇼핑몰입니다..
아답텍 정품 케이블이 품질이 좋습니다..
그 외 리테일로 품질이 인증된 SAS 케이블이 거의 없을 겁니다..
쇼핑몰 가격과 이베이 / 알리의 중고 가격과 비교하면 헉 하실 겁니다..
몽땅 때려 넣으세요..
그리고 레이드 구성합니다. RaidZ2 로
그러면
레이드 6 처럼 비슷한데..
성능과 안정성이 거의 최고입니다.
메모리 많이 넣어줘야 되요... 그 메모리를 Cache로 사용합니다.
CPU도 좋은거 넣어주세요..
그러면 지가 거대한 레이드 컨트롤러가 됩니다. (12코어 정도 주세요.)
서버 전체가 거대한 레이드 컨트롤러로 변신됩니다..
시놀리지나.. 윈도우 NTFS 이런거하곤 비교하면 않되요..
거지같은 것들 과 비교하면 않되죠..
과거 2cpu zfs 글들에서 보면 iops를 위해서 raid10을 하는게 좋다고 하는데...
1개의 풀을 raidz2 1개만 있어도 iops가 괜찮나요???
아니면 1개의 풀을 raidz2 여러개 넣는게 나을까요??
램 아무리 커봐야 SSD만큼 대용량 달긴 힘드니 케쉬 구조가 다층이면 성능 향상 있죠
Sun Microsystem의 유작
zfs :: 제타파일시스템 입니다.
Ethernet은
10G 도 넣어주시고. ..,.,.,
~~ Action !! ~~
SATA 하드는 6G 로 제한이 걸려있어 성능이 않나오니
꼭
SAS로 해야 합니다.
SAS는 12Gbps 가 있습니다.