댕댕이1060;1204; 글
1편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=1463301&qstr=
2편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=1467652&qstr=
3편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=1470157&qstr=
4편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=1470242&qstr=
5편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=hardware_2014&wr_id=45349&qstr=
6편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=hardware_2014&wr_id=45350&qstr=
7편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=hardware_2014&wr_id=45355&qstr=
8편 : https://www.2cpu.co.kr/hardware_2014/45359
보드lj16; 테스트 해본 결과 
1473;국산 보드 특유1032; usb 3.0 프리1669; 문1228;도 1204;혀 없었고 슬립모드도 1096; 1089;ᇼ1;합니다.
내1109; sata 컨트롤러가 CPU 1649;결1060;라 그런1648; 성능1060; 아1452; 뛰Ǻ12;납니다.
ᒤ1;셋 DMI/112;1064;에 대역폭1060; 구속.104;1648; 않습니다.
1204;체1201;1064; 퀄리티lj16; 상NJ17;7176; 훌륭한 편1060;며 셀러가 무상보1613; 5년1012; 1088;신 1080;,172; 1452;1109;Ȣ16;lj16;데 납ሖ1;1060; 갈만합니다. 근데 과연 해1460;1648;가 1032;문1060;긴 합니다..
올코Ǻ12; 터보 속도가 2.4ghz 풀/196; 돌아갑니다. 다만 1204;/141;1060; 딸리lj16;1648; ኧ1;번 돌리면 x23 0176;수 2.3Ghz/196; 떨Ǻ12;1648;네요.
1060;1204;에 0148;1060;오스 설1221;1060; 아1452; 상세Ȣ16;다고 했lj16;데 그냥 ኔ1; 만든 ,163; 같1652; 않고 세세한 Ꮢ1;션들1060; 모.160; 1201;용.104;lj16; ,163; 같습니다.
pcie bifurcation 설1221;도 보드 포트 구성대/196; 1228;대/196; 나와 1080;습니다.
특1060;한 1216;1008; 0148;1060;오스에 리얼ᓮ1; 랜 비활성화 Ꮢ1;션1060; 아무리 찾아도 없습니다.
그리고 1064;텔 랜 PXEǘ12;1060; 0148;1060;오스에 내1109;.104;Ǻ12; 1080;습니다. 
쿨러 속도 Ꮢ1;션1060; 4pin 2개 모.160; 1221;상1089;ᇼ1; 합니다. 1473;국산 보드 1473;에 1060;,172; 1096; 1089;ᇼ1;Ȣ16;lj16;,172; 화DŽ12;1648; 빼고lj16; 드ኺ1;니다. 1200;lj16; 메뉴얼모드/196; 37.5% 고1221;1004;/196; .160;었lj16;데 1312;용Ȣ16;고 1339;네요.
처1020; 1204;원1012; 켰1012;ǐ12; 7세그먼트가 100프/196;가 .112; ǐ12;까1648; 모든 쿨러가 100프/196; 풀스피드/196; 도lj16;데 마치 0180;더 서버처/100; 1089;ᇼ1;Ȣ16;lj16; lj12;-196;1060; Ǐ17;니다.
단1216;1008; 온도 모니터링1060; 1228;대/196; 안 .121;니다. esxi에서lj16; NJ17;연한,144;고 윈도우에서도 cpu 온도만 1228;대/196; 나오lj16; ,163; 같습니다.
성능1008; 1200;번 2편 https://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=1467652&qstr= 에서 다루었다시피
에.. 뭐 남아돌1256; 그냥
온도: 591064;데 0169; 온도가 10도 수1456;1060;라(추위 1204;혀 안탐) 여름에 1228;대/196; 측1221;해봐야 합니다. 
소비1204;/141;: 풀/196;드시: 60w 아1060;들시: 13w (cpu만)
다른 1109;치들 1204;혀 안 -180;고 ᅰ1;통 보드만 가1648;고 측1221;한 결과 1077;니다.
소비1204;/141;계가 없Ǻ12;서 1221;확7176;lj16; 모르,192;습니다.
esxi 7 설치 후 1068;1452;1068; 1221;도 굴/140;본 결과
아1649; 기1316;에 굴러가고 1080;lj16; 서버들1012; 1060;1204;Ȣ16;1652; 않았습니다.
아1649; zfs COW용 zil1060; 없Ǻ12;서 비ᇼ1;기 상태라 1060;,163;1200;,163; 올/140;서 테스트만 해봤습니다.
상NJ17;7176; 1312;용해서 만1313;스/101;습니다. 역시 1060;,163;1060; 녹투아1032; 위/141;..
문1228;lj16; 오7176;/140; Ȣ16;드가 더 시-124;/101;습니다.
WD 블ቜ1; Ȣ16;드가 속도가 빨라서 만1313;스/101;긴 한데 소1020;1060; 생각보다 크네요.. 공1652;1020;1008; 고무링 써서 그/111;다고 해도
특유1032; ᔘ1;ᔘ1;Ȣ16;lj16; 긁lj16; 소리가 상NJ17;7176; ,144;슬립니다. 가-140;씩 -180;1060;1081; Ȣ16;lj16; 소리가 들리lj16;데 찾아보니까 Ȣ16;드 1060;상1008; 아니고 WD 블ቜ1; 특성1064; ,163; 같습니다.
0156;열1008; CPU 1088;체가 1200;1204;/141; 설계라 그런1648; 그리 뜨,161;1652; 않1008; ,163; 같습니다.
다만 CPU 쿨러가 플라워형 쿨러라 그런1648; 뒤/196; 열1012; 0156;산해야 Ȣ16;lj16;데 그/111;1648; 못한 ,163; 같습니다. 
그/111;다고 2U 블/196;워형 쿨러/196; 0148;꾸기엔 시-124;러운 ,148; 1656;색1060;라(..)
1648;금1008; 온도가 높1648; 않아서 ƻ16;찮1008;데 여름에 더워1648;면 0177;패널1012; 빼서 열1012; 빼내야 할 ,163; 같습니다.
esxilj16; ipmi가 1080;Ǻ12;야 온도 모니터링1060; .104;lj16;데 업그/112;1060;드 .108; 버1204;1008; aspeed 2400 BMC ᒤ1;1060; 1080;1004;니 온도 모니터링도 가능할 ,163; 같습니다.
(업그/112;1060;드 .108; 버1204;1012; 사야Ȣ16;lj16; 1060;유 +1)
esxi 7 설치 후 sata 컨트롤러 패스스루해서 omnios에 napp-it1004;/196; zfs 스토리1648; 풀 만들었습니다.
다만 처1020;에 esxi 설치 후 패스스루 디0148;1060;스 목/197;에 sata 컨트롤러가 안 보여서 NJ17;황했lj16;데
찾아보니 1228;온 D 시리1592;가 sata 컨트롤러가 CPU 1649;결1060;라 생기lj16; 문1228;더군요.
ᒤ1;셋 사우스브리1648;에 sata가 연결.104;lj16; 1068;0152;1201;1064; 보드들1008; 위1032; 문1228;가 없습니다.
https://www.kaperschip.nl/2016/08/ahci-controller-passthrough-with.html?m=1
ǹ16;튼 1060; 링크 대/196; vi/196; 1109;치 추가해1452;고 rebootȢ16;니 1096; 뜹니다.
Ǻ12;1704;서 1064;1648; AMD sata 컨트롤러가 1080;습니다. 
아무튼 수1221;해1456; 뒤 리ǥ12;ᔚ1;Ȣ16;면 1096; 뜹니다.
omnios 설치Ȣ16;고
ǖ16; 64기가 1473;에 무/140; 48기가를 여기에다 할NJ17;했습니다.
스토리1648; 풀1008; /112;1060;드 101004;/196; 묶었습니다. 속도lj16; sync=disabled에서lj16; NJ17;연7176; ǖ16;1060; 많아서
nfs/196; 데스크탑에 마운트 했1012; ǐ12; read 1000mb/s write 1000mb/s/196; 10g 대역폭 최대/196; 나오lj16;데 큰 1032;0120;lj16; 없고
sync=enabled 에서lj16; zil1060; 없Ǻ12;서 속도가 너무 처참해서 sync=disabled 상태에서 ǖ16; 캐쉬 넘lj16; 대용량 파1068;/196; 테스트 시 
예상대/196;  read 1000mb/s write 300mb/s/196; 1096; 나와1500;습니다.
zil slog용1004;/196; Ꮢ1;테1064;1012; Ǹ16;/140;고 했lj16;데 Ꮢ1;테1064; 가ᅄ1;1060; 1652;1676; 비dz12;도 비dz12;도 너무 비dz12;네요..
마1020; 같아서lj16; Ꮢ1;테1064; 900P ᆨ1;가1452;고 dz10;1648;만.. 100기가에 10만원도 넘lj16; 가ᅄ1;에 허,145;해서
그냥 Ꮢ1;테1064; 32Gb1676;리/196; -180;워1460; 생각1077;니다. 근데 1060;,163;도 매물1060; 별/196; 없네요..
Ꮢ1;테1064; 32Gb1676;리가 Ǹ16;기 290mb/slj16; 나와1452;니 사실 1228;1068; 1201;1208;한 놈1060;긴 합니다.
lz4 ǹ17;축해서 500mb/s 1221;도 뽑아1452;면 1339;,192;네요 ㅎㅎ 코Ǻ12;가 많1004;니 가능할 ,163; 같습니다.
아무튼 1068;1452;1068; 1221;도 Ǹ16;고 내린 결론1008;
1473;국산 보드1648;만 생각보다 1456;수한 퀄리티 
홈서버 올1064;원 esxi 서버/196; 추천
ᅰ1;통 버1204;1008; 비추
-149;.
잘 읽고 갑니다~~
사진은 예전에 찍었는데 미루고 미루다가 이제야 몰아서 작성하네요 ^^
저는 자작랙, 4U 케이스, ESXi 사용중인데 고충 부분은 비슷하네요. ^^
호환성 뽑기운 기도하기 싫다면 디스크 컨트롤러는 내장이 진리죠 (덤으로 업데이트해도 지원 목록에서 사라질 가능성 매우 낮아서 구 하드웨어를 주구장창 써먹을 수 있음)
옵션롬은 아마 레이아웃 상관없이 동일 바이오스로 우리는거라 그런걸듯합니다
9900이랑 비슷한 수준이면 괜찮고 충분한 성능이지만, 싱글이 좀 아쉽네요 (나중에 윈10같은 무거운 게스트 올렸을때 체감 차이 남)
어차피 램 64기가밖에 안 다셨으니 그 코어 개수 다 써먹을만큼 게스트 올리기도 힘들어보이니 그런 규모라면 더더욱 코어 개수보다 클럭이 유리합니다
AMD SATA가 있는건 딱히 잉텔에만 설치 가능한게 아니고, 한때 AMD 서버 프로세서 꽤 잘 나갔기때문에 기존 데이터 남아있는걸로 추정되네요
디스크 케쉬 빠를수록 좋지만, HDD의 케쉬라면 딱히 그런 비싼넘 안 쓰고 저렴한 SATA SSD나 기컷해야 NVMe써도 별 차이 없습니다 (옵테인 써서 체감될려면 올 플레쉬 가야함)
바이오스에서 c state 기본값이 disabled 더군요.
디스크 컨트롤러는 내장이 진리라기엔 좀 그런게 제온 D 시리즈만 특이한 경우고
제온 e5를 포함해서 거의 대부분의 제품들이 마더보드 칩셋이 분리 되어있고 칩셋에서 sata가 연결되기 때문에
ZFS 스토리지에는 내장 sata 컨트롤러를 비권장합니다. 칩셋에서 공유 bus로 연결되기 때문에 내장 nic, 사운드카드 등이 bus를 공유해서 내장 sata 컨트롤러는 엑세스 타임이 늦고 대역폭에 제한이 있어서 스토로지 용으로는 적합하지 않습니다. 음 그런데 생각해보니 사양업 된 보드는 sas 컨트롤러가 칩셋이랑 연결된 것 같던데 이건 어떠려나 모르겠네요.. 칩셋 통합이라 괜찮으려나요.. IPMI도 궁금한데 이 참에 하나를 더..ㅋㅋ
호환성은 os로 HBA를 패스스루하기 때문에 상관없습니다. Esxi가 하드웨어 호환성이 유난히 빡빡하네요..
램은 이 보드가 64기가가 최대라 2CPU 정신에 어긋나지 않게 나름 풀뱅으로 채웠습니다 ㅎㅎ
규모는 꽤 큽니다. 제 기준으로 올인원으로 다 넣기엔 모자를 정도. 클럭이야 높으면 좋지만 전력소모가 문제라..
ZFS 스토리지에서 ZIL Slog는 캐시 용도가 아니라 COW가 목적이기 때문에 엑세스 타임이 중요합니다.
단순히 읽고 쓰기 속도가 빠른 Nvme 넣는다고 빨라지지 않습니다. Nvme도 램 캐시를 이용하기 때문에 정전시 데이터 손실 위험이 있어 진정한 synchronous write 라고 보기 어렵습니다. 엑세스 타임이 극단적으로 빠른 옵테인을 ZIL로 쓰면 동기쓰기에 아주 효과적입니다.
Esxi에서 NFS는 sync=always를 요구하기 때문에 스토리지 성능을 올리려면 옵테인은 필수적입니다.
올플레쉬라면 조금 신경써야할지 모르곘지만, 그 지연속도조차 RAID 헤쉬 연산으로 느려지는 지연에 비해 적은 수치입니다
ESXi 7대로 가면서 더 빡세지기도 했지만, 원래 좀 그런것 빡빡한 회사입니다
COW를 쓰는거라면 별 수 없네요....
제경우 그걸 채우기 위해 VM의 OS디스크는 전부 PCIe에 직결해둔 SSD에 들어있습니다 (HDD조차 직접 물리면 느리니 호스트를 하나 둬서 거기 다 몰빵해서 케쉬 적용되게 만든다음 그걸 공유해서 접근하는식으로 돌리고 있습니다)
사실 평범한 홈서버용으로는 내장 sata 컨트롤러로도 충분하죠.
제가 esxi 스토리지를 분리하려는 가장 큰 이유는 관리의 용이성 때문입니다.
vsan도 써봤는데 뭔가 어설프더라구요.
어차피 NFS/SMB정도만 제공하면 되다보니 딱히 대단한 무언가가 필요하지도 않으니까요
다만 램을 충분히 할당해서 케쉬로 쓸 수 있게 해놨을뿐입니다 (직접 HDD의 VMFS에 가상 디스크 만드는것보다 이게 횔씬 나은 성능 나옵니다)
덤으로 가상 디스크했을때는 파일 삭제해도 바로 용량이 안 돌아오거나해서 디스크 용량을 공유할떄 효율상 문제가 되는 경우도 있습니다
추신 1 : 어쩌다보니 삽질이 일상이 되버렸네요
추신 2 : 방금도 새로 삽질해서 EC2로 VPN/Socks 서버 새로 구축했네요 (기존에는 VPN 서비스 얻어서 썼는데, 요즘 저쪽 서버 상태가 영 꽝이라 새로 팜)