댕댕이이전 글
1편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=1463301&qstr=
2편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=1467652&qstr=
3편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=1470157&qstr=
4편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=1470242&qstr=
5편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=hardware_2014&wr_id=45349&qstr=
6편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=hardware_2014&wr_id=45350&qstr=
7편 : https://www.2cpu.co.kr/bbs/new_view.php?bo_table=hardware_2014&wr_id=45355&qstr=
8편 : https://www.2cpu.co.kr/hardware_2014/45359
보드는 테스트 해본 결과
중국산 보드 특유의 usb 3.0 프리징 문제도 전혀 없었고 슬립모드도 잘 작동합니다.
내장 sata 컨트롤러가 CPU 직결이라 그런지 성능이 아주 뛰어납니다.
칩셋 DMI레인에 대역폭이 구속되지 않습니다.
전체적인 퀄리티는 상당히 훌륭한 편이며 셀러가 무상보증 5년을 자신 있게 주장하는데 납득이 갈만합니다. 근데 과연 해줄지가 의문이긴 합니다..
올코어 터보 속도가 2.4ghz 풀로 돌아갑니다. 다만 전력이 딸리는지 몇번 돌리면 x23 배수 2.3Ghz로 떨어지네요.
이전에 바이오스 설정이 아주 상세하다고 했는데 그냥 막 만든 것 같진 않고 세세한 옵션들이 모두 적용되는 것 같습니다.
pcie bifurcation 설정도 보드 포트 구성대로 제대로 나와 있습니다.
특이한 점은 바이오스에 리얼텍 랜 비활성화 옵션이 아무리 찾아도 없습니다.
그리고 인텔 랜 PXE롬이 바이오스에 내장되어 있습니다.
쿨러 속도 옵션이 4pin 2개 모두 정상작동 합니다. 중국산 보드 중에 이게 잘 작동하는게 화난지 빼고는 드뭅니다. 저는 메뉴얼모드로 37.5% 고정으로 두었는데 조용하고 좋네요.
처음 전원을 켰을때 7세그먼트가 100프로가 될 때까지 모든 쿨러가 100프로 풀스피드로 도는데 마치 밴더 서버처럼 작동하는 느낌이 듭니다.
단점은 온도 모니터링이 제대로 안 됩니다. esxi에서는 당연한거고 윈도우에서도 cpu 온도만 제대로 나오는 것 같습니다.
성능은 저번 2편 https://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=1467652&qstr= 에서 다루었다시피
에.. 뭐 남아돌져 그냥
온도: 59인데 방 온도가 10도 수준이라(추위 전혀 안탐) 여름에 제대로 측정해봐야 합니다.
소비전력: 풀로드시: 60w 아이들시: 13w (cpu만)
다른 장치들 전혀 안 끼고 깡통 보드만 가지고 측정한 결과 입니다.
소비전력계가 없어서 정확히는 모르겠습니다.
esxi 7 설치 후 일주일 정도 굴려본 결과
아직 기존에 굴러가고 있는 서버들을 이전하진 않았습니다.
아직 zfs COW용 zil이 없어서 비동기 상태라 이것저것 올려서 테스트만 해봤습니다.
상당히 조용해서 만족스럽습니다. 역시 이것이 녹투아의 위력..
문제는 오히려 하드가 더 시끄럽습니다.
WD 블랙 하드가 속도가 빨라서 만족스럽긴 한데 소음이 생각보다 크네요.. 공진음은 고무링 써서 그렇다고 해도
특유의 틱틱하는 긁는 소리가 상당히 거슬립니다. 가끔씩 끼이잉 하는 소리가 들리는데 찾아보니까 하드 이상은 아니고 WD 블랙 특성인 것 같습니다.
발열은 CPU 자체가 저전력 설계라 그런지 그리 뜨겁진 않은 것 같습니다.
다만 CPU 쿨러가 플라워형 쿨러라 그런지 뒤로 열을 발산해야 하는데 그렇지 못한 것 같습니다.
그렇다고 2U 블로워형 쿨러로 바꾸기엔 시끄러운 건 질색이라(..)
지금은 온도가 높지 않아서 괜찮은데 여름에 더워지면 백패널을 빼서 열을 빼내야 할 것 같습니다.
esxi는 ipmi가 있어야 온도 모니터링이 되는데 업그레이드 된 버전은 aspeed 2400 BMC 칩이 있으니 온도 모니터링도 가능할 것 같습니다.
(업그레이드 된 버전을 사야하는 이유 +1)
esxi 7 설치 후 sata 컨트롤러 패스스루해서 omnios에 napp-it으로 zfs 스토리지 풀 만들었습니다.
다만 처음에 esxi 설치 후 패스스루 디바이스 목록에 sata 컨트롤러가 안 보여서 당황했는데
찾아보니 제온 D 시리즈가 sata 컨트롤러가 CPU 직결이라 생기는 문제더군요.
칩셋 사우스브리지에 sata가 연결되는 일반적인 보드들은 위의 문제가 없습니다.
https://www.kaperschip.nl/2016/08/ahci-controller-passthrough-with.html?m=1
암튼 이 링크 대로 vi로 장치 추가해주고 reboot하니 잘 뜹니다.
어째서 인지 AMD sata 컨트롤러가 있습니다.
아무튼 수정해준 뒤 리부팅하면 잘 뜹니다.
omnios 설치하고
램 64기가 중에 무려 48기가를 여기에다 할당했습니다.
스토리지 풀은 레이드 10으로 묶었습니다. 속도는 sync=disabled에서는 당연히 램이 많아서
nfs로 데스크탑에 마운트 했을 때 read 1000mb/s write 1000mb/s로 10g 대역폭 최대로 나오는데 큰 의미는 없고
sync=enabled 에서는 zil이 없어서 속도가 너무 처참해서 sync=disabled 상태에서 램 캐쉬 넘는 대용량 파일로 테스트 시
예상대로 read 1000mb/s write 300mb/s로 잘 나와줬습니다.
zil slog용으로 옵테인을 쓰려고 했는데 옵테인 가격이 진짜 비싸도 비싸도 너무 비싸네요..
마음 같아서는 옵테인 900P 낑가주고 싶지만.. 100기가에 10만원도 넘는 가격에 허걱해서
그냥 옵테인 32Gb짜리로 끼워줄 생각입니다. 근데 이것도 매물이 별로 없네요..
옵테인 32Gb짜리가 쓰기 290mb/s는 나와주니 사실 제일 적절한 놈이긴 합니다.
lz4 압축해서 500mb/s 정도 뽑아주면 좋겠네요 ㅎㅎ 코어가 많으니 가능할 것 같습니다.
아무튼 일주일 정도 쓰고 내린 결론은
중국산 보드지만 생각보다 준수한 퀄리티
홈서버 올인원 esxi 서버로 추천
깡통 버전은 비추
끝.
잘 읽고 갑니다~~
사진은 예전에 찍었는데 미루고 미루다가 이제야 몰아서 작성하네요 ^^
저는 자작랙, 4U 케이스, ESXi 사용중인데 고충 부분은 비슷하네요. ^^
호환성 뽑기운 기도하기 싫다면 디스크 컨트롤러는 내장이 진리죠 (덤으로 업데이트해도 지원 목록에서 사라질 가능성 매우 낮아서 구 하드웨어를 주구장창 써먹을 수 있음)
옵션롬은 아마 레이아웃 상관없이 동일 바이오스로 우리는거라 그런걸듯합니다
9900이랑 비슷한 수준이면 괜찮고 충분한 성능이지만, 싱글이 좀 아쉽네요 (나중에 윈10같은 무거운 게스트 올렸을때 체감 차이 남)
어차피 램 64기가밖에 안 다셨으니 그 코어 개수 다 써먹을만큼 게스트 올리기도 힘들어보이니 그런 규모라면 더더욱 코어 개수보다 클럭이 유리합니다
AMD SATA가 있는건 딱히 잉텔에만 설치 가능한게 아니고, 한때 AMD 서버 프로세서 꽤 잘 나갔기때문에 기존 데이터 남아있는걸로 추정되네요
디스크 케쉬 빠를수록 좋지만, HDD의 케쉬라면 딱히 그런 비싼넘 안 쓰고 저렴한 SATA SSD나 기컷해야 NVMe써도 별 차이 없습니다 (옵테인 써서 체감될려면 올 플레쉬 가야함)
바이오스에서 c state 기본값이 disabled 더군요.
디스크 컨트롤러는 내장이 진리라기엔 좀 그런게 제온 D 시리즈만 특이한 경우고
제온 e5를 포함해서 거의 대부분의 제품들이 마더보드 칩셋이 분리 되어있고 칩셋에서 sata가 연결되기 때문에
ZFS 스토리지에는 내장 sata 컨트롤러를 비권장합니다. 칩셋에서 공유 bus로 연결되기 때문에 내장 nic, 사운드카드 등이 bus를 공유해서 내장 sata 컨트롤러는 엑세스 타임이 늦고 대역폭에 제한이 있어서 스토로지 용으로는 적합하지 않습니다. 음 그런데 생각해보니 사양업 된 보드는 sas 컨트롤러가 칩셋이랑 연결된 것 같던데 이건 어떠려나 모르겠네요.. 칩셋 통합이라 괜찮으려나요.. IPMI도 궁금한데 이 참에 하나를 더..ㅋㅋ
호환성은 os로 HBA를 패스스루하기 때문에 상관없습니다. Esxi가 하드웨어 호환성이 유난히 빡빡하네요..
램은 이 보드가 64기가가 최대라 2CPU 정신에 어긋나지 않게 나름 풀뱅으로 채웠습니다 ㅎㅎ
규모는 꽤 큽니다. 제 기준으로 올인원으로 다 넣기엔 모자를 정도. 클럭이야 높으면 좋지만 전력소모가 문제라..
ZFS 스토리지에서 ZIL Slog는 캐시 용도가 아니라 COW가 목적이기 때문에 엑세스 타임이 중요합니다.
단순히 읽고 쓰기 속도가 빠른 Nvme 넣는다고 빨라지지 않습니다. Nvme도 램 캐시를 이용하기 때문에 정전시 데이터 손실 위험이 있어 진정한 synchronous write 라고 보기 어렵습니다. 엑세스 타임이 극단적으로 빠른 옵테인을 ZIL로 쓰면 동기쓰기에 아주 효과적입니다.
Esxi에서 NFS는 sync=always를 요구하기 때문에 스토리지 성능을 올리려면 옵테인은 필수적입니다.
올플레쉬라면 조금 신경써야할지 모르곘지만, 그 지연속도조차 RAID 헤쉬 연산으로 느려지는 지연에 비해 적은 수치입니다
ESXi 7대로 가면서 더 빡세지기도 했지만, 원래 좀 그런것 빡빡한 회사입니다
COW를 쓰는거라면 별 수 없네요....
제경우 그걸 채우기 위해 VM의 OS디스크는 전부 PCIe에 직결해둔 SSD에 들어있습니다 (HDD조차 직접 물리면 느리니 호스트를 하나 둬서 거기 다 몰빵해서 케쉬 적용되게 만든다음 그걸 공유해서 접근하는식으로 돌리고 있습니다)
사실 평범한 홈서버용으로는 내장 sata 컨트롤러로도 충분하죠.
제가 esxi 스토리지를 분리하려는 가장 큰 이유는 관리의 용이성 때문입니다.
vsan도 써봤는데 뭔가 어설프더라구요.
어차피 NFS/SMB정도만 제공하면 되다보니 딱히 대단한 무언가가 필요하지도 않으니까요
다만 램을 충분히 할당해서 케쉬로 쓸 수 있게 해놨을뿐입니다 (직접 HDD의 VMFS에 가상 디스크 만드는것보다 이게 횔씬 나은 성능 나옵니다)
덤으로 가상 디스크했을때는 파일 삭제해도 바로 용량이 안 돌아오거나해서 디스크 용량을 공유할떄 효율상 문제가 되는 경우도 있습니다
추신 1 : 어쩌다보니 삽질이 일상이 되버렸네요
추신 2 : 방금도 새로 삽질해서 EC2로 VPN/Socks 서버 새로 구축했네요 (기존에는 VPN 서비스 얻어서 썼는데, 요즘 저쪽 서버 상태가 영 꽝이라 새로 팜)