proxmox + portainer 로 여러 가상머신이나 도커/컨테이너를 다루기위해서

16코어 내외의 서버를 맞추려고 한달동안 고민했습니다. 여태까지 인텔 E5와 Opteron(지금은 Epyc)을 써본적이없어서

뭘로 갈까 계속 고민하다가 때마침 멜트다운/스펙트러 이슈도 터병母槁底한번 Epyc으로 가볼까 라고 행동하려는 순간

EPYC재고가 없어서 Threadripper로 가게 되었습니다.

사양은 

CPU : 1950X 16c32t 

RAM : Micron 8GB EUDIMM 2666Mhz * 8

SSD : SM961 256GB (proxmox / zpool 캐싱용)

HDD : HGST He8 8TB * 4

VGA : 1050 LP

Ethernet : x520-da2

지금은 만족하나 처음에 서버랙있는거 어떻게든 재활용하려고 메인보드를 랙에 넣기위해서 엄청나게 고생한것같습니다.

메인보드가 케이스안에 겨우들어가는 바람에 사타케이블을 연결할수가 없었습니다. 그래서 서버섀시를 일부 잘랐습니다.

만족스럽습니다.

하지만 다시는 이런짓 하기 싫네요

케이스가 2U라 스레드리퍼를 위한 쿨러가 오직 SP3(에픽)을 위한넘 밖에없어서 

스레드리퍼 발열을 받아줄지는 모르겠습니다만. 아직까지는 풀로드를 할일이 없어서 외부 공기를 잘 조절하는 쪽으로 가려고합니다.

조립테스트후 조립이 잘되는걸 확인

이제 닫아줍니다.

운영체제설치와 케이스 조립이 완료후 랙에 넣어줬습니다. 

그리고 IPMI가 없는관계로 Ethernet Over KVM을 싸게 업어와서 설치해줬씁니다.

해상도가 1280*1024 가 제한이라는게 걸리지만 그래도 1920*1080 입력이 되긴합니다. 마치 Dsub 17인치 모니터에 1920해상도 강제로 사용하면 뭉개지는 그런느낌으로..?

가끔 몇몇 컴퓨터가 1920으로 송출을 하여 사용못할줄 알앗는데 불편해도 사용은 가능하더군요..

현재 조립하고 1달정도 가지고 놀다가 갑자기 부팅이  안되는 상황이 발생했습니다.

부팅할때마다 이런스크린이 뜨길레 바이오스 업데이트 하고 나니 이제 탈없이 잘되더군요

스레드 리퍼를 1달동안 사용하면서 느낀점은

저는 kvm의 pci throughpass 를 사용하지않습니다만 리눅스 부팅 스크린보면 IOMMU에 문제가 있어서 modprobe가 해당 모듈을 미적재한다고 나옵니다. 그리고 IPMI나 vPro AMT가 없다보니까 스크린 조작은 어찌 하더라도 전원조작이 좀 힘듭니다. UPS의 원격 릴레이 기능으로 어떻게든 하고있습니다만 불편하네요

이것만 제외하면 성능좋고 가성비 좋은 서버인것같습니다. 코어도 16코어나 되고 다른 서버 시퓨에 비해서 클럭이 높다보니까 상황에따라서 24코어랑 비슷한것같습니다. 

이번에 10기가비트 네트워크 환경 구성하면서 10기가비트 라우터도 구매했는데 10기가비트 스위칭 회로가 없어서 좀 아쉬운 감이있습니다.

아마츄어인데 돈을 너무 많이 쓴거같습니다. 앞으로 좀 조사와 공부를 제대로 하면서 구매해야될것 같습니다.

과거로 돌아가서 라우터를 다시 살수있다면 미크로틱의

CCR1016-12s-1S 로 다시 가지않을까싶습니다. 개인적으로 미크로틱이 더편한거같고 가격도 더 저렴하네요..

그리고 우선 스위칭회로가 있으니..

서버를 조립하다보니 생각보다 시간이 너무 지체되서 선정리는 대충하고 나왔습니다.

나중에 시간이 생긴다면 선정리는 다시 할려고합니다. ㅠㅠ