안녕하세요,
항상 2cpu에 특이한 질문만 올리는 평범한 유저입니다 ^^;
이번에도 어김없이 용도를 알 수 없는 이상한 가상화 서버를 만들어 보려고 합니다.
지금 해당 돌리고자 하는 가상화 인스턴스를 좀 더 낮은 스팩에서 로드 테스팅중에 있습니다.
지금 테스트 서버는 E5-1607 V2 에서 코어 3-4를 써서 시퓨로드 90~95퍼센트를 쓰고 있습니다.
목표는 2cpu, 8~9gpu(singleslot), 64gb+, 그리고 초저가! 입니다.
위에서 테스트중인 인스턴스를 8개 올리는게 목표입니다.
서버에 내장 그래픽이 있으면 8pci-e면 되고 없으면 9pci-e가 필요합니다.
이 조건에 부합하는 서버가 매우 극한적이라 부품들은 거의 다 정해진듯 합니다만 시피유가 좀 난해합니다.
Server : HP Proliant ML350P Gen8 = $360
CPU : INTEL XEON E5-2670 x 2 = $144
RAM : (8x8GB) Samsung PC3L-10600R 2Rx4 REG RAM = $160
이렇게 대략 $770불 정도로 16코어 64긱 서버를 구상중인데 시피유에 좀 더 투자를 해서 성능을 끌어올릴 수 있을지 궁금합니다.
Intel Xeon E5-2687W 3.1GHz SR0KG = $300
or
Intel Xeon E5-2667v2 3.3GHz SR19W = $410
이 두가지를 염두 해 두고 있는 상황인데 2670에 비해 2배 이상 값을 내고 쓸만할지 궁금합니다.
또한 제가 모르는 ml350p를 대체할만한 서버가 있는지도 궁금합니다!!
랙 타입이여도 되고 아니여도 됩니다.
아, 좀 살짝 다른질문이긴 하지만 위에같은 상황일경우 가상화 인스턴스의 cpu 세팅을 어떻게 해야하는지 궁금합니다.
8개를 돌릴경우 각각의 인스턴스가 2core를 사용할수 있다는 계산이 되는데,
각 인스턴스별로 코어를 쪼개서 (2개씩) 개별 할당을 해주는게 좋은지,
인스턴스를 그룹으로 묶어서 (4개씩) 적절하게 할당해주는게 좋은지,
아님 모든 인스턴스가 모든 시피유(16개씩)를 쓰게 하는게 좋은지 궁금합니다!
오늘도 어김없이 고수님들의 고견 부탁드리겠습니다.
감사합니다.
가상화 환경은 KVM입니다
싱글슬롯 GPU라도 지정된 슬롯에만 사용할 수 있을 가능성이 높습니다.
이를테면 1,2번 슬롯 PCI는 15w~30w 둘 다 사용할 경우 15w
3,5번 슬롯에는 75w 이나 3,5번 동시 사용시 5번 슬롯에 75w 등 이렇게 세부적으로 나뉘어져 있을 가능성이 높습니다.
많은 GPU를 지원하는 서버보드는 흔치 않습니다. 주로 수퍼마이크로나 커스텀 서버에서 많이 쓰입니다. (기가바이트, 애즈락, 아수스 등 극극마이너 벤더)
기술사양을 자세히 훑어보심이 좋을거 같네요.
KVM에서 cache locality와 부하 분산을 생각하면 각 vCPU를 실제 CPU 코어에 맞게 대응하여 할당하는게 중요합니다.
결론적으로 CPU pinning을 하시는게 낫습니다.
어떤 어플리케이션에서 사용하실지는 모르나 4 vCPU (2코어2스레드)를 인스턴스마다 할당하실거 같은데
이때 실제 CPU와 하이퍼스레딩 CPU를 잘 파악하셔야 합니다.
(16코어 32스레드에서 보통은 0-7,16-23 가 실제 CPU일것이고 8-15,24-31가 하이퍼스레딩의 CPU일 것입니다.)
만약 사용하시려는 목적이 게임을 위한 인스턴스라면 윈도우에서 2코어 2스레드의 vCPU는 적합하지 않다 생각됩니다...
GPU의 경우 HD8570($20, uEFI 바이오스) 껴서 테스트중인데 20퍼센트도 사용하질 안습니다.
만약 게임을 위한 용도로 변경한다면 아마 4c8t + dual slot gpu 세팅으로 변경할듯싶습니만
지금 타게팅은 아주 기본적인 인터넷 서핑용으로 생각중이라 2c4t + hd8570으로도 충분할듯 싶습니다.
Pinning을 해서 이득이 되는 경우는
아주 특수한걸로 압니다
조언 감사드립니다.
특정 CPU 코어에서 작업중인 프로세스가 있을때 QEMU/Libvirt 프로세스가 사용중인 CPU 코어에서
해당 코어로 스위칭하면서 그 시간동안 끊김 현상이 발생할 수 있습니다.
실제로 저도 경험해 봤습니다... VM에 코어를 적게 할당할 경우 눈에 잘 띄지 않지만 많이 할당할 경우 충분히
일어날 수 있는 일이었습니다.
이것과 여기에 맞는 전용 샤시를 사용하면 대충 목적에는 부합이 됩니다..
문제는 GPU카드인데 이게 한 시스템에서 최대 몇개까지 동작보증을 하느냐 입니다..
GPU 카드(VGA카드)도 부팅시 옵션롬이 올라가는데 카드 종류중에서는 이게 재일 큰 것으로 알고 있습니다..
v3/v4지원보드라 우선 보드가격만으로도 위에 예산을 훌쩍 넘을듯한 포스를 풍겨주네요 ^^;
GPU카드에 동시보증 갯수가 있는건 처음알았네요
uefi 일경우 그냥 꼽는 족족 다 인식될줄 알았더니 그게 아닌가보군요.
지금 테스트 시스템에서는 2개를 동시에 돌려보고 있습니다.
테스트 시스템은 z420인데 부팅용 그래픽이 따로 있고 인스턴스용으로 hd8570을 2개 꼽아놨습니다.
2주넘게 로드테스팅중인데 멀쩡하긴하네요 ^^;
https://www.supermicro.com.tw/products/motherboard/Xeon/C600/X10DRX.cfm V3/V4
https://www.supermicro.com.tw/products/motherboard/Xeon/C620/X11DPX-T.cfm SC
이정도로 CPU에 따라 같은 레이아웃의 씨리즈가 있다고 보시면 됩니다..
저는 비디오카드보다는 레이드 카드 때문에 이쪽에 좀 민감합니다..
보통 아답텍 레이드 카드는 1개의 시스템에 최대 4개까지 가능하며 LSI 레이드 카드는 시스템이 허용하는데 까지라고 이야기 하지만
3개 혹은 플랫폼에 따라 4개 까지가 최대 갯수입니다.. (UEFI 말고 일반적인 바이오스 상태인 경우)
요즘 신형 시스템은 GPU를 최대 8개 내지 10개까지 꼽을수 있는 베어본들이 있긴 한데 이런 시스템들의 바이오스는 일반 시스템 바이오스와는
다르며 GPU 최적화에 튜닝되어 있다라고 보셔도 됩니다.. 그리고 제조사쪽에서 어떤 종류의 비디오카드가 호환성에 문제 없다 있다 라고
테스트 리포트 (호환성 테스트 리포트) 가 있어야 합니다.. 그게 있어도 실제 셋팅상 재대로 안되는 경우가 있을수 있기에 돈들어가고 고생이지만
꼭 전체적으로 테스트 해봐야 합니다..
구성중인 시스템이 년식이 좀 있는 서버임을 생각해보면 현실적으로 8gpu구성은 여러모로 어려울꺼라 생각하는게 편하겠군요
이럴경우 차라리 Z420을 두놈을 놓아서 맘 편하게 생각하는게 좋을수 있겠다라는 생각도 드네요
공간을 좀 더 차지하는거랑 서버 라이센스가 2배로 들어간다는 단점이 있겠지만 머리아플꺼 생각해보면 이게 맞는듯 싶습니다
로드 테스팅중인 Z420이 있으니 여기에 gpu만 추가해서 테스트 해보면 금방 답이 나오겠네요
ftp://ftp.tyan.com/img_barebones/FA77-B7119_b.jpg
이런 것들도 있지만 한 돈 합니다..
부하에 따라 자원을 늘리시는것이 좋습니다
단순히 GPU만 생각하자면 채굴보드!!
그래픽 12개까지 가능합니다.
물론 연결은 PCIE 1x로 작동하지만요
심지어 20way짜리 보드도 있습니다.
그런데 사용하시는 인스턴스가 PCIE 1x로 충분한지는 모르겠네요.
참고적으로 이때 쓰이는 라이저카드가 필요하시면 10개정도는 나눔가능합니다.
채굴보드들은 대부분 컨슈머 그레이드 칩셋과 싱글시피유만 존재해서 아쉽게도 후보에서 탈락하였습니다 ㅠㅠ
LENOVO Thinkstation D30
Dell Precision T7600, T7610, T5610, T5600
HP Z620 ,Z820
이중에 가상화를 제일 잘 돌리는 놈은 T7610 and T7600
그리고 VM은 코어와 메모리를 적당히 중첩되게 하는 것이 좋더군요.. 4 Cores...
파워 750W로 교체
2nd Heatsink 추가
2nd System Fan 추가
Miss 하시면 않됩니다..