기존에
마스터노드 1대에 E5620*1개, 16G, OS용 하드 500G, DB용 하드 1T*4개
슬레이브노드 5대에 E5620*2개,16G
스위칭허브는
넷기어 24p GS724T Switch (10/100/1000Mbps)
이렇게 됩니다.
근데 진정한 병렬컴은 아니고, 걍 각노드당 한케이스만 돌리게끔 해주는 컴입니다. 2개이상 노드 묶는게 더 느리더라고요;;
허브에 돈을 더 썼어야했는데 그러지 못했습니다.
요즘 점점 속도가 부족한것을 느껴서 허브 업글해서 여러노드 묶어서 해석하고 싶은데, 허브를 알아볼때 무슨 스펙을 봐야되는지
어떤회사 어느제품이 보통 많이 쓰는건지 도통알수가 없네요.
뭘쓰는게 좋을까요... 계략 100-200만원 정도로 사면 적당할까요?
같이 프로젝트하는 회사에서는 mis5022q-1sfc 8port인피니밴드 스위치 를 쓴다는데 속도가 잘나오는 편이더라고요.. 이게 어느정도 되는 모델인지도 부탁드립니다. 얘는 다나와에서 검색해도 안나오더라고요;;; 저희가 지금쓰고있는거 대비 몇배정도 좋은건지...
지금은 L2 기가빗 스윗치 상태입니다.
끝판왕 식으로 가려면
이것을 10G 랜카드 및 허브를 구해서 업을 하던지 (10G카드가 50-100만원 , 허브는 1000만원 선)
인피니밴드 40G 카드 및 허브를 구해서 업을 하던지 (이것도 위와 거의 비슷, 대신 퍼포먼스가 40G임)
우선 저 허브의 펌웨어를 최대로 업그레이드 하시고 iSCSI가 지원이 되면(프로그램,시스템,허브)
셋팅해서 사용해보세요.
인피니밴드 8포트 스위치는 40Gbps 짜리구요.
1G 포트트렁킹으로는 한계가 있습니다.
여러개로 묶는다고 해도 각 NIC의 속도에 걸립니다. 물론 1:다수 라면 묶어서 각각의 구간이 1G가 나올수는 있지만요.
각 노드간의 프로토콜을 ISCSI로 바꾸신다면 각 노드에서 4~8개의 포트간 통신을 하시면 좋겠네요.
단, 넷기어 724T의 경우 4개이상을 묶으시면 장애 발생률이 엄청나게 상승됩니다.
저렴하게(200만원이하)로 구성하시려면 각 컴퓨터에 4포트 NIC을 설치하시고, 스위치허브를 L2 풀메니지먼트급으로 교체하시면 될듯합니다. 한가지 더 ISCSI target을 구성하셔서 사용하셔야하는데 해석프로그램에서 자체적으로 지원이 되는지, 아니면 스토리지를 별도로 구성해야하는지는 별도로 알아보셔야할듯합니다.
아니시면 천상 인피니밴드로 가셔야할듯합니다. 노드가 2대라면 40G카드를 각각 설치하시고, 인피니밴드케이블로 직결하시면 될듯합니다.
http://prod.danawa.com/info/?pcode=892200&cate1=861&cate2=875&cate3=968&cate4=&keyword=Supermicro X8DTi#bookmark_product_information
이거면 온보드 랜이면 부족할라나요?
대략 알기로는 저런 프로그램은 클럭깡패와 운동장보다 넓은 메모리가 약이라고 들었습니다.
그리고 10G랜카드는 씨피유 점유율이 좀 높습니다.
인피니밴드는 셋팅하기 나름이지만 씨피유 점유율이 거의 없습니다.
2.4Ghz CPU를 w5590 처럼 더 높은 것으로 바꾸면 성능이 50% 이상 올라갈 것이고
E3-1290v2는 거의 두배쯤 나올 겁니다.
먼저 단일노드 계산에서 모니터링툴을 이용하여 단순히 CPU 계산능력 문제인지 아니면 memory나 disk I/O쪽에서
병목이 걸리는지 확인하시는게 좋습니다.
model에 따라서 다르겠지만 일반적으로 ANSYS는 메모리를 많이 먹기 때문에 가장 쉽게는 메모리용량 확장이 좋을 듯 하네요. disk쪽의 병목이라면 SSD나 RAID도 고려해보시기 바랍니다.
CPU의 문제라면 앞서 다른 분이 얘기하셨듯이 같은 소켓을 사용하는 CPU의 상위버젼으로 바꾸던지 아니면
GPGPU도입도 고려해볼만 합니다. e3나 e5급 CPU사용은 시스템을 완전히 바꾸는것이니........
clustering환경에서도 먼저 모니터링을 통하여 어느 부분에서 병목이 걸리는지 확인해 보시는게 좋습니다.
network 병목이라면 일단 gigabit 환경에서는 storage network와 calculation network을 분리해주시는게 좋습니다.
스위치는 latency가 중요한데 이 부분은 기가빗급에서는 대부분 고만고만하기 때문에 현재 넷기어 스위치로 충분합니다.
mis5022q는 Mellanox QDR(40G) 스위치인데 국내에서 구한다면 가격이 만만치 않을 겁니다. 카드도 그렇구요.
(싸게 구하실려면 강윤호님처럼 이배희여사님께 문의를...)
아무튼 계산 효율은 단일 노드가 가장 좋기 때문에 independent parameter scan이 가능하다면 지금 처럼 단일노드계산으로 하시면서 병목이 걸리는 부분만 업그레이드 하시는게 제일 좋을겁니다.