구조해석 프로그램용 병렬연산컴 허브 조언부탁드립니다.

뱃살   
   조회 6345   추천 0    

연구실에 ANSYS, FLUENT, FLUX3D 굴리는 병렬컴이 있는데 

기존에 

마스터노드 1대에 E5620*1개, 16G, OS용 하드 500G, DB용 하드 1T*4개
슬레이브노드 5대에 E5620*2개,16G

스위칭허브는 

 넷기어 24p GS724T Switch (10/100/1000Mbps)

이렇게 됩니다.

근데 진정한 병렬컴은 아니고, 걍 각노드당 한케이스만 돌리게끔 해주는 컴입니다. 2개이상 노드 묶는게 더 느리더라고요;;

허브에 돈을 더 썼어야했는데 그러지 못했습니다.

요즘 점점 속도가 부족한것을 느껴서 허브 업글해서 여러노드 묶어서 해석하고 싶은데, 허브를 알아볼때 무슨 스펙을 봐야되는지

어떤회사 어느제품이 보통 많이 쓰는건지 도통알수가 없네요.

뭘쓰는게 좋을까요... 계략 100-200만원 정도로 사면 적당할까요?


같이 프로젝트하는 회사에서는 mis5022q-1sfc 8port인피니밴드 스위치 를 쓴다는데 속도가 잘나오는 편이더라고요.. 이게 어느정도 되는 모델인지도 부탁드립니다. 얘는 다나와에서 검색해도 안나오더라고요;;; 저희가 지금쓰고있는거 대비 몇배정도 좋은건지...
짧은글 일수록 신중하게.
박문형 2013-09
인터넷 스윗치와 인피니밴드 스윗치는 전혀 다른 것입니다.

지금은 L2 기가빗 스윗치 상태입니다.

끝판왕 식으로 가려면
이것을 10G 랜카드 및 허브를 구해서 업을 하던지 (10G카드가 50-100만원 , 허브는 1000만원 선)
인피니밴드 40G 카드 및 허브를 구해서 업을 하던지 (이것도 위와 거의 비슷, 대신 퍼포먼스가 40G임)

우선 저 허브의 펌웨어를 최대로 업그레이드 하시고 iSCSI가 지원이 되면(프로그램,시스템,허브)
셋팅해서 사용해보세요.
엠브리오 2013-09
넷기어 이더넷 허브는 1Gbps 짜리입니다.

인피니밴드 8포트 스위치는 40Gbps 짜리구요.
     
뱃살 2013-09
인피니밴드 자세한 스펙은 어디서 확인할수 있나요?
병목구간이 네트워크쪽이 확실하신건가요? 일단 이것부터 정확히 확인하셔야할듯합니다.


1G 포트트렁킹으로는 한계가 있습니다.
여러개로 묶는다고 해도 각 NIC의 속도에 걸립니다. 물론 1:다수 라면 묶어서 각각의 구간이 1G가 나올수는 있지만요.

각 노드간의 프로토콜을 ISCSI로 바꾸신다면 각 노드에서 4~8개의 포트간 통신을 하시면 좋겠네요.
단, 넷기어 724T의 경우 4개이상을 묶으시면 장애 발생률이 엄청나게 상승됩니다.

저렴하게(200만원이하)로 구성하시려면 각 컴퓨터에 4포트 NIC을 설치하시고, 스위치허브를 L2 풀메니지먼트급으로 교체하시면 될듯합니다. 한가지 더 ISCSI target을 구성하셔서 사용하셔야하는데 해석프로그램에서 자체적으로 지원이 되는지, 아니면 스토리지를 별도로 구성해야하는지는 별도로 알아보셔야할듯합니다.

아니시면 천상 인피니밴드로 가셔야할듯합니다. 노드가 2대라면 40G카드를 각각 설치하시고, 인피니밴드케이블로 직결하시면 될듯합니다.
     
뱃살 2013-09
메인보드는 Supermicro X8DTi 인데....

http://prod.danawa.com/info/?pcode=892200&cate1=861&cate2=875&cate3=968&cate4=&keyword=Supermicro X8DTi#bookmark_product_information

이거면 온보드 랜이면 부족할라나요?
박문형 2013-09
저 시스템에서 네트웍 말고 씨피유를 5570이나 5670급으로 메모리를 32G-64G로 올리면 퍼포먼스가 많이 좋아질 것입니다.

대략 알기로는 저런 프로그램은 클럭깡패와 운동장보다 넓은 메모리가 약이라고 들었습니다.

그리고 10G랜카드는 씨피유 점유율이 좀 높습니다.
인피니밴드는 셋팅하기 나름이지만 씨피유 점유율이 거의 없습니다.
     
회원K 2013-09
http://ark.intel.com/products/47925
2.4Ghz CPU를 w5590 처럼 더 높은 것으로 바꾸면 성능이 50% 이상 올라갈 것이고
E3-1290v2는 거의 두배쯤 나올 겁니다.
연연 2013-09
일단 무작정 업그레이드에 앞서 어느 부분에서 bottle neck이 걸리는지 확인하는 것이 중요합니다.
먼저 단일노드 계산에서 모니터링툴을 이용하여 단순히 CPU 계산능력 문제인지 아니면 memory나 disk I/O쪽에서
병목이 걸리는지 확인하시는게 좋습니다.
model에 따라서 다르겠지만 일반적으로 ANSYS는 메모리를 많이 먹기 때문에 가장 쉽게는 메모리용량 확장이 좋을 듯 하네요. disk쪽의 병목이라면 SSD나 RAID도 고려해보시기 바랍니다.
CPU의 문제라면 앞서 다른 분이 얘기하셨듯이 같은 소켓을 사용하는 CPU의 상위버젼으로 바꾸던지 아니면
GPGPU도입도 고려해볼만 합니다. e3나 e5급 CPU사용은 시스템을 완전히 바꾸는것이니........
clustering환경에서도 먼저 모니터링을 통하여 어느 부분에서 병목이 걸리는지 확인해 보시는게 좋습니다.
network 병목이라면 일단 gigabit 환경에서는 storage network와 calculation network을 분리해주시는게 좋습니다.
스위치는 latency가 중요한데 이 부분은 기가빗급에서는 대부분 고만고만하기 때문에 현재 넷기어 스위치로 충분합니다.
mis5022q는 Mellanox QDR(40G) 스위치인데 국내에서 구한다면 가격이 만만치 않을 겁니다. 카드도 그렇구요.
(싸게 구하실려면 강윤호님처럼 이배희여사님께 문의를...)
아무튼 계산 효율은 단일 노드가 가장 좋기 때문에 independent parameter scan이 가능하다면 지금 처럼 단일노드계산으로 하시면서 병목이 걸리는 부분만 업그레이드 하시는게 제일 좋을겁니다.


QnA
제목Page 3434/5724
2015-12   1761320   백메가
2014-05   5234958   정은준1
2013-09   7496   monan
2013-09   8928   아름다운노을
2013-09   8897   이영규
2013-09   5750   방o효o문
2013-09   5854   장동건2014
2013-09   5834   송진홍
2013-09   5069   어훕
2013-09   8648   이희원
2013-09   6062   윤건
2013-09   6650   김상민
2013-09   5378  
2013-09   6067   BlackfoG
2013-09   4797   최시영
2013-09   5871   박중석
2013-09   6346   뱃살
2013-09   6185   배상0원
2013-09   7274   자바라
2013-09   5193   왕용필
2013-09   5383   하승현
2013-09   8722   행아범