이번에 연구실에서 시뮬레이팅 파워를 높여보고자 이것 저것 알아보고 있는 중에 있습니다.
저희 연구실에서는 미분 방정식을 풀어 생물학적 신경망의 활동을 보는 시뮬레이션을 주로 하고 있습니다.
해당 과제에서 (잘 프로그래밍 하고 충분히 복잡하다면) CPU의 증가 만큼 Linear하게 시뮬레이션 시간이 감소하는 것이 알려져 있습니다.
지금 시스템은 i7 2600를 활용하여 꾸미고 있는데,
약 400 만원 예산으로 성능을 끌어올릴 수 있을지 알아보고 있습니다.
이래저래 알아본 바로는 Workstation (쿼드-듀얼) 이나 클러스터를 구축하는 방법이 있을 거 같은데..
질문드리고 싶은 부분은 저희와 같은 경우에
듀얼 CPU 쿼드 (E5-1620)를 장착한 워크스테이션이나, 8대 정도의 AMD 불도저 (FX-8120)를 기가빗으로 묶은 클러스터 중에 어느게 성능향상이 있을지, 혹은 그 돈 들일 바에는 그냥 i7 2600 쓰는게 나을지 전혀 감이 오지 않아, 혹 조언을 구할 수 있을까하는 부분입니다.
즉, ODE를 풀어 시뮬레이션을 돌리는 경우
1. i7 2600K
2. Dual Xeon E5-1620 Workstation
3. Cluster (FX-8120 * 8 nodes)
중 어느 시스템이 성능이 가장 나을 지요?
또한, 클러스터를 구축할때 Node들은 Diskless 시스템으로 많이들 구축하는 것 같은데.. Disk가 필요한 경우도 간혹 있다고 하시는 것 같은데 그런 경우는 어떤 경우인지요? 혹 클러스터 구축을 계획할 때 특별히 주의해야할 부분들이 있는지요? (예를 들어 primary-Master node는 성능이 어느정도는 되야한다던지..)
일교차가 큰데 건강 조심하시고, 댓글 기다리고 있겠습니다.
감사합니다.
병렬로 처리할 수 있는 알고리즘(여러개의 노드에서 계산한 것을 하나로 모아서 결론을 내는 solver)이 아닐 것 입니다.
그렇다면 1개의 강력한 CPU(여러개의 core)를 가진 것이 더 좋습니다.
2개의 E5-1620 (4*2=8코어) 보다는 8.0QPI/s의 E5-2450(8코어)이 더 강력 합니다.
http://ark.intel.com/products/64611/Intel-Xeon-Processor-E5-2450-20M-Cache-2_10-GHz-8_00-GTs-Intel-QPI
E5-2450에 충분한 수준으로 메모리를 달고 (full bank) 강력한 Raid에 적당한 디스크를 붙여서 구성하는 것이
보통수준의 머리를 여러개 달고 여럿이서 웅성거리는 것보다 더 좋다고 생각합니다.
CPU : E5-2450 1 CPU
RAM : 꼽을 수 있는만큼. 모든 계산이 메모리에서 시작해서 메모리에서 끝나게
Raid : 256mb 이상급이면 충분 (계산중에 디스크에 기록하는 빈도가 크다면 512mb 이상)
Disk : SATA를 Raid로 구성하면 충분
돈을 아끼려면 디스크쪽을 초기에 안정성과 용량을 고려해서 SATA로 하는 것도 좋습니다.
https://ucloudbiz.olleh.com/portal/ktcloudportal.epc.productintro.hpc.info.html
그리고, 말씀해주신 E5-2650이 i7-2600에 비해서 확실히 성능향상은 있겠네요.. 감사합니다!
이장원님 알려주신 과학기술용 클라우드 확인해보았으나, 연구실쪽에서 자체 시스템 구축을 원하고, 지속적으로 돈이 들어가야한다느 점 때문에 어려운 것 같습니다ㅠ 감사합니다!
지금은 CPU 자체에 코어와 하이퍼쓰레딩 개념이 있어서 CPU 내부적인 병렬처리가 가능합니다.
task broker를 비롯해서 많은 형태의 병렬처리 개념들이 시장에서 스르르 사라진 것은
CPU의 발전속도가 빨라지면서 병렬처리를 할 필요성들이 점점 더 줄어들었기 때문 입니다.
MySQL DB서버의 예를 들면, 메모리를 충분히 달고 Raid를 강화해서 Disk IO의 부담을 덜어주면
1개의 코어 이상을 쓰는 경우는 드뭅니다. 제가 쓰는 DB서버의 코어가 16개 쓰레드가 32개인데
평소에 쓰는 것은 2-3개 정도에 불과합니다.
병렬처리보다는 강력한 CPU를 쓰고 모든 것이 메모리에서 처리되도록 하고
Disk IO가 프로그램의 처리에 속도지연을 주지 않게 Raid Cache를 통해 버퍼링 하는 것이 좋습니다.
그부분은 raid가 덜어주면 속도는 더 빨라지게 되는 것이죠.
cpu 갯수와 성능은 리니어 하게 비례하지 않는걸로 알고 있습니다.(이건 슈퍼 컴퓨터 센터에서도 말함)
클러스터 만드는것을 너무 쉽게 생각하시면 안됩니다.
요즘 클러스터 팩키지가 많습니다. 쉽게 만들어 지는데요... 문제는 그 다음입니다.
클러스터를 하신다면 병렬입니다.
프로그램이 병렬을 지원하냐입니다. 지원하지 않으면 클럭빨이죠,(일반적인 인코딩프로그램도 그렇듯이)
지원을 한다면
자동으로 지원을 하느냐?
클러스터와 병렬은 다른 기준입니다. 같이 두고 보면 안됩니다.
병렬은 크게
동일한 한대의 컴퓨터 안에 여러개의 CPU가 있는경우(쿼드코어 쿼드 CPU :총 16 cpu)
여러개의 CPU가 여러대의 컴퓨터에 있는 경우(듀얼코어 싱글 CPU 8대 : 총 16CPU)
프로그램이 자동으로 여기에 맞추어 돌아 가준다면 다행입니다만..
아닌경우엔 직접 병렬 코딩을 해야 합니다.
클러스터와 같은경우는 MPI를 단일 컴퓨터일경우에는 OPENMP, MPI 둘다 사용이 가능합니다.
자세한것은 길어서 생략
MPI 는 머리를 쥐어뜯게 할 수 도 있습니다.
제가 경험해본가 MPI 는 모든 연산에 대하여 분산 처리를 가능하게 하고
OPENMP는 반복문에 한하여 가능한걸로 압니다.
또한 병렬 처리에 있어서 함수나 모듈(서브루틴)등이 다른 함수나 모듈 등에 종속적이면 쓰기 어렵습니다.
이경우 에러는 안나지만 오답이 나옵니다.
국내 사이트는 KISTI가 도움이 될겁니다.
http://webedu.ksc.re.kr/main_new.jsp
이경우 에러는 안나지만 오답이 나옵니다.
===> 이게 가장 중요한 포인트죠. 크레이2부터 써봤지만, 프로그램이 안받쳐줘서 대부분 CPU빨로 갑니다.
안그래도 제대로 코드 구성을 하지 못했을때, 오답이 나올 수 있는 부분이 걸렸는데..
MPI를 통한 병렬 컴퓨팅은 실제적으로 단일 컴퓨터에서라도 병렬화를 진행해보고 차후에 클러스터를 구축해보는 방향으로 진행해보거나 해야겠네요.
임진욱님 강윤호님 감사합니다!
실제로는 병렬보다는 똘똘이 여러대에 개별로 돌리는 것이 더 좋습니다.
성능이 MPI의 50% 수준이라면 2대를 구매해서 각각 돌리면 2개의 값을 얻는 시간은 같고
4대를 구매해서 돌리면 2배의 빠르기로 값을 얻을 수 있습니다.
그리고 차후에도 병렬화를 고민하지말고, 그시점에 가장 똘똘한 것으로 업그레이드 하세요.
생각했던거보다 더 복잡하고 어렵네요.. 감사합니다!
E5-1620은 싱글 전용입니다. 즉 2개가 한시스템에 꼽아서 사용 불가입니다.
E5-2620이 아마 같은 사양에 듀얼 구성이 가능 할 것입니다.
여러대의 클러스터링은 네트웍이 중요합니다.
네트웍도 돈이 한참 드는 부분중 하나입니다.
2650 장터에 85에 나와 있습니다.
인텔 list price가 $1,100 정도에요
어떻게 리스트프라이스보다 더 저렴할수있는지 , 이건 정말 유통사도 의아해할수 있는 부분입니다. (웃음)
충분한 네트워크 리소스까지 심각하게 고민해야하는 "클러스터링 시스템 구성"을 대신해서,,,
(박문형님 댓글 처럼,,, 사실 클러스터링은,,, 잘아시다시피,,, 충분한 성능의 "네트워크 구성"도 상당히 중요한 문제입니다.)
Intel의 HPC 프로세서 "Xeon Phi"같은 것은,,, (예산만 받쳐준다면) 단일시스템에서의 "대안"이,,, 혹시 될 수 없을까요??
http://www.2cpu.co.kr/bbs/board.php?bo_table=freeboard_2011&wr_id=85415
http://www.inven.co.kr/board/powerbbs.php?come_idx=2417&l=41244
Intel, HPC 프로세서 "Xeon Phi" 코프로세서
=> 제일 중요한 문제인,,, 이것을 이용해서,,, MPI기반 소프트웨어를 구동할 수 있는지는,,, 모르겠군요?!
...
호기심에 몇몇 자료들을 아래와같이 찾아보았습니다만,,,
"장현재"님의 연구계산용도 및 소요예산에,,, 이 제품이 얼마나 잘 부합하는지를,,, 한번 잘 심사숙고하여 검토해보시기 바랍니다...!
...
Steve Lionel (Intel) - Mon, 03/04/2013 - 08:50
http://software.intel.com/en-us/forums/topic/373869
Analysis of Molecular Dynamics (MD_OPENMP) on Intel Many Integrated Core Architecture.
This paper assesses the behavior of Molecular Dynamics (MD) simulation program
by using OpenMP on the x86-based Intel Xeon Phi™ coprocessor.
http://hpc-ua.org/hpc-ua-12/files/proceedings/1.pdf
Introduction to Xeon Phi / Bill Barth / January 11, 2013
http://www.tacc.utexas.edu/c/document_library/get_file?uuid=8ef78389-86fe-4dcc-9699-871ce722ad03&groupId=13601
OpenMP Programming on Intel Xeon Phi™ Coprocessors
http://www.lfbs.rwth-aachen.de/users/stefan/marc2012/07_Cramer.pdf
NASA Overflow performance testing on Intel Xeon Phi ™
http://2012.oversetgridsymposium.org/assets/pdf/presentations/2_4/overflow_ovs12.pdf
An Overview of Programming for Intel Xeon processors and Intel Xeon Phi™ coprocessors
http://software.intel.com/sites/default/files/article/330164/an-overview-of-programming-for-intel-xeon-processors-and-intel-xeon-phi-coprocessors.pdf
...
...
Intel Xeon Phi (MIC) Cluster
https://wiki.jlab.org/cc/external/wiki/index.php/Intel_Xeon_Phi_(MIC)_Cluster
[ Login Node ]
CPUs: Two 16-core Sandy Bridge CPUs (E5-2650) at 2.00 GHz
Memory: 128 GB DDR3-1600 MHZ
Phi Memory: 8 GB GDDR5 2.5 GHz
Interconnect: Infiniband FDR (56Gb)
[ Computing Nodes ]
CPUs: Two 16-core Sandy Bridge CPUs (E5-2650) at 2.00 GHz
Memory: 64 GB DDR3-1600 MHZ
Phi Memory: 8 GB GDDR5 2.5 GHz
Interconnect: Infiniband FDR (56Gb)
* The configuration of 4 Xeon Phi accelerators:
Number of cores: 60 @ 1.05 GHz
Memory: 8GB GDDR5 @ 2.5 GHz
...
...
감사합니다!
예전에 Intel CPU의 설계 오류로 인해 특정 수식을 계산하면 어뚱한 값이 나온적은 있었지만, CUDA가 정확성이 떨어진다는 말은 처음이네요.
혹시 제가 몰라서 그런거라면,, 제가 일하는데에도 심각한 타격이라 걱정이네요.
그리고 사용하시는 솔루션이 MPI를 지원한다면 Xeon의 듀얼 CPU보다는 I7(or I5)가 무조건 저렴합니다.
MPI는 지원하지 않고 SMP만 지원한다면 어쩔 수 없이 Xeon 듀얼로 가야겠지만요.
그리고 웍스테이션(or PC)의 수량이 많지 않다면 굳이 Diskless로 가지는 않아도 될거 같네요. Diskless를 성능향상을 목적으로 쓰는 경우는 별로 없는거 같아요. 각 노드들 마다 OS를 설치하는 수고를 더는 정도지 않을까 싶네요.
Double precision floating point math를 CUDA에서 지원하지 않아서 못 쓰고 있다더라 하는 글들이 있었는데 다시 보니 2008년도 글이네요... 찾아보니 초기 버전 이후에는 지원하고 있는거 같습니다.
부동소수점 연산에 의해서 계산 부정확성이 발생할 수 있다는 얘기였던 거 같습니다. 물론 지금은 해결된듯해요..
이러면 ..CUDA 연산도 한번 고려해봐야겠네요.. 관련된 논문이 발표된게 있나 찾아봐야겠습니다.
그런데 CUDA에서도 MPI를 지원하는지요? 아니면 아예 시뮬레이터를 다시 설계해야하나 싶은 생각이 드는데.. 기초 자료들 좀 찾아봐야겠습니다.
감사합니다.
질문과 댓글을 이해하는데는 많은 시간이 걸렸지만 참 뿌듯한 시간보냈습니다.
감사합니다.