회원K 2013-03

어떤 수치해석 solver를 쓰는지 몰라도
병렬로 처리할 수 있는 알고리즘(여러개의 노드에서 계산한 것을 하나로 모아서 결론을 내는 solver)이 아닐 것 입니다.
그렇다면 1개의 강력한 CPU(여러개의 core)를 가진 것이 더 좋습니다.

2개의 E5-1620 (4*2=8코어) 보다는 8.0QPI/s의 E5-2450(8코어)이 더 강력 합니다.
http://ark.intel.com/products/64611/Intel-Xeon-Processor-E5-2450-20M-Cache-2_10-GHz-8_00-GTs-Intel-QPI

E5-2450에 충분한 수준으로 메모리를 달고 (full bank) 강력한 Raid에 적당한 디스크를 붙여서 구성하는 것이
보통수준의 머리를 여러개 달고 여럿이서 웅성거리는 것보다 더 좋다고 생각합니다.

CPU : E5-2450 1 CPU
RAM : 꼽을 수 있는만큼. 모든 계산이 메모리에서 시작해서 메모리에서 끝나게
Raid : 256mb 이상급이면 충분 (계산중에 디스크에 기록하는 빈도가 크다면 512mb 이상)
Disk : SATA를 Raid로 구성하면 충분

돈을 아끼려면 디스크쪽을 초기에 안정성과 용량을 고려해서 SATA로 하는 것도 좋습니다.

이장원 2013-03

400만원 정도의 예산이라면 차라리 과학기술용 클라우드 서비스를 이용해보면 어떨까요?
https://ucloudbiz.olleh.com/portal/ktcloudportal.epc.productintro.hpc.info.html

장현재 2013-03

강윤호님 감사합니다. 일단 시뮬레이터 쪽에서 병렬처리가 가능하고, 나오는 논문들을 보면 MPI로 병렬계산을 한 논문들이 있긴하던데.. 다른 부분인지요? 제가 생각했을때는 클러스터로 계산한거라 생각했는데요..
그리고, 말씀해주신 E5-2650이 i7-2600에 비해서 확실히 성능향상은 있겠네요.. 감사합니다!

이장원님 알려주신 과학기술용 클라우드 확인해보았으나, 연구실쪽에서 자체 시스템 구축을 원하고, 지속적으로 돈이 들어가야한다느 점 때문에 어려운 것 같습니다ㅠ 감사합니다!

회원K 2013-03

옛날에는 CPU의 코어라는 개념이 없었기 때문에, 여러개의 CPU를 묶어서 처리하게 했는데
지금은 CPU 자체에 코어와 하이퍼쓰레딩 개념이 있어서 CPU 내부적인 병렬처리가 가능합니다.

task broker를 비롯해서 많은 형태의 병렬처리 개념들이 시장에서 스르르 사라진 것은
CPU의 발전속도가 빨라지면서 병렬처리를 할 필요성들이 점점 더 줄어들었기 때문 입니다.

MySQL DB서버의 예를 들면, 메모리를 충분히 달고 Raid를 강화해서 Disk IO의 부담을 덜어주면
1개의 코어 이상을 쓰는 경우는 드뭅니다. 제가 쓰는 DB서버의 코어가 16개 쓰레드가 32개인데
평소에 쓰는 것은 2-3개 정도에 불과합니다.

병렬처리보다는 강력한 CPU를 쓰고 모든 것이 메모리에서 처리되도록 하고
Disk IO가 프로그램의 처리에 속도지연을 주지 않게 Raid Cache를 통해 버퍼링 하는 것이 좋습니다.

장현재 2013-03

강력한 CPU와 Raid Cache를 통한 버퍼링이 더 나은 성능을 가져올 수 있는 군요...감사합니다! 그쪽으로 다시한번 견적을 내봐야 겠네요..!

김윤술 2013-03

OS 대역폭이 있기때문에 싱글로 돌려봐야 최대성능 안나옵니다. 병렬처리가 필요하다면 당연히 멀티로 가야되는게 맞습니다.

회원K 2013-03

대부분 프로그램들이 시뮬레이션 중간에 print를 하게 해뒀는데, 그게 속도지연의 가장 큰 원인 입니다.
그부분은 raid가 덜어주면 속도는 더 빨라지게 되는 것이죠.

임진욱 2013-03

클러스터를 간단하게나 만들어 보고 난 경험을 말해드립니다.
cpu 갯수와 성능은 리니어 하게 비례하지 않는걸로 알고 있습니다.(이건 슈퍼 컴퓨터 센터에서도 말함)
클러스터 만드는것을 너무 쉽게 생각하시면 안됩니다.
요즘 클러스터 팩키지가 많습니다. 쉽게 만들어 지는데요... 문제는 그 다음입니다.
클러스터를 하신다면 병렬입니다.
프로그램이 병렬을 지원하냐입니다. 지원하지 않으면 클럭빨이죠,(일반적인 인코딩프로그램도 그렇듯이)
지원을 한다면
자동으로 지원을 하느냐?
클러스터와 병렬은 다른 기준입니다. 같이 두고 보면 안됩니다.
병렬은 크게
동일한 한대의 컴퓨터 안에 여러개의 CPU가 있는경우(쿼드코어 쿼드 CPU :총 16 cpu)
여러개의 CPU가 여러대의 컴퓨터에 있는 경우(듀얼코어 싱글 CPU 8대 : 총 16CPU)
프로그램이 자동으로 여기에 맞추어 돌아 가준다면 다행입니다만..
아닌경우엔 직접 병렬 코딩을 해야 합니다.
클러스터와 같은경우는 MPI를 단일 컴퓨터일경우에는 OPENMP, MPI 둘다 사용이 가능합니다.
자세한것은 길어서 생략
MPI 는 머리를 쥐어뜯게 할 수 도 있습니다.

제가 경험해본가 MPI 는 모든 연산에 대하여 분산 처리를 가능하게 하고
OPENMP는 반복문에 한하여 가능한걸로 압니다.
또한 병렬 처리에 있어서 함수나 모듈(서브루틴)등이 다른 함수나 모듈 등에 종속적이면 쓰기 어렵습니다.
이경우 에러는 안나지만 오답이 나옵니다.

국내 사이트는 KISTI가 도움이 될겁니다.
http://webedu.ksc.re.kr/main_new.jsp

회원K 2013-03

병렬 처리에 있어서 함수나 모듈(서브루틴)등이 다른 함수나 모듈 등에 종속적이면 쓰기 어렵습니다.
이경우 에러는 안나지만 오답이 나옵니다.

===> 이게 가장 중요한 포인트죠. 크레이2부터 써봤지만, 프로그램이 안받쳐줘서 대부분 CPU빨로 갑니다.

정은준1 2013-03

책에서 그림으로 봤던 크레이!

장현재 2013-03

사용하고 있는 시뮬레이터가 MPI 기반으로 병렬 컴퓨팅을 지원하고 대규모 연구단(?)에서는 이미 병렬로 돌리고 있는걸로 알고 있습니다. (슈퍼컴퓨터 구성등)

안그래도 제대로 코드 구성을 하지 못했을때, 오답이 나올 수 있는 부분이 걸렸는데..

MPI를 통한 병렬 컴퓨팅은 실제적으로 단일 컴퓨터에서라도 병렬화를 진행해보고 차후에 클러스터를 구축해보는 방향으로 진행해보거나 해야겠네요.

임진욱님 강윤호님 감사합니다!

회원K 2013-03

대규모단에서 병렬로 돌리는 것은 뽀대(?)일 겁니다.
실제로는 병렬보다는 똘똘이 여러대에 개별로 돌리는 것이 더 좋습니다.
성능이 MPI의 50% 수준이라면 2대를 구매해서 각각 돌리면 2개의 값을 얻는 시간은 같고
4대를 구매해서 돌리면 2배의 빠르기로 값을 얻을 수 있습니다.

그리고 차후에도 병렬화를 고민하지말고, 그시점에 가장 똘똘한 것으로 업그레이드 하세요.

장현재 2013-03

그렇군요...뽀대..인건가요...

생각했던거보다 더 복잡하고 어렵네요.. 감사합니다!

박문형 2013-03

E5-2650이면 씨퓨만 300돈이 갈꺼 같네요..
E5-1620은 싱글 전용입니다. 즉 2개가 한시스템에 꼽아서 사용 불가입니다.
E5-2620이 아마 같은 사양에 듀얼 구성이 가능 할 것입니다.

여러대의 클러스터링은 네트웍이 중요합니다.
네트웍도 돈이 한참 드는 부분중 하나입니다.

회원K 2013-03

http://www.2cpu.co.kr/bbs/board.php?bo_table=sell&wr_id=38442

2650 장터에 85에 나와 있습니다.
인텔 list price가 $1,100 정도에요

정은준1 2013-03

2cpu장터는 블랙홀이군요.
어떻게 리스트프라이스보다 더 저렴할수있는지 , 이건 정말 유통사도 의아해할수 있는 부분입니다. (웃음)

영원한혁신 2013-03

...
충분한 네트워크 리소스까지 심각하게 고민해야하는 "클러스터링 시스템 구성"을 대신해서,,,
(박문형님 댓글 처럼,,, 사실 클러스터링은,,, 잘아시다시피,,, 충분한 성능의 "네트워크 구성"도 상당히 중요한 문제입니다.)

Intel의 HPC 프로세서 "Xeon Phi"같은 것은,,, (예산만 받쳐준다면) 단일시스템에서의 "대안"이,,, 혹시 될 수 없을까요??



http://www.2cpu.co.kr/bbs/board.php?bo_table=freeboard_2011&wr_id=85415

http://www.inven.co.kr/board/powerbbs.php?come_idx=2417&l=41244


Intel, HPC 프로세서 "Xeon Phi" 코프로세서

=> 제일 중요한 문제인,,, 이것을 이용해서,,, MPI기반 소프트웨어를 구동할 수 있는지는,,, 모르겠군요?!
...

영원한혁신 2013-03

...
호기심에 몇몇 자료들을 아래와같이 찾아보았습니다만,,,

"장현재"님의 연구계산용도 및 소요예산에,,, 이 제품이 얼마나 잘 부합하는지를,,, 한번 잘 심사숙고하여 검토해보시기 바랍니다...!

...

Steve Lionel (Intel) - Mon, 03/04/2013 - 08:50
http://software.intel.com/en-us/forums/topic/373869


Analysis of Molecular Dynamics (MD_OPENMP) on Intel Many Integrated Core Architecture.
This paper assesses the behavior of Molecular Dynamics (MD) simulation program
by using OpenMP on the x86-based Intel Xeon Phi™ coprocessor.
http://hpc-ua.org/hpc-ua-12/files/proceedings/1.pdf


Introduction to Xeon Phi / Bill Barth / January 11, 2013
http://www.tacc.utexas.edu/c/document_library/get_file?uuid=8ef78389-86fe-4dcc-9699-871ce722ad03&groupId=13601


OpenMP Programming on Intel Xeon Phi™ Coprocessors
http://www.lfbs.rwth-aachen.de/users/stefan/marc2012/07_Cramer.pdf


NASA Overflow performance testing on Intel Xeon Phi ™
http://2012.oversetgridsymposium.org/assets/pdf/presentations/2_4/overflow_ovs12.pdf


An Overview of Programming for Intel Xeon processors and Intel Xeon Phi™ coprocessors
http://software.intel.com/sites/default/files/article/330164/an-overview-of-programming-for-intel-xeon-processors-and-intel-xeon-phi-coprocessors.pdf

...
...

Intel Xeon Phi (MIC) Cluster
https://wiki.jlab.org/cc/external/wiki/index.php/Intel_Xeon_Phi_(MIC)_Cluster


[ Login Node ]

CPUs: Two 16-core Sandy Bridge CPUs (E5-2650) at 2.00 GHz
Memory: 128 GB DDR3-1600 MHZ
Phi Memory: 8 GB GDDR5 2.5 GHz
Interconnect: Infiniband FDR (56Gb)


[ Computing Nodes ]

CPUs: Two 16-core Sandy Bridge CPUs (E5-2650) at 2.00 GHz
Memory: 64 GB DDR3-1600 MHZ
Phi Memory: 8 GB GDDR5 2.5 GHz
Interconnect: Infiniband FDR (56Gb)


* The configuration of 4 Xeon Phi accelerators:

Number of cores: 60 @ 1.05 GHz
Memory: 8GB GDDR5 @ 2.5 GHz

...
...

장현재 2013-03

찾아봐야할게 너무 많아졌네요! 고려해보도록 하겠습니다.

감사합니다!

이장원 2013-03

CUDA도 고려해보세요.

장현재 2013-03

CUDA는... 계산 정확성에서  좀 떨어지는거 같더라고요..

정의석 2013-03

제가 일하는데서 CUDA를 사용하고 있는데,, 계산 정확성이 떨어진다는 것은 무슨뜻인지요?
예전에 Intel CPU의 설계 오류로 인해 특정 수식을 계산하면 어뚱한 값이 나온적은 있었지만, CUDA가 정확성이 떨어진다는 말은 처음이네요.
혹시 제가 몰라서 그런거라면,, 제가 일하는데에도 심각한 타격이라 걱정이네요.

그리고 사용하시는 솔루션이 MPI를 지원한다면 Xeon의 듀얼 CPU보다는 I7(or I5)가 무조건 저렴합니다.
MPI는 지원하지 않고 SMP만 지원한다면 어쩔 수 없이 Xeon 듀얼로 가야겠지만요.

그리고 웍스테이션(or PC)의 수량이 많지 않다면 굳이 Diskless로 가지는 않아도 될거 같네요. Diskless를 성능향상을 목적으로 쓰는 경우는 별로 없는거 같아요. 각 노드들 마다 OS를 설치하는 수고를 더는 정도지 않을까 싶네요.

장현재 2013-03

안그래도 CUDA를 염두해보고 사용하는 시뮬레이팅 그룹 쪽에서 GPU로 구현한 사례가 있는지를 보았었는데..

Double precision floating point math를 CUDA에서 지원하지 않아서 못 쓰고 있다더라 하는 글들이 있었는데 다시 보니 2008년도 글이네요... 찾아보니 초기 버전 이후에는 지원하고 있는거 같습니다.

부동소수점 연산에 의해서 계산 부정확성이 발생할 수 있다는 얘기였던 거 같습니다. 물론 지금은 해결된듯해요..

이러면 ..CUDA 연산도 한번 고려해봐야겠네요.. 관련된 논문이 발표된게 있나 찾아봐야겠습니다.

그런데 CUDA에서도 MPI를 지원하는지요? 아니면 아예 시뮬레이터를 다시 설계해야하나 싶은 생각이 드는데.. 기초 자료들 좀 찾아봐야겠습니다.

감사합니다.

정은준1 2013-03

오랜만에 수준높은 질문, 답변 글 보게되네요.
질문과 댓글을 이해하는데는 많은 시간이 걸렸지만 참 뿌듯한 시간보냈습니다.

감사합니다.