Diskless boot server 클러스터 추가에 관하여 질문 있습니다.

랑구스   
   조회 3750   추천 0    

 안녕하세요. 저는 현재 대학원에서 공부중인 학생입니다.

저희 연구실에서는 Diskless boot server를 이용하여 Numerical Simulation 을 돌리는 일(주로 C언어 사용)을 하고 있습니다.

Diskless boot server의 구성은 서버(main 1대) + 클러스터(45대) 로 이루어져있습니다.

서버와 클러스터의 H/W 사양과 OS는 아래와 같습니다.

- CPU : i7-2600k (3.40 GHz)

- M/B : GIGABYTE GA-P67X-UD3R-B3

- RAM : 16 Gb (4 Gb * 4)

- HDD : 2.0 TB (RAID1) * 2   [메인 서버]

- OS : Debian 7 Wheezy (kernel 3.2)

(QnA 게시판을 눈팅했을 때, 저희 연구실에서 사용하는 장비는 서버라고 하기에는 부족한 점이 많습니다.)


연구실에 학생이 많다보니 클러스터가 부족하여 추가를 해야하는데, 궁금한 점이 있어서 글을 올리게 되었습니다.

(OS를 설치하고 클러스터를 구축하는 작업은 해보았으나, 하드웨어적인 부분은 잘 알지 못합니다.)


클러스터 20대 정도를 추가할 예정이고, 제가 알아본 H/W 사양은 다음과 같습니다.

- CPU : i7-7700 (3.60 GHz, 카비레이크)

- M/B : Supermicro 슈퍼오 C7-B250-CB-ML STCOM

- RAM : 삼성전자 DDR4 8G PC4-19200 * 4 (총 32 Gb)

- 파워 : topower TOP-500G 80PLUS GOLD Power One 

이렇게 견적을 냈을 때, 한 대당 약 86 만원 정도 나왔습니다.


궁금한 점을 정리해보면,


1. 조립하고자 하는 H/W 들의 호환성

- CPU의 경우 안정성 때문에 제온 E3 도 고려해봤으나, 이에 맞춰 다른 부품들을 구성했을 때 가격이 올라가는 단점이 있었습니다.

- M/B 의 경우 오버클락을 사용할 필요가 없어서 B250 을 선택했습니다.

- 파워의 경우 80Plus gold 등급 중에서 가성비가 좋아보이는 제품을 선택했습니다.

정해진 예산에서 여러 대를 추가해야 하다보니, 일반 데스크탑 사양으로 맞추게 되었는데..

더 좋은 방안이 있으시면 추천 부탁드립니다!


2. OS와의 호환성 여부

 예전에 i7-6700 (스카이레이크)와 B150 메인보드(Asrock B150 PRO4)를 사용하여 클러스터를 추가한 적이 있습니다. 

처음 연결시 클러스터가 부팅이 되지 않았으나, 랜 드라이버를 설치 하니 정상적으로 작동했습니다.

그러나, 걱정되는 것은 카비레이크가 저희가 사용하는 리눅스 커널(3.2) 보다 상위 커널(4.10 ?)을 지원하다는 얘기가 있어서, 

정상적으로 작동이 가능할 지 의문입니다.


3. 벤더 서버

 클러스터 당 86만원 * 20 대 = 1720 만원 이 되는데, 

과연 조립 PC를 클러스터링 하는 것이 벤더 서버를 구입하는 것에 비해 가격적인 측면에서 효율적인가 의문이 듭니다.

(제가 위에서 설명드린 클러스터말고, 저희 연구실에 HPC-병렬계산용 클러스터를 한 대 더 보유하고 있습니다.)

클러스터 1대 당 4 코어 (8 쓰레드) 이므로, 4 코어* 20 대 = 80 코어 인데, 

이 정도 수준의 벤더 서버를 예산 안에서 구입 가능 한지 알고싶습니다.

또한, 벤더를 사는것과 조립하여 클러스터링 하는 것중 어느 것이 더 효율적인지 알고 싶습니다.


긴 글 읽어 주셔서 감사드리고, 많은 도움을 주셨으면 좋겠습니다 :)


짧은글 일수록 신중하게.
박문형 2017-05
가장 중요한게 OS호환입니다..

아마도 지금 판매되는 시스템은 옛날 OS가 호환이 안될 것입니다.

재대로 할려면 샘플 한대 놓고 붙여봐서 BMT 테스트 해야 합니다.

옛날에 사용하던 시스템과 같은 칩셋 같은 사양으로 구하는 것이 재일 좋으나 중고밖에는 없기에 신뢰도가 많이 떨어집니다..

새시스템을 셋팅하려면 최신형OS로 처음부터 다 셋팅해야 합니다..(개 노가다, 클러스터 셋팅이 안될수 있습니다.)

벤더시스템도 마찬가지 상황일 것입니다.

학교인지라 아마도 중고시스템은 허가나기가 상당히 어렵고 새 시스템으로 가야 하는데 OS와 클러스터링 페키지가 발목을 잡을 것입니다..
     
랑구스 2017-05
지금 조립과 벤더 사이에서 고민중인데.. 조립으로 간다면 미리 한 대를 구입하여 테스트 해 볼 생각입니다.

답변 주셔서 감사합니다 :)
하셀호프 2017-05
CUDA 혹은 openACC 시스템을 사용하지는 않으시는지요
이 정도되면 하드웨어의 문제가 아니구 전력의 안정성까지 생각해야 할 거 같은데요.
gtx 780ti 만해도 CUDA 코어 2880개입니다.
슈퍼컴 500의 top 10 시스템중에도 gpu 쓰는 시스템도 있구요
기왕 공부할바에는 gpu 시스템으로 가야하지 않을까요
 
지금 사용하시는 유틸이 openMP를 사용해서 코딩하신다면 openACC로 바로 전환이
가능할 수도 있습니다. 확인해 보세요
     
랑구스 2017-05
제가 말씀하신 내용을 정확히 이해하진 못하겠지만 ㅠㅠ 저희 연구실에서 gpu를 사용하지는 않는것 같습니다.

말씀해주신 내용을 토대로 다시한번 확인해봐야겠네요.

답변 주셔서 감사합니다 :)
          
하셀호프 2017-05
클러스터링에 사용하는 OS와 프로그램을 특정해 주시면 더 구체적인 조언이 가능합니다.
사용하는 프로그램을 직접 개발하지 않는다면 의미없을 수도 있겠네요
박문형 2017-05
지금 사용하시는 시스템에서 가장 큰 단점은 제온을 사용하지 않아서 메모리가 ECC 가 아닙니다..

따라서 장기간 돌렸을때 메모리 에러가 날 경우 에러정정이 안됩니다..

심하게 이야기 해서 계산된 데이터가 재대로 맞는지 안 맞는지는 누구도 모른다는 이야기 입니다..

결론적으로는 다 돈에 관련 되기에 여러군데 견적서 받아보시고 맞는 것을 선택하세요..
     
랑구스 2017-05
예산만 여유가 있다면 제온 + ECC 메모리를 사용하고 싶은데.. 아쉽네요 ㅜㅜ

답변 주셔서 감사합니다 :)
이규섭 2017-05
기존 리눅스 커널은 카비레이크 호환이 되지 않습니다.
테스트 머신을 구비해서 확인해 보신 후 구매를 진행하셔야 할겁니다.
     
랑구스 2017-05
테스트 머신을 구입해서 확인해 볼 생각입니다.

커널 업데이트나 드라이버 설치 등 여러가지 방법으로 시도해 보려구요 ㅎㅎ

답변 주셔서 감사합니다 :)


QnA
제목Page 4388/5724
2015-12   1764966   백메가
2014-05   5239499   정은준1
2020-07   3761   무아
2017-09   3761   빠시온
2016-01   3761   전설속의미…
2022-10   3761   김준유
2017-05   3761   신은왜
2014-04   3761   블루스카이
2017-05   3761   이미존재하…
2014-03   3761   이해찬
2015-07   3761   mkb6408
2015-01   3761   SecondToNone
2017-07   3761   lovemiai
2017-07   3761   jake
2019-03   3761   민사장
2014-03   3761   윈도우10
2018-08   3760   의롭게살리라
2017-03   3760   행수행님
2014-03   3760   황진우
2020-11   3760   나나나나나
2014-08   3760   윈도우10
2019-05   3760   어흥씨