박문형 2017-05

슈퍼마이크로 4GPU 서버가 3마리 보이는 군요..

인피니벤드는 아직 못하신 듯...

슈팅매냐 2017-05

ㄴ 인피니밴드 구성했습니다. 슈마 GPU서버에 4GPU단적이 있었는데 780Ti로 부터해서 980Ti 4개로 구성해보았습니다만...발열때문에 몇번 태워먹었습니다. 1080이나온김에 노드당 두개로 바꿨습니다. 성능차이는 980Ti 4개보다 1080 2개가 오히려 더 낫더군요.제가 계산하는 작업에 한해서요. R730에 GPU달아두니 발열하나는 걱정안해도 되더군요...조립보다 10-20도정도는 낮게 나옵니다.소음이 밖에도 들릴정도라...방음관련해서도 돈이 또 들어갈듯합니다.연구실 예산도 빠듯한데...ㅜ. 서버실 방음관련해서 추천할 만한게 있는지요..최대한 예산을 절약하고 싶습니다.ㅜㅜ

박문형 2017-05

슈퍼꺼 뒤에 옵션쿨러 안 달으신 듯 그거 달아야 4GPU에 견딘다던데

방음은 서버실 따로 운영하는 것 외 방법 없습니다.

일리케 2017-05

에어컨 앞에 대형 선풍기 하나 놔두세요 ㅋㅋㅋㅋ
보통 IDC에 비상용으로 대형 선풍기 몇대씩 두곤 하는데....
정말 에어컨 한두개 작동 이상있을땐 그 선풍기 켜놓으면 엥간히 효과 좋더란 ㅋㅋㅋㅋ

슈팅매냐 2017-05

공기 흡입되는 전면은 시원한데..후면에 서있으면 땀이 저절로..오늘 풀로가동헸는데..에어컨 키고 28도...(...)

회원K 2017-05

후면의 경우에는 제습기를 가동하세요.
의외로 많이 시원해 집니다.

X5450X 2017-05

훗 제 서버실은.. 항상.. 35도 고정입니다..

수랭으로 작업해놔도.. 허허허허 찜통-_-;;

epowergate 2017-05

서버에 1080 죽도록 돌리면 1080 무조건 죽어 나갑니다.
저희 고객중에 1080 500개 중에서 240개 죽이고 나서 모두 pascal로 이동하신분 계싶니다.
어차피 single precision만 있으면 되니까 1080으로 될줄 알았는데 1080이 1주를 못넘겨서 결국 모두 교체하셨습니다

슈팅매냐 2017-05

gpu랑 cpu를 함께사용하는데 실사용량은 75-90%사이입니다.gpu온도만 체크해보니 60도 정도입니다.6개월전부터 한대씩 추가해서 구성했는데 현재까진 문제없네요.비레퍼 카드는 아무래도 비추입니다..대략 gtx카드 수명은 2년정도네요..그 이후부터는 하나둘씩 나가기 시작합니다...계산용으로 사용하기 시작한건 3년정도 되었는데 (슈마서버) gpu다는데는 벤더사 제품이 발열면에서ㅠ좋더군요..

epowergate 2017-05

24시간 잠시도 쉬지않고 돌리는데 2년이면 정말 잘 버틴듯 합니다.
저희는 작업 특성상 1번 작업이 돌면 128대의 서버가 13~14일 (24시간 full로) 돌아가야 하는데 이때 1대라도 멈추면 모든 작업이 실패하기 때문에 좀 까다롭습니다.
그냥 돈으로 발르면 된다고 생각했는데 돈으로 발라도 않되는 경우가 종종 있어서 지금까지도 고민입니다.

슈팅매냐 2017-05

저희도 한번돌리면 3개월까지도 돌리네요.mpi+openmp+cuda모두 사용하는 계산이라..현재 사용하는 계산에는 노드당 2gpu면 충분하네요.gpu서버는 1u는 비추입니다.gtx는 같은1080이라도 모델에 따라 내구도가 천차만별이더군요.공기 흐름도 서버후면쪽을 향하는 그래픽카드를 선택해야하고..경험이 있는분께 부탁하는게 좋은듯합니다.테슬라는 서버전용이라 그런쪽은 괜찮더군요..

박문형 2017-05

실전경험이 있어야 하기에

어려운 문제입니다..

요번 년도에 인텔 서버 CPU 바뀌고 새로 나올 서버들에 대해 기대가 많습니다..
(GPU 서버들은 GPU카드들을 얼마나 더 많이 박을수 있느냐에 집중하는 듯합니다.)

슈팅매냐 2017-05

전에 한번 업체에 연락해서 받은 답변입니다.

문의주신 R730 에 GTX1080은 정식으로 지원되는 파트는 아니지만, 고객의 요청으로 장착해 드린적이 있습니다.

하지만, 아래 사항을 검토 하셔야 합니다.

1. 보통 R730의 파워 용량이 750W 정도 인데, GPU 와 함께 고사양의 CPU를 사용한다면 1100W 로 업그레이드를 권장 합니다.

2. R730의 정식 지원파트가 아니기 때문에 GTX의 온도를 감지할 수 없어 서버의 FAN 속도가 최대로 설정 되어 평소 수준보다 높은 소음이 발생 합니다. (별도의 서버실에 설치된다면 문제가 없겠습니다.)

3. 장착할 GTX 카드의 쿨러 크기가 큰 경우 간섭이 있을 수 있어, 쿨러의 폭이 Double-Wide 보다 작고, 길이가 레퍼런스 정도의 제품이어야 합니다.

4. 랙서버 내부 공기흐름이 전면에서 후면으로 향하기 때문에, GTX 쿨러의 방열핀 방향이 카드를 옆면(FAN이 보이는 쪽) 에서 가로로 배열되어 있어야 합니다.

3,4번 항목을 만족하는 제품으로
[MANLI] GeForce GTX1080 Twin Edition D5X 8GB 이 있습니다. 


저희는 다른 회사것 을 사용하지만 3,4번만 만족하면 괜찮았습니다..

박문형 2017-05

일반 비디오카드는 보통 메모리에 ECC기능이 없습니다..

쿼드로는 상위기종에 메모리에 ECC기능이 있습니다..

테슬라도 마찬가지로 메모리에 ECC기능이 있을 것으로 판단됩니다..

슈팅매냐 2017-05

테슬라에 ECC기능 있습니다.대부분 ECC기능이 켜져있을때는 계산이 느려지더군요..더블이 필요하지 않는이상 테슬라는 꺼려집니다..그런면에서 이전에 나온 타이탄블랙은 꽤 탐이나는 물건..

Induky 2017-06

이런 랙타입 장비들에 장착 되려면 레퍼런스가 답이더군요. 아무래도 내부공기를 외부로 순환 시켜줘야 하는 것도 그렇지만 플라워팬의 구조상 랙타입 서버에서는 쥐약입니다. 괜히 타이탄이나 테슬라, 쿼드로등의 카드들이 블로워팬으로 나온게 아니더군요.