이전까지는 CPU만 사용해서 계산했는데 Dell R730에 GPU가 장착가능하다는 얘기를 듣고 기존머신에도 설치해서 GPU노드만 총 10노드 구성했습니다. CPU 전용노드 포함해서 총 16노드.
사양은 E5-2690v4 5노드,E5-2697Av4 1노드 E5-2697v3 1노드, E5-2690v3 3노드(2노드는 4U로서 조립입니다.)
연구실 예산이 적은 관계로 한대씩 두대씩 들여놓다보니 복잡해졌네요..
GPU는 GTX1080을 노드마다 2개씩 설치했습니다.
성능은 만족스럽지만 소음은 어마어마합니다.더불어 발열도...서버실온도가 이전에비해 7-8도는 올라간듯 합니다.
올여름은 어떻게 버틸지..앞으로 에어컨도 한대 더 구입해야겠습니다.업소용 에어컨 한대로 감당이안될거 같네요.이외에도 이것저것 구입할게 많아지는군요..;
인피니벤드는 아직 못하신 듯...
방음은 서버실 따로 운영하는 것 외 방법 없습니다.
보통 IDC에 비상용으로 대형 선풍기 몇대씩 두곤 하는데....
정말 에어컨 한두개 작동 이상있을땐 그 선풍기 켜놓으면 엥간히 효과 좋더란 ㅋㅋㅋㅋ
의외로 많이 시원해 집니다.
수랭으로 작업해놔도.. 허허허허 찜통-_-;;
저희 고객중에 1080 500개 중에서 240개 죽이고 나서 모두 pascal로 이동하신분 계싶니다.
어차피 single precision만 있으면 되니까 1080으로 될줄 알았는데 1080이 1주를 못넘겨서 결국 모두 교체하셨습니다
저희는 작업 특성상 1번 작업이 돌면 128대의 서버가 13~14일 (24시간 full로) 돌아가야 하는데 이때 1대라도 멈추면 모든 작업이 실패하기 때문에 좀 까다롭습니다.
그냥 돈으로 발르면 된다고 생각했는데 돈으로 발라도 않되는 경우가 종종 있어서 지금까지도 고민입니다.
어려운 문제입니다..
요번 년도에 인텔 서버 CPU 바뀌고 새로 나올 서버들에 대해 기대가 많습니다..
(GPU 서버들은 GPU카드들을 얼마나 더 많이 박을수 있느냐에 집중하는 듯합니다.)
문의주신 R730 에 GTX1080은 정식으로 지원되는 파트는 아니지만, 고객의 요청으로 장착해 드린적이 있습니다.
하지만, 아래 사항을 검토 하셔야 합니다.
1. 보통 R730의 파워 용량이 750W 정도 인데, GPU 와 함께 고사양의 CPU를 사용한다면 1100W 로 업그레이드를 권장 합니다.
2. R730의 정식 지원파트가 아니기 때문에 GTX의 온도를 감지할 수 없어 서버의 FAN 속도가 최대로 설정 되어 평소 수준보다 높은 소음이 발생 합니다. (별도의 서버실에 설치된다면 문제가 없겠습니다.)
3. 장착할 GTX 카드의 쿨러 크기가 큰 경우 간섭이 있을 수 있어, 쿨러의 폭이 Double-Wide 보다 작고, 길이가 레퍼런스 정도의 제품이어야 합니다.
4. 랙서버 내부 공기흐름이 전면에서 후면으로 향하기 때문에, GTX 쿨러의 방열핀 방향이 카드를 옆면(FAN이 보이는 쪽) 에서 가로로 배열되어 있어야 합니다.
3,4번 항목을 만족하는 제품으로
[MANLI] GeForce GTX1080 Twin Edition D5X 8GB 이 있습니다.
저희는 다른 회사것 을 사용하지만 3,4번만 만족하면 괜찮았습니다..
쿼드로는 상위기종에 메모리에 ECC기능이 있습니다..
테슬라도 마찬가지로 메모리에 ECC기능이 있을 것으로 판단됩니다..