쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
안녕하세요,
현재 SuperMicro 사의 GPU 서버 SYS-741GE-TNRT 를 사용 중입니다.
이 서버는 내부에 전면 흡기 쿨러 4개, 후면 배기 쿨러 1개를 장착할 수 있는데, 구매 당시 5개 모두 Delta사의 PFR0912XHE 쿨러(DC 12V 3.6A)가 기본 장착 되어 있었습니다.
무시무시한 쿨러지요. 빠르게 돌때는 10000 RPM을 넘어가고, 무슨 제트기 소리가 납니다. (이런 점을 모르고 구매했습니다)
제가 지금 처해있는 상황이 저조차도 이해가 되지 않아.. 생략하지 않고 상황을 전부 적겠습니다. 멍청해보여도 양해 바랍니다..
옆 방에서도 들리는 소음 때문에 민원이 들어와서 쿨러를 변경하려고 했고, 검색을 통해 적당한 성능 및 소음을 가진 Nidec 사의 V92E12BMA7-07 (DC 12V 0.62A)모델을 구매했습니다. PWM 기능이 있는 4핀 쿨러 중에서 성능과 소음을 적당히 줄이고 서버가 있는 방의 에어컨을 상시 가동하기로 한거죠.
연결 과정에서 제가 실수를 하나 했는데, Nidec 쿨러의 커넥터가 기존 Delta 쿨러의 커넥터와 다르게 생겼고, 이로 인해 보드에 단단히 장착이 안되어서.. 전선을 모두 잘라 피복을 벗기고 수동으로 연결한 뒤에 전기테이프로 마감을 했습니다 (제가 왜 그랬을까요). 그러니까
Nidec 쿨러 - Nidec 쿨러에서 나온 선 - (봉합) - Delta 쿨러의 선 - Delta 쿨러의 커넥터
이렇게 연결이 되어있는 게 5개 있습니다.
그리고 연결 후 컴퓨터를 켰는데, 잘 돌아가는 것 같았습니다만..
쿨러가 항상 Full 로 가동되는 겁니다. PWM 기능이 작동을 안해요. 기존의 delta 쿨러를 사용할 때에는 최고 속도에서는 엄청 시끄러웠지만 idle 상태에서는 분명 얌전히 돌아갔습니다.
Linux 서버 상에서 sensors, pwmconfig 등 명령어를 입력했을 때에 인식도 되지 않습니다. pwmconfig를 수행하면 pwm 컨트롤이 가능한 모듈이 설치되지 않았다고 뜨네요. (다만 이전에 delta 쿨러를 정상적으로 사용할 때 pwmconfig 를 해보지 않아서 원래 안되는건지 잘못돼서 이러는건지 모르겠습니다.)
제가 예상한 원인은 전선의 임의 절단 및 연결이었고, 그래서 몇 가지 테스트를 더 했습니다.
1. Delta 쿨러 - Delta 쿨러에서 나온 선 - (봉합) - Delta 쿨러의 선 - Delta 쿨러의 커넥터
즉, 기존에 delta 쿨러 선을 잘랐다가 다시 연결한 꼴입니다.
어.. 그런데 이것도 PWM이 안됩니다. pwmconfig 인식도 안되고, 항상 full로 돌아갑니다. 분명 원래 잘됐던 애인데요. 큰일났다 싶었습니다.
2. Nidec 쿨러 재구매 및 정상 연결
1번이 안되니까 전선 절단 및 연결에서 잘못된게 분명하다고 생각하고, Nidec 쿨러를 다시 사서 꽂아봐야겠다 싶었습니다.
어.. 그런데 새거를 사서 그대로 꽂았는데도 안됩니다. 이해할 수가 없습니다.
얘가 왜 이러는 걸까요. 어떻게 해야 문제가 해결되고, Nidec 정도의 중간 성능 쿨러로 PWM 컨트롤을 사용할 수 있을까요.
몇 가지 시도해본, 정황을 더 말씀드리면
제 서버의 BIOS 세팅에는 쿨러 관련 기능 조절 옵션이 없습니다. pwmcontrol에서 인식도 되지 않아, ipmitool을 써봤습니다.
ipmitool sensor 를 사용하면 쿨러의 RPM은 잘 나오는 것 같습니다.
ipmitool 에서 쿨러 성능을 optimal로 세팅하면, 쿨러가 잠깐 약해졌다가 바로 다시 최고 속도로 돌아갑니다. 이 얘기를 해주니 ChatGPT는 PWM 신호가 가기는 하는 것 같다고 하네요..
ipmitool 에서 속도를 수동으로 조절해도 효과가 없습니다.
쿨러를 테스트할 때에는 쿨러 5칸 중에서 하나만 꽂고 진행을 했습니다. 다만 어디에 꽂아도 마찬가지입니다.
쿨러 때문에 서버 자체를 못 쓰고 있는 상황이 오래 지속돼서.. 너무 답답해서 글을 남깁니다.. 회원님들의 고견을 부탁드립니다.
FAN 1-5번 팬속 0x14 (=20%, 16진수)
ipmitool raw 0x30 0x70 0x66 0x01 0x00 0x14
FAN A와 B 팬속 1%
ipmitool raw 0x30 0x70 0x66 0x01 0x01 0x1
질문에서 가장 중요한 것을 빠트렸는데 GPU 서버인데 어떤 모델의 GPU를 몇 개나 사용하느냐는 것입니다..
GPU 서버에서 가장 전기 많이 먹고 가장 열이 마니나며 가장 비싸기에 열을 확실히 식혀주어야 할 곳은 GPU 들입니다..
시끄럽다고 펜의 풍량을 강제로 약화시키면 BMC는 GPU쪽이 뜨겁기에 무조건 펜을 GPU가 안정된 동작을 하기 위한 GPU의 온도가 될 때까지는 펜을 풀로드 동작시킬 것이고 물리적으로 펜의 풍량을 약하게 하였기에 GPU에 데미지를 입을 수도 있습니다..
보통 완제품 혹은 베어본 형태의 GPU서버는 테스트되고 호환되는 GPU 카드 리스트가 있고 이것들은 동작및 열계산과 테스트까지 다한 상태에서 제조사가 보증하는 것이기에 호환이 안되는 GPU카드를 사용하거나 개조를 하면 제조사에서는 품질보증이 깨지는 것과 마찬가지가 됩니다..
공랭식 GPU서버에서 펜소음은 피할려고해도 피할수 없는 것이라 따로 소음통제가 잘 되는 랙과 전산실(방)은 거의 필수가 됩니다.. 전기먹는 것도 만만하지 않습니다..
제가 볼때는 원상복구를 하고 따로 서버실을 마련하는 정도가 최대가 아닐까 합니다..
글에서 온도센서에 대한 말씀을 드리지 않았는데, 현재 GPU를 사용하지 않은 상태로 팬을 만지작거리는 중이라 GPU는 가동중이 아니며, 현재 대부분의 온도 센서에서 온도는 20-30도 전후로 나옵니다. 따라서 시스템 상에서 강제로 풀로 가동시키려고 하는 것은 아니지 싶습니다.
풍량을 약화시키는 대신 에어컨을 상시 가동하려고 합니다. 또한 쿨러를 변경하고 당분간은 GPU 온도를 계속 모니터링 하면서, 온도를 충분히 낮추지 못한다 싶으면 다른 방법을 그때 다시 고민해보려고 합니다.
서버실은 제가 잘 알아보지 않고 랙형이 아닌 데스크탑 형을 구매한 관계로 입주 거부 당했습니다 ㅠ 최대한 현재 상황에서의 처리가 불가피 하네요..
원상복구라면 원래 사용하던 것과 같은 Delta 사의 쿨러 5개를 구매하여 장착하는 것을 말씀하시는 것인지요? 새 nidec 쿨러에서 안되니까 delta 것으로 원상 복구했을 때 과연 원래대로 되는건지도 확신이 안서네요 ㅠ
==> 네.. 구매를 하시던 수리를 하시던 펜이 전에 사용하던대로 셋팅되면 됩니다..
저거 파츠로 구매하면 시간도 마니 걸리고 꽤 돈 들어갈겁니다..
쿨러는 어떤 선을 어떻게 연결하였는지 설명이나 사진이 없기에 재대로 연결이 되었는지 아닌지 자체를 모른다고 봐야 합니다..
4핀 PWM 펜도 2핀 (12V, 그라운드) 혹은 3핀만 연결되면 계속 풀로드로 돌아갑니다..
가능하시면 BIOS와 BMC 펌웨어를 최신으로 업데이트 해보시기 바랍니다..
그 외 보드 자체가 펜속도를 셋팅하지 못하게 되어 있거나 무조건 100% 로 동작하게 디자인 되어 있을수 있습니다..
BIOS와 BMC 펌웨어 업데이트도 한번 시도해보겠습니다. 감사합니다.
DL20 서버를 고객에게 납품을 하면서 고객측에서 팬소음에 대한 엄청난 이슈 제기를 받았습니다.
확인해보니,
HPE 의 경우에는 BIOS에서 Power 에 대한 설정을 낮춘다고 해도 온도 제어가 되지 않았습니다.
저 역시, pwmcontrol 을 확인해 보았지만, 해당 장치가 검색되지 않는다고 나오더군요.
윈도우를 설치후에 SPP 를 설치하니, 언제 그랬냐는 듯이 소리가 조용해지더군요.
나중에 알고 보니까 AMS(Agentless Management Service) 라는 드라이버가 별도로 존재하더군요.
다만, 이게 저 같이 Appliance S/W 로 동작하는 시스템에서는 별도로 설치가 불가능 해서 시스템을 역으로 Rescue Mode 로 들어가서 강제로 패키지를 설치하니
조용해 지더군요. 당연히 iLO 를 통한 온도 컨트롤을 위해서 OS에 현재 온도 값을 알려주는 기능을 하는 것 같았습니다.
1. PWM 이 지원되는 다른 Fan 으로 교체 해봤습니다. HPE 의 경우에는 아예 부팅조차 되지 않았습니다.
2. pwmcontrol 에서 안 나오는 건, 슈마역시 ACPI 에 의해서 컨트롤 되는 Fan 이 아니여서 그럴 확률이 있습니다.
3. 예전에 Nutanix (시스템은 슈마임) 도 팬 소음에 대한 비슷한 요구 조건이 있어서, BIOS에 접근해서 Optimal 로 바꾼 적이 있습니다.
https://www.2cpu.co.kr/QnA/855704 에도 해당 내용이 있습니다.
기존 팬을 바꾸고 Optimal 로 바꿨는데 다시 최고 속도로 돌아간다면 정말 열에 의해서 그렇게 동작하는 것일 겁니다. GPU 서버라고 하셨으니..
이는 어쩔 수 없을 겁니다..... 참고적으로 저항 같은 걸 달아서 팬속을 줄인다고 한다면 역시나 부팅 조차 안되거나 뻗을 겁니다.
AMS에 대해서는 좀 더 알아보겠습니다.
제 컴퓨터는 BIOS에 Fan 속도 조절과 관련된 설정이 없어서, ipmitool 로 optimal로 바꾸었습니다.
느려졌다가 다시 최고 속도로 돌아간다는 것은 신호를 받고 한 1초 느려졌다가 다시 full로 돌아가는 느낌인데, 잠깐 신호 같은걸 처리하고 다시 full로 가동되는 느낌이라고 할까요.. 실제로 GPU나 다른 프로그램도 가동 중이지 않고, 현재 대부분의 내부 온도 센서도 20-30도를 나타내고 있어서 열 때문일까 싶기는 합니다. ipmitool로 속도를 강제로 10% 이렇게 설정해도 변하지 않고요.
아무쪼록 답변 감사드립니다.
이 제품인데
구매하신 곳이나 수입 총판쪽에 시끄럽다고 펜속도 줄이는 방법 가르쳐 달라고 해보세요..
https://www.supermicro.com/en/support/resources/gpu
여기서 오른쪽에 시스템 모델명 넣으면 호환성 검증된 GPU 모델이 나옵니다..
RTX A4000 은 다행히 검증되었다고 나오네요..
그리고 랙마운트 키트가 따로 있습니다..
Mounting Rails MCP-290-00059-0B 이렇게 나오는데 위 제품 링크의 Parts List 열어보면 옵션 파츠에 나옵니다..
하나의 시스템 놓고 두 사람이 같이 있어도 한 사람은 무지 시끄럽다라고 느낄 수 있고 다른 사람은 그냥 그렇네라고 느낄 수 있습니다..
일반적으로 요즘 나오는 120mm 펜이 달린 PC들의 펜 rpm은 1,000rpm 이하입니다.. (대략 800rpm정도??)
랙마운트 키트라는걸 처음 알았네요; 찾아보니 현재 데스크탑에서 케이스 변경 없이 키트만 구매하면 랙에 장착할 수 있는 것 같아 더 알아보겠습니다.
새 delta 쿨러 5개 구매에.. 키트 구매에.. 전선 결합한다고 시간만 날리고 바보짓 비용 제대로 들이네요 ㅠ
시끄러운건 정말 시끄럽습니다. 방 안에서 대화가 안될 정도고, 옆 방 사람도 방해된다고 해서;
파워 모듈도 2000W와트 짜리인지라 여기도 소음이 꽤 날수 있습니다.... (파워 모듈 냉각펜만 최대 2.8A던가??)
PMW 가 동작을 않하는게 아니라 충실히 잘 하고 잇는 것입니다.
BIOS 의 명령에 따라 100% 로 돌리고 잇는 것입니다. (쿨러를 바꿔 봤는데.. 역시 100%...)
시스템에 문제가 있어..