[ETC] [IPMI Card] ASRock Rack PAUL 1차 테스트 후기

병철   
   조회 1628   추천 6    

http://2cpu.co.kr/hardware_2014/44177 (60)
https://www.asrockrack.com/general/productdetail.asp?Model=PAUL (39)

며칠 전에, ASUS H410M-K 메인보드에서 IPMI 사용하기 이라는 제목으로 글을 쓴 것이 있습니다.

댓글로 몇몇 분들이 물어보셨고, 댓글에 있는대로 제품은 ASRock Rack의 PAUL 카드 입니다.


ASRock Rack의 X570 칩셋 서버용 메인보드들에 대해 정보를 찾다가, Accessories 탭을 눌렀는데 발견하게 되었고

제품이 상당히 매력적이고, 테스트를 해 보고 싶어져서 정식으로 샘플 제품 요청 후 샘플을 수령하여, 테스트를 진행하고 있습니다.

자발적으로 테스트를 하고 싶어서 정식으로 샘플 신청을 하였고, 부속품 준비가 늦어져서 카드는 실제로 연결 해 봤지만 기능 활용은 이제 해 봤네요.


지금까지 간단하게 테스트 한 내용 공유 합니다. 아직 정식 출시 이전이며 제품 정보만 공개 된 상태입니다.


제품 스펙과 사진은 아래와 같습니다.


ASPEED AST2500칩을 중심으로, 기본적으로 D-SUB 출력과 LAN 포트를 통한 IPMI를 제공합니다.





여러가지 내부 커넥터들이 있으며,

메인보드에 따라 다르겠지만 지원하는 경우 SMBus, PMBus, Power Supply PMBus 등 여러가지 Bus 신호를 받아 올 수 있습니다.

기본적으로 서버 보드나 워크스테이션 보드 뿐만 아니라 일반 PC 보드나 조립 서버에서 정상적으로 동작하는지를 확인하고 싶었습니다,


일반 메인보드에서는 SMBus나 PMBus는 헤더가 없는것이 보통이기 때문에, 연결하지 않았습니다.

또한 아직 매뉴얼이 나오지 않은 것인지 문서나 자료를 디테일하게 받지 못해서 GPIO관련 헤더는 테스트를 아직 진행하지 못했습니다,

PCIe x1 슬롯에 장착 후, 대기 전원과 vMedia, KVM을 위해 USB 케이블을 연결 해 주면 기본적인 기능은 바로 사용 할 수 있습니다.

아래 사진에 있는 USB 9-Pin to 9-Pin 헤더 케이블을 구하는데 상당히 애를 먹었습니다. 기본적으로 샘플은 카드 단품만 제공이 되었습니다.


테스트 벤치 사양은 아래와 같습니다

CPU : Intel Core i7-10700 / RAM : SAMSUNG 16GB PC4-25600U × 2EA

MB : ASUS PRIME B460M-A / VGA : NVIDIA GeForce GTX 960





세팅 중, FAN 커넥터의 테스트를 위해 PWM이 지원되는 FAN이 설치 된 여분의 CPU 쿨러를 끼워 두었습니다 (보유한 모든 시스템 팬이 PWM 미지원)

연결 후, 정상 부팅 진행 하였고, 내부망 DHCP를 통해 자동으로 IP 주소를 할당 받습니다.


DHCP 목록에서 IPMI IP 주소를 찾아서, 접속 후 여러가지 센서값이 올라오는 것을 확인합니다.

계정은 여느 IPMI가 다 그렇듯이 기본값으로 admin / admin 입니다.



카드 연결 후 초기 세팅과 재부팅을 몇번 하다 보니, 에러 로그가 발생 된 것도 확인 할 수 있습니다.


FAN 속도의 경우도 정상적으로 표시되고 있는 것이 보입니다.


KVM과 vMedia 기능이 정상적으로 작동하는지 보기 위해서, HTML5 기반 KVM으로 선택하여 실행 후 Virtual CDROM으로 부팅합니다.

원격 서버로 바로 연결해서 마운트 하는 기능도 지원합니다.








WIndows 10을 설치 진행 하였고, 처음에 내부 네트워크 사용량이 많아 속도가 많이 불안정 했습니다.

그러면서 설치 도중에 연결이 끊기면서 설치가 중단되는 모습을 확인 할 수 있었습니다.

아무래도 로컬에 있는 ISO를 원격지로 전송하면서 설치 하기 때문에 네트워크 상태에 영향을 많이 받는 것은 어쩔 수 없는 듯합니다.



2차로 ISO 파일을 좀 가벼운 순정 ISO 파일로 바꾸고 다시 시도합니다.


두번째 시도 시에는 내부 네트워크 사용량이 많지 않아서 순조롭게 진행이 되었습니다.



OS 설치 후, 정상적으로 부팅까지 진행되며 원격으로 조작할 수 있습니다.

다만 처음 부팅 중 강제로 재부팅을 몇번 시도하면서 애먹은 부분이 있는데 아래와 같습니다.

아래 창이 뜨면 KVM에서 키보드가 인식이 되지 않아서 제어가 불가능 하였습니다. 이 경우 전원을 강제로 재시작 해 주어야 하는데,

아직 매뉴얼이 없어서 GPIO 헤더를 연결하지 못 했다보니 직접 손으로 재부팅을 해 주었습니다. KVM이 Halt 상태가 되는 듯 합니다.

SuperMicro나 다른 서버에서는 어떨 지 모르겠는데 동일하게 KVM 조작이 불가능한 상황이 발생할지 궁금해지네요.





다음으로, GPU를 장착하고 PAUL을 장착하게 되면 PAUL을 통한 KVM이 가능한가에 대한 부분입니다.

보통 서버나 워크스테이션의 경우 GPU를 장착하게 되면, BMC의 내장 그래픽이 비활성화 되며 IPMI에서 KVM을 통한 화면 확인이 불가능합니다.

이 때는 V는 불가능하고 KM만 가능해서 보통 Ctrl+Alt+Del만 날린다던가, 화면을 보지 못한 채 감으로 서버 상태를 파악해야 합니다.

다만 PAUL의 경우엔 외장 카드 형태이고, 분명히 VGA로 인식이 됩니다. 이 경우 GPU를 장착하고 PAUL을 끼우면 어떻게 되는지 테스트 해 봤습니다.





당연하게도 추가로 장착한 GPU가 Primary로 잡히면서 장착과 동시에 PAUL은 화면이 나오지 않게 되었습니다.

다만 메인보드에 따라 다중 GPU가 장착 되었을 때, GPU Primary를 수동으로 지정 가능한 경우가 있어 PCIE 장치를 Primary로 설정하니 정상적으로

KVM도 가능하고 모니터에서도 PAUL을 통해 화면이 출력 되었습니다. 이 부분은 온보드 IPMI들은 불가능한 대단한 강점으로 볼 수 있다고 생각 합니다.


마지막으로 GPU가 정상적으로 동작하는지 확인하기 위해 드라이버 세팅 후 동영상을 재생 해 보는 것으로 간단하게 1차 테스트를 마쳤습니다.



GPU만 장착하고 아무런 케이블도 연결하지 않고 테스트를 진행했고..

수동으로 하드웨어 가속을 설정하려고 해도 인식하지 못하며 GPU를 사용하지 못하는 모습을 볼 수 있습니다.

이럴 경우 Headless-Dongle이나 모니터 케이블을 연결해 주는 것으로 모니터가 연결 된 것으로 인식시켜 해결 할 수 있습니다.


모니터 케이블을 연결 후 다시 하드웨어 가속 설정을 진행 하였고 정상적으로 H/W 가속이 되는 것을 확인했습니다.



일단 오늘은 여기까지 가볍게 테스트를 진행했고, 대부분의 궁금증을 해결했습니다.

혹시 궁금하신 사항이 있으신 분들이 계시면 댓글에 남겨 주시면 테스트 가능한 경우 진행 후 2차 결과도 올리겠습니다.


현재 예정되어 있는 앞으로 테스트 진행 할 예정인 내용은 아래와 같습니다.


1. USB 3.0 PCIe x1 라이저에 연결하여서도 사용 가능한가? (공간이 협소한 경우 라이저로 분기)

2. M.2 슬롯에 장착해서 사용 가능한가? (M.2 to PCIe x4 변환 젠더 사용. PCIe 슬롯이 없으면 이렇게라도 사용)

3. Hackintosh 시스템에서도 사용 가능한가? (이건 지인 요청입니다. 부팅 후 AST2500 내장 GPU 때문에 커널패닉이 예상 됩니다.)

4. 이미 수 많은 PCIe 카드가 장착 된 여러가지 HEDT 시스템에서도 정상 사용 가능한가? 

ㄴ 다음 주 중에 미리 섭외한 Xeon W-3175X + ASUS DOMNUS EXTREME 시스템 등 여러가지 HEDT 시스템에 테스트 예정입니다.

5. 이미 BMC 칩셋이 온보드에 내장 된 서버 메인보드에 부착 할 경우 오작동 하는지? 두 시스템이 공존하는지?


이상입니다.

짧은글 일수록 신중하게.
손님 01-05
시간가는줄 모르고 읽었습니다. 리뷰 감사합니다^^
스팩 확인할때 공식홈의 정보는 확인했습니다

그런데 혹시 USB 전면 헤드용 포트에 케이블 연결 안 하면 제어가 안 되나요? (케이블 확보도 문제지만, 제경우 전면 포트 + 무선랜 해버리면 꽉 차버려서 서버빼곤 안 되겠네요)

그런데 보드 우측에 놔둔 레이스 프리즘 붙어있는 쿨러 덩어리는 뭔가요?

이미 알고 계시겠지만, OS 설치같은것 안정적으로 할려면 카드에 붙어있는 USB포트에 미디어 꽃아서 그걸로 부트해보세요

제경우 KVM 다는 큰 이유중 하나가 강제 재부팅인데, GPIO 필수인가보네요



1. 딱히 문제는 없을꺼라 생각합니다 (결국 케이블 연장하는것밖에 없음)
2. 슬롯보단 BIOS가 더 문제일꺼라 생각합니다 (NVMe-PCIe해서 그래픽이나 NIC등 이것저것 해봤지만 문제 없었음) (다만 이건 시험해봐야할듯합니다)
3. 부트한 상태에서 잡는건 포기해주세요 (애초에 맥은 멀티GPU랑 안 친하고, 부트자체도 보장 못합니다)
다만 부트하기전이라면 쓸 수 있고, SSDT로 지정해서 죽이면 부트 넘길 수 있습니다
     
병철 01-05
사양과 제품의 역할은 상당히 매력적입니다.

USB 연결을 안 하면 KVM에서 마우스 / 키보드 제어가 안 됩니다. 이건 내심 기대했던 부분인데 역시나 아쉽더군요..
또한 전원이 꺼져 있을 때, IPMI 카드가 켜져 있을 수 있게 대기 전원을 공급 해 주는 역할을 하기 때문에 필수 연결 케이블입니다.
그래서 BIOS에서 S4/S5 절전 설정 시 시스템 전원이 꺼진 상태에서 IPMI 카드 작동에 문제가 생길 소지가 있을 수 있습니다.

USB 포트가 부족한 것은 시중에 여러가지 9-Pin 확장 보드들이 많이 나와 있어서 큰 문제는 안 될 듯 합니다..
NZXT Internal USB Hub Gen 3 / http://prod.danawa.com/info/?pcode=12885599
USB포트 헤더 확장 카드 PC 튜닝 쿨러 연결 / https://smartstore.naver.com/jplplaza/products/5060324139

다만 9-Pin to 9-Pin 케이블 구하는 것이 매우 고역입니다. 따로 구하느라 며칠 동안 고민하고 애 먹었습니다.

레이스 프리즘이랑, 작은 LP 쿨러는 FAN을 연결 해 보려고 FAN을 찾아 보는데 4-Pin PWM 지원하는 팬이 없어서 어쩔 수 없이 대안으로 남는 CPU 팬을 붙였습니다.
가지고 있는 FAN이 전부 3-Pin DC 제어만 가능한 FAN 이더라구요. 그래서 테스트 동작 확인용입니다. 실제 사용에서는 시스템 쿨러를 연결하는 식이 될듯 합니다.

USB 포트와 SD 카드 슬롯을 테스트 해 보려고 했는데, ASRock Rack 서버들의 IPMI 매뉴얼을 봐도 설명이 너무 막연해서
아마 특정 파티셔닝을 요구하거나 포맷을 요구하는 듯 한데, FAT32는 ISO 용량 때문에 불가능해서 NTFS USB로 ISO 파일 넣고 재부팅 시켰는데
vMedia 목록에 USB에 저장 된 ISO 파일이 하나도 안 나와서 이거는 지속적으로 시도 중입니다. SD 카드가 없어서 아직 SD는 테스트를 못 했습니다.

GPIO는 별다른 것은 아니고, 현재 제품에 대한 Quick Install Guide만 제공 받은 상태입니다. 그래서 상세한 매뉴얼이 없습니다.
Quick Install Guide에 AUX 패널이 2개가 있는데, 여기에 무슨 역할을 하는지는 없고 GPIO, GND 이런 식으로만 표시가 되어 있습니다.
아마 차후 상세 매뉴얼을 제공 받으면 아마 매뉴얼 내부에 전원 버튼 제어를 위해 AUX와, PW/RESET SW에 연결 가능한 핀이 뭔지 나와있지 싶습니다.
GPIO라고 그냥 AUX 핀 표시가 그리 되있습니다. 역할에 대해 파악을 못 했습니다.

위에 말한 9-Pin 헤더 케이블, AUX 패널 케이블 같은 것은 실제 제품 판매가 시작되면 구성품으로 포함되지 않을까 조심스레 예상 합니다. (ASRack 제품이 구성품 혜자)
물론 이게 약간 커스터마이징 제품에 가깝다 보니 제공이 안 될 수도 있는데 (기능은 만들었으니 알아서 써라), 샘플이라 단품만 제공받은 경우일 수도 있습니다.

1. 아마 큰 문제 없을 것으로 생각 합니다. 채굴기도 동작을 하니까요
2. BIOS가 걱정 되는데 이 부분은 만일 안 되면 타 제조사 메인보드에서도 테스트를 할 수 있어서 몇가지 보드에서 더 테스트 예정입니다.
3. 이 부분에 대한 조언 감사 드립니다. SSDT로 지정해서 테스트 해 볼 수 있도록 하겠습니다.
부트로더 전 까지 PAUL을 통한 IPMI를 사용 할 수 있다면 Real-Mac보다 훨씬 나은 것이 아닌가 하는 생각이 듭니다. Real-Mac은 이런 기능이 없으니..

P.S. Quick Install Quide를 게시글 상단에 첨부 했습니다.
          
그러고보니 저런 허브를 쓰면 되긴하겠네요 (MacOSX만 아니면;) (Mac경우 내장 블투를 저런걸로 연결하면 가끔 못 알아먹음) (이외에 맥경우 15포트 제한등 USB 관련해서 이것저것 민감한게 많아요)

설마 팬 시험할려고 저런걸 연결하신건가요

NTFS는 아마 안 될꺼고, exFAT를 시험해보셔야할듯합니다 (라이센스랑 은근히 복잡한 구조땜에 NTFS는 지원될 가능성 낮음)

전원 스위치에 연결이라면 설마 보드의 전원 스위치 포트에 물리적으로 연결후 다시 IPMI에 스위치를 연결하는식인건가요? (모 대기 0왓 파워가 생각남) (다만 이경우 렙탑등은 해당 없겠네요) (어차피 리셋만 되면 나머진 별로 신경 안 쓸꺼라 연결 안 해도 패닉 걸렸을때 리셋만 잘 되길 빌어야죠)

2. 가능하다면 다른 제조사 보드도 좀 부탁드립니다 (검색해보면 Asrock/MSI/Gigabyte정도는 사례가 있는듯)
3. SSDT로 끄는건 Nvidia + AMD(or Intel)로 구성후 맥에서 Nvidia죽이고 쓰는 경우에 쓰는 방법을 구글링하면 PCIe번호를 지정해서 ACPI상태를 제어해서 꺼버리는 코드 나옵니다 (Disable Nvidia Graphics SSDT 이런식으로 검색하면 나와요)



추신 1 : 참고로 이거랑은 상관없지만, 리얼맥은 조금 재미있는게 BT타입인 매직 키보드/마우스를 BIOS는 물른이고, Driver 안 잡힌 상태에서 이용이 가능한데, 이게 BIOS등이랑 관련된게 아니라 맥용 순정 무선 모듈이랑 연동되는거라 순정 모듈을 변환해서 PCIe에 연결하면 일반 PC에서도 잘 됩니다 (PE등으로 부트해서 장치 관리자에서 보면 HID로 뜸)

추신 2 : 어차피 화면 출력 + 강제 리셋만 가능하면 나머진 안 되어도 무시할 수 있습니다 ㅠ.ㅠ (가끔 외딴곳의 서버 다운되어서 리셋 버튼 1개 누르러 (아무도 없어서 대신 눌러줄 사람 없음) 가는게...)

추신 3 : 렙탑 Big Sur로 업글하다보니 이런 시간이 되버렸네요 (귀찮아서 미루다가 이제 Catalina -> Big Sur로 갈아탐)
               
병철 01-05
USB 허브의 경우 제가 조립PC쪽 일을 하고 있어서, 몇번 사용 해 봤는데 일반적인 Windows 환경에서는 큰 문제가 안 될 듯 합니다.
FAN의 경우는 찾다 찾다 보니 없어가지고 그냥 남는 CPU 쿨러를;..

exFAT으로 한번 해 보겠습니다. 안 그래도 ASRock Rack 서버들 매뉴얼 보면서 관련해서 매뉴얼 있는지 찾고 있습니다.

전원 제어는 전원 스위치에 연결 하는지 SMBus를 통해 제어 하는지 어떤 식으로 정확히 제공 하는지에 대해서도 데이터 시트 요청 해 뒀습니다.
자고 일어나니, 아마 전원 버튼을 직접 제어하는 것은 아닐 거라고 다시 생각이 드는데 SMBus로 컨트롤이 되는건데 안 되고 있는거면 특성 문제 같습니다.
아무래도 보드를 바꿔가면서 테스트 해 봐야 할 것 같습니다 ASUS 메인보드에서는 Power On by PCI-E 옵션을 활성화 해도 작동이 안 되네요.

ASRock, GIGABYTE, MSI 메인보드 각각 테스트 예정이고 일단 Intel 기반 시스템을 우선적으로 테스트 하려고 하고 있습니다.
가능하면 AMD Ryzen 시스템에서도 테스트 해 볼 수 있으면 진행 해 보도록 하겠습니다. SSDT 관련 내용은 전달 했고 상당히 흥미로운 부분이 될 것 같습니다.

일단 확실한건 화면 출력 + 강제 리셋은 작동을 한다는 것입니다. 근데 오늘 아침에 테스트 해 보니 Hard Reset이 갑자기 동작을 안 하는데
데모 기간 내에 이 부분이 확실하게 동작 할 수 있도록 테스트를 꼭 해 볼 수 있었으면 좋겠네요.
     
송진홍 01-05
옆에 쿨러들은 PWM 기능 테스트를 위해
Paul 카드에 연결한 것이고 그 중 하나를
프리즘 쿨러 옆에 세워둔 것일 뿐입니다.^^;;
     
병철 01-05
아 참 파워 제어에 대해서 본문에 쓰지 못 하고 깜빡한게 있습니다.
일단 확인 한 내용입니다. 아마 AUX 패널을 통한 제어가 아닐 수도 있지 않을까 갑자기 생각 해 봅니다.

시스템 전원이 켜져 있으면 Host Online으로 표시가 됩니다. 이 때, Hard Reset에 기본적으로 체크가 되고 작동시키면 리셋버튼 누른 것 처럼 셧다운 후 부팅 합니다.
시스템 전원이 꺼져 있으면 Host Offline으로 표시 되고, Power On에 체크가 되어 있습니다. 근데 이 때 작동 시키면 시도만 하다가 실패하고 작동하지 않습니다.
또한 마찬가지로 전원이 켜져 있을 때, Power Off에 두고 작동 시키면 작동 되지 않았습니다. 시도만 하고 실패 합니다.
Power Cycle은 누르면 시도 하다가 통째로 카드가 프리징 걸립니다. 뭔가 하다가 Halt 되는 듯 합니다.
ACPI Shutdown은 누르면 그냥 무반응 입니다. 아예 반응이 없습니다. (Windows 부팅 상태)

초기 버전에다가 샘플이라서 펌웨어가 100% 완전하지 않을 수도 있습니다. 일부 Sensor 목록은 그냥 값 표시 자리에 [Object] 라고 나와서..
추측 상 AUX 패널이 아니면 Chipset SMBus를 통해 제어 하는 것이 아닌가 하는데.. 이게 BIOS 설정을 손봐야 작동하는 건지..
이 부분도 추가로 여러가지 시도 해 보도록 하겠습니다. 아래 사진은 Power On 시도 하면서 기다리라고 하는 상태인데 저러다가 실패 합니다.

          
보통 저걸로 쓰는건 Hard Reset밖에 없을껍니다 (나머지는 그냥 OS에 원격 접속후 꺼버리면 그만이니 안 되어도 어찌됩니다)
               
병철 01-05
오늘 아침에 해 보니 또 잘 안 되서 여러가지 시도 중 입니다. ㅋ
          
참고로 센서값에서 일부가 공백이거나 하는건 정상이에요

대부분의 제조사 보드가 실재 달린 센서 개수 < ACPI 정의해둔 개수라서 보통 값 안 뜨거나, 비정상인 항목이 존재해요 (이거 딱 맞게 되어있는 경우가 더 희귀)

그러고보니 ESXi랑 이넘 연동시킬 방법은 없겠죠? (있으면 공식 지원 안 되는 일반 데탑 보드나, 지원 기간이 끝난 구형 기종으로 돌릴때 연동하면 되겠네요)
               
병철 01-05
ESXi 올리면 정상적으로 IPMI로 인식 할 것 같은데, 다만 PAUL에 센서 값 넣어주는거 부터가 문제가 될 거 같습니다.
일단 일반 메인보드에서는 PMBus, SMBus 헤더를 뽑아 둔 보드는 사실상 전무하고 파워서플라이도 PMBus가 지원하는 제품은 서버 제품들 밖에 없으니 말이죠.
                    
파워까진 안 바래도 그냥 흔한 CPU/PCH/Disk온도랑 팬 회전수, 디스크 SMART 이정도만 체크되어도 거의 문제 없어요
송진홍 01-05
와.. 않그래도 저번글 보면서 상당히 관심 있었는데..
이렇게 소중한 정보를 올려주셨네요..
정말 시간가는 줄 모르고 읽었습니다.
정말 감사합니다.^^
     
병철 01-05
실제 출시로 진행되면 구매하실 분이 많을 것 같습니다. 저도 하나 살 것 같구요..
그동안 메인보드에서 온보드 IPMI가 지원되지 않으면.. 목적이 좀 다르지만은.. 억지 대안으로라도 시중에 나온 제품이 Teradici PCoIP 같은 것 밖에 없는데..
정식 출시도 아직 확정은 아니라.. 가격에 대해서는 살짝 귀띔만 받았는데, 상당히 경쟁력 있고 매력적인 가격입니다.. 기존 PCoIP 비하면 현저합니다.
과암 01-05
먼저 상세한 테스트 후기 감사합니다
IPMI 사용 이유가 개인적으로는 장애 트러블 슈팅(H/W LOG) 과  V-KVM V-MDEIA, 그리고 강력한 파워 해들링이라고 봅니다
범용성을 가진  장비이니 HW MAINTENANCE는 논외로 두겠습니다

USB 2.0 케이블 연결이 V-MEDIA 연결로 보이는데, OS설치 속도와 링크 끊어짐의 원인이 USB2.0의 느린 속도가 문제이지 않을까 짐작해봅니다

그리고 외부 비디오카드 테스트는 제가 생각 안한 부분인데 재미 있네요

파워 부분은 메뉴얼이 제공되어 꼭 빠른 해결 기대해봅니다 이게 안되면 원격데스크톱과 차이가 없어 지네요ㅜㅜ

ASROCK 만이 아니고 범용성이 있는 장비로 나오면 충분히 메리트가 있을듯합니다
다음 테스트도 기대해 볼께요
긴글 재미있게 잘읽었습니다

복 많이 받으세요^^
     
?

USB 1.1이라도 설치 실패랑은 상관 없이 시간만 늘어납니다

아마 네트워크를 통한 원격 설치를 시도하신듯합니다
     
병철 01-05
전원 제어 부분은 저도 꼭 성공적으로 완벽 구현을 테스트 해 보고 싶은 부분이라 여러가지 테스트 해 보고 있습니다.
vMedai는 USB 2.0인 영향도 있을 듯 하고 내부 네트워크 사용량이 많을 때는 확실히 현저히 느렸습니다.

추가적인 테스트 결과 나오면 업데이트 하겠습니다.
박문형 01-05
https://wisp.net.au/asrock-rack-paul-low-profile-pcie-ipmi-card.html

가격은 대략 이러한가 봅니다..(물론 절대적이지 않습니다..)

BMC는 BIOS와 같이 개발되어야 하기에 지원하는 보드가 어쩔수 없이 한정 됩니다..

될지는 모르겠지만 국내 정식 수입 되면 좋겠네요..
     
병철 01-05
해당 사이트가 호주 사이트라서 호주 달러로 214$인 것이고 미국 달러로 165$ 정도 됩니다.

일반 소매점 가격이 이 정도로 나왔으면 거의 비슷비슷할 것 같습니다.
호주라는 지역 특성 때문에 타 국가에서 판매 시작하면 더 저렴해질 수도 있지 않을까 하네요.

말씀하신대로 BMC의 특성 상 어쩔 수 없지만 100% 완벽하지는 않더라도 BMC가 없어 아쉬운 부분을 시원하게 긁어주네요.
     
병철 01-05
*비밀글입니다
          
박문형 01-05
*비밀글입니다
isaiah 01-05
와 인터페이스가.. 꾹꾹 눌러 담았군요.

펌웨어 소스만 풀어버리면 완전 범용성이 있는 물건이 될 수도 있겠네요...
piee 슬롯에 SMBUS 버스 핀이 살아 있는 보드면 따로 와이어링 없이도 하드웨어 모니터링도 가능할 것 같고요..

 선 리플하고 본문을 자세히 보니 호스트 보드가 아수스인데도 전압 팬속 나올것 다 나오네요?
 어떻게 구현된 걸까요? 아마 LPC superIO 칩을 쓰는 보드인것 같은데...
 
 부팅시에 DXE 드라이버에서 super IO id 가져와서 smbus로 가저 오는 구조가 가장 그럴듯 해 보이긴 하는데..
 그런 구조라면 펌웨어에 광범위한 SIO 칩에 대한 지원이 이미 들어 있는 모양이네요... 그렇다면 이미 굉장히 범용이군요..
     
병철 01-05
인터페이스는 ASRock Rack의 IPMI와 100% 동일합니다. 기능도 다 살아 있구요.
펌웨어 소스를 풀 지는 모르겠으나 그렇게 되면 전세계적으로 불티나게 팔릴 듯 합니다. 특히 해외는 DIY Server나 WS가 많다 보니..

FAN 속도의 경우는 PAUL 카드에 별도로 연결 한 FAN 속도가 올라오고 있는 것입니다.
전압의 경우는 정상적으로 시스템 전압이 불러와지고 있는 것 같습니다. PCIE 슬롯에서는 12V, 3.3V만 나오니까요.. 5V가 모니터링 되는걸로 봐서는..
          
isaiah 01-05
모니터링 관련해서 기묘한 삽질을 하다보니 관심이 좀 생겨서요...

 전압과 팬속 모니터링 칩들이 다 인터페이스가 제 각각이라 PCIE->LPC로 접근하는 OS 드라이버들도 개별적으로 만들어 져 있어서 이런종류의 재품은 답이 없는게 아닌가 생각했는데 아주 멀쩡한 친구가 나오니 신기합니다.

 어떻게 가져오는건지도 정말 궁금하네요.
     
직접 엑서스하는게 아니라 ACPI로 주는값 받아오는것 아닐까요?

아니면 LPC용칩은 제조사 몇가지 없으니 그런걸 수 도 있어요
          
isaiah 01-05
ACPI가 매인매모리에 할당한 공간에 접근해서 가도록 만들려면 아마 CPU를 끌어 당겨야 할텐데 멀쩡한 회사들이 그렇게 만들까 하는 의문이 있어서요...
LPC superIO 칩에 SMBUS로 접근하면 CPU에 영향을 안 주고 처리가 가능한데 비해서요..

근데 혹시 지금 PC에서도 PCIE 장치끼리 CPU 간섭 없이 서로 통신할 수 있는 수단이 있나요?
차세대 콘솔 같은 친구들은 그런식으로 작동한다던데..
               
ACPI 공식 레퍼넌스 문서 보면 다 나옵니다

FAN이라던가 센서라던가 다 정의하는 항목이 존재하고, 그걸로 정의한값은 상위 권한이나 커널 권한정도 되면 대부분의 OS에서 접근이 됩니다

하드웨어 정보를 모니터링하는 SW들도 이걸 가져오는게 대부분입니다 (하드웨어 전용이 아닌 이상 다른 가져올곳도 없음)

그런데 DMA 나온 이후 DMA를 지원하는 장치는 바로 RAM에 접근 가능하지 않았나요?

차세대 콘솔의 기술은 그거랑은 다른겁니다

원래 CPU는 VRAM에 접근할때 고정된 일정 용량만 접근이 가능하고, 나머지 영역을 처리할려면 CPU<->RAM<->VRAM으로 복사해서 처리하고, 값을 되돌려줄때도 마찬가지였습니다 (이걸 커널 수준에서 범위 조절 허용하게 해줘서 무제한으로 넓혀주면 CPU <->VRAM이 되게 되므로 횔씬 빨라집니다 (특히 지금처럼 GPU용 슬롯이 주로 CPU 직결 PCIe 신호를 쓰는경우)

참고로 저 기술 그닥 새로운것 없고, 하즈웰 시절쯤에 나온건데, 지금까지 그냥 안 쓰여서 묻혀있던것뿐입니다

이외에 SSD의 데이터를 처리할떄도 GPU <-> RAM <-> SSD 이런게 가능해집니다 (이걸 이용해서 CPU 부하를 걸지 않고, 횔씬 고성능으로 디스크 압축 기술등을 쓸 수 있습니다)

지금 마소가 액박 신형 개발할때 적용한 기술 이런식으로 강력한 GPU의 성능을 남김없이 다 쓰고, VRAM이랑 RAM이 동일한 영역을 분할해서 쓰는 구조에 적합하게 좀 더 병목현상이나 낭비가 적은 구조를 추구한 결과입니다



추신 1 : 어제에 이어서 오늘도 Catalina -> Big Sur 갈아타다보니 이런 시간이네요 (남은 데탑 2대중 1대 업글했으니 이제 내일 남은 1대 올리면 끝) (과정에서 발견한 문제랑 해결책, 사전 조사한 결과를 정리해서 블로그의 게시물에 추가해놨습니다)
추신 2 : 아이비 할배 Big Sur 지원 아슬한데 다행히 애 안 먹이고 잘 올라가네요 (보드는 국민 보드 GA-B75M-D3H)
                    
isaiah 01-06
PCIE 장치에 DMA 기능이 들어 있는것은 대부분 그럴 것이라고 생각합니다.
그런데 OS의 허락(?) 없이 ACPI가 할당한 매모리나 다른 장치를 위해 할당된 MMIO에 접근 할 수 있느냐 하는게 딱 떨어지는 답이 안 나와서요.

 이런 종류의 장치를 사용하는 주된 이유자체가 OS 종속성이 없고 CPU와 독립적으로 작동하기 때문인데.
 OS의 커널이나 그 확장 프로그램들에 의존하는 구조로 만드는건 적당하지가 않고.

 최소한 부팅중에 DXE 단계에서 한번 설정하면 OS가 건들이지 않는 설정으로
'PCIE 장치 <-> ACPI가 매인메모리에 할당한 메모리'간의 통신이 가능하지 않으면 지속적으로 SMM으로 CPU 자원을 끌어 당겨서 쓸 수 밖에 없는데..
 뭐 하자면 못할것도 없지만 세련된 느낌은 아니라서 진짜 물건 만드는 회사들도 이런식으로 구현을 하나 싶어서요...
                         
물른 OS의 접근 허가는 있어야 접근 가능하겠죠 (다만 그렇게 엄격하게 무조건적 제한하는게 아닌지 USB나 썬더볼트에 특수 제작된 장비를 꽃으면 권한 탈취 가능한것때문에 보안 업데이트하거나 한적이 있습니다)

그리고 다른 덧글에도 적혀있듯이 보통 하드웨어 정보에 접근할려면 대부분의 OS가 상위 권한이나 드라이버등의 도움을 빌어야 권한이 충족되는걸 고려하면 OS의 일정 이상의 제어는 적용되고 있습니다

CPU와 독립적으로 작동하게 ACPI로 정의하는건 가능합니다 (실재로 ME나 PSP등이 그렇게 작동하고 있고, 별도의 컨트롤러로서 정의해서 메모리 접근 권한등을 줄 수 도 있긴합니다) (그런데 진짜 CPU가 다운되버리면 이런걸로도 리셋되는지는 좀 불투명)

시험결과에도 USB 케이블을 연결해야 제어할 수 있다는걸 고려하면 완벽하게 독립된 시스템으로서의 권한이라기 보다는 보조 시스템으로서 GPU의 프레임 버퍼를 복제하고, HID로서 입력하는식인듯합니다 (실재로 BIOS의 GPU 우선순위의 영향도 받고 있습니다)
                    
isaiah 01-06
콘솔 관련해서 얼핏 본거라 좀 혼란 스러운데....
 리사이즈블 bar 이외에도 p2p pcie DMA  관련된 내용이 있었던걸로 생각합니다.

 거기에 대한 광고가 OS가 작동하는 PCIE 끼리 자유롭게 통신할 수 있는 수단이 있느냐 없느냐 하는 부분에서 변화가 있는듯한 인상을 주었거든요.
                         
무조건적 자유가 있는건 아니지만 PCIe라면 USB등의 간단하게 장착 가능한 장치와는 달리 대부분의 경우 탈착이 자유롭지 못하므로 (특히 대형 서버가 아니라면 핫스왑자체가 안 되니), 보안적으로 제약이 덜하게 되어있는거고, 당연히 OS에서 장치를 인식후 해당 권한을 주겠죠
                    
isaiah 01-06
음 위 제품의 경우 그래픽 프래임 버퍼는 PCIE 장치에 올라가 있는 500MB 상당의 DRAM에 올라가 있는것 처럼 보이는데.
이건 배이스보드컨트롤 칩을 메인보드에 실장해서 배이스보드 자체로 smbus와 PECI로 온도를.. 자치 ADC로 전압을 수집하는 보드들도 그래픽은 같은 방식으로 따 네는 걸로 알고 있습니다.

흠 ME나 PSP는 평범한 PCIE 장치와는 좀 다른 인터페이스로 접근하는 줄 알았는데.. 다른 친구들도 비슷하게 해 줄 수 있나 보군요.. 알아 봐야 겠네요.
                         
별 차이 없을껀데요?

저 칩셋 IPMI 내장된 보드에도 사용되는 모델이고, 그경우에도 인터페이스 기본 PCIe로 붙어있는걸로 인식됩니다 (다만 확장 카드에 있는 각종 커넥터 관련 배선은 제조사가 보드에 패턴으로 붙여놨겠죠)
                    
isaiah 01-06
음 무슨 말이였냐면.

 실장된 친구들은 CPU에 1핀 PECI 로 연결되어서 CPU온도를 가저오로 기판내 서미스터들과는 ADC 혹은 SMBUS로 교신하고 전압은 자체 ADC로 수집하게 되어 있어서 CPU가 꺼저 있는 상태 그러니까 5vsb만 들어온 상태에서도 알아서 정보를 수집할 수 있는 구성이며 DMA로 ACPI 정보를 수집할 필요가 없습니다. 오히려 재공하는 쪽이죠...

 그 친구들의 설정도 자기칩에 내장된 GPU의 프래임버퍼만 사용하고 USB로 PCH와 연결되어 있는것은 마찬가지라는 말이였습니다.

딱 "완벽하게 독립된 시스템으로서의 권한이라기 보다는" 여기에 대한 대답이였던 거죠... 완벽하게 독립된 친구들도 고건 마찬가지라는 거요.
                         
거기까진 좀 힘들껍니다

ME/PSP경우도 그런짓 가능하긴한데, 결국 별도의 BIOS에서 ACPI상 정의해둔 항목이 있어서 되었을껍니다 (일반 보드에 이런게 있을리 만무)

물른 S5 활성화하거나 하지 않으면 PCIe에 대기 전력이 들어가니 카드의 컨트롤러에 전력이 들어가긴 하겠지만, 정보를 받아와야할 SuperIO쪽이 오프라인일테니까요 (이것도 직접 버스 루트에 물려있으니 전력 들어가지 말란법은 없지만, 평시랑 동일하게 처리기능까지 될지는 불명)

저게 될려면 저거랑 PCH쪽에 직접 접근이 가능해야하고, 그걸 제어할 수 있는 권한도 있어야 되겠죠

저걸로 가능한건 WOL으로 기동하고, GPIO등으로 강제로 파워 이벤트 적용하고, 원격으로 보거나 제어하는것까지일듯합니다
                    
isaiah 01-07
SIO 칩에는 어떤 대부분의 상황에서 대기전력이 들어갈 겁니다.
전원, 버튼 리셋버튼에 대한 처리도 super IO나 같은 위상을 차지하는 임베디드 컨트롤러가 겸하고 있어서 진짜 오프라인이 되어버리면 PC를 켤수가 없어서요.

다만 LPC로 초기화 안해도 정보를 수집하고 외부로 반출할 수 있는 상태로 시작하는 친구들이 있는 반면에 LPC로 초기화를 해 주어야만 그런 상태로 대기하는 친구들이 있어서 모든 보드에서 구현될 수 는 없을 것이고요.

오히려 ME는 전원이 들어오지 않는 시기에 하드웨어 상태 수집은 못하더라고요.
펌웨어가 사실상 커스텀 불가능 하기 때문인것 같았습니다.
5vsb만 들어 왔을때도 일을 하긴 하는데 전원이 들어와서 uefi가 초기화 되고 나서 매인메모리에 유지 되는 시기에 기능이 확장됩니다.(근데 ME 자체도 스스로 가진 sram이 적고 부팅시에 자기가 추가로 사용할 공간을 매인매모리에 할당하기 때문에 그탓일 지도 모릅니다.)
독립적이고 CPU에 부담을 주지않는 세련된 방식으로 만드는 경우 개별적인 하드웨어를 고려해서 커스텀해야할 상황이 되는데 그게 불가능 하니
UEFI가 초기화 되는 시점에 매인메모리에 대한 권한을 기반으로 자료를 수집하는게 아닌가 하고 추측하고 있습니다.
                         
ME경우 기본적인 ACPI장치와는 완전히 별도의 펌웨어랑 계통으로 작동하고, ACPI의 관점에서 보면 그냥 버스에 붙어있는것처럼 처리됩니다 (일단은 붙어있어야 장치로 인식이 되고, 메모리등에 접근 가능하고, 펌업등이 되니까요)

그러고보니 완전히 꺼버리면 메모리등이 꺼져버리니 작동하기 곤란하긴하네요

다만 ME경우도 시스템을 깨우거나 기동할 권한은 있을껍니다 (https://help.ivanti.com/ld/help/en_US/LDMS/10.0/Windows/power-t-schedule-wakeup.htm 이런것도 보이니까요) (애초에 흔해빠진 PCIe용 저가형 NIC도 가능한 권한)
행복하세 01-05

쩌는리뷰
쩌는 회사
쩌는 물건
그래도혹시나했지만 역시나
쩌는 가격?!!!
가격이 중급보드수준인데
ipmi달린 메인보드를 구하고다녀야겠군요~
     
병철 01-05
시스템 구성에 따라 다르지만 IPMI가 내장 된 메인보드를 구하는 것이 경우에 따라선 더 저렴 할 수도 있습니다.
다만 일반 PC나 IPMI를 전혀 기대 할 수 없는 시스템에서도 적용 가능하다는 것이 장점인 것 같습니다.
     
PCIe x1이면 1개 사면 컴 바꾸어도 주구장창 옴겨서 쓸 수 있단 의미입니다
          
행복하세 01-05
현업 엔지니어분들은 좋은아템이죠~
테스타할때도좋고
박문형 01-05
+100

옛날에도 ATEN에서 비슷한게 있었는데 40여만원 했었다는

호환성은 더 개판이였던 것으로 기억합니다..
the촌놈 01-05
9핀 케이블은 굳이 저렇게 완성도 높은 것으로 구할 필요없이 아두이노 같은 오픈소스 플랫폼에서 시험용으로 사용하는 점퍼케이블 4P 짜리 2개 조합하면 됩니다. 단 핀을 잘 맞춰서 꼽아야겠지만요.
     
isaiah 01-06
+1
구하기 힘들어서 듀폰커넥터 케이블 10개 록타이트로 붙여서 만들어 봤는데... 생각보다 할만 하긴 하더라고요..
귀한녀석 01-06
그래픽 관련은 상당히 매력적이네요.
홈서버로 쓰기엔 ilo를 쓰면서 항상 그게 불만이었는데..
gpio만 제대로 되면 아예 물리적으로 컨트롤 가능하니 bmc기반이고 뭐고..
수고하셨네요. 잘봤습니다.
검은콩 01-06
굉장히 매력적이네요. 안 그래도 요즘 딥러닝 머신을 Epyc으로 갈까 tr로 갈까 고민하고 있는데(보드 때문에) 좋은 정보가 되엇습니다^^
에듀 01-06
+100

오,, LP사이즈에다가 현용 IPMI 대부분 기능이 이식되어 있다니.. 수고하셨습니다. 흥미로운 제품이 될것 같습니다.
RIGIDBODY 01-08
제가 꼭필요한게 이런거 였는데..ㅎㅎ 빨리 출시 되었으면 좋겠네요. 일반 데스크탑 PC에서고 IPMI를 이용할 수 있다면...
불안정한 WOL은 이제 안녕~~
멋지십니다. 큰 도움되는 글입니다.
ASROCK 쪽 IPMI 어찌돌아가는지 항상 궁금했었거든요~^^ 거기다 카드타입이니 더 신기방기.ㅎㅎ
     
병철 01-14
ASRock IPMI가 깔끔합니다. ASUS나 GIGABYTE 보면.. 에휴..
세슘 01-14
서버용 하고 견주어도 꽤 괜찮네요 추천누르고 갑니다! 상세한설명 꿀팁 이었습니다.




제목Page 1/263
2015-12   14628   백메가
2014-05   3143683   정은준1
03:05   141   생겼으면
01-16   648   DaVinci
01-16   420   병철
01-15   603   현진
01-15   550   shipse
01-14   385   병철
01-12   455   KGOON
01-12   424   YODA34
01-10   486   네오레몬
01-07   616   NAS고장났다…
01-04   1629   병철
01-04   1222   MikroTik이진
01-04   819   린드버그
12-31   1554   빛을그리다
12-29   919   DarknessAng…
12-29   1213   이천풍
12-28   1158   병철
12-28   1141   MikroTik이진
12-24   1178   shipse
12-22   853   새내기