안녕하세요
슈퍼마이크로 CSE-745 케이스를 구매해서 디스크 백플레인에다가 IBM M1215 레이드 카드를 연결하려고 합니다.
백플레인 매뉴얼을 읽다 보니 Sideband라는 단어도 등장하고 I2C라는 단자도 있네요
Sideband 케이블은 보니 레이드 카드와 연결하는 miniSAS breakout 케이블에 달려 있는것 같은데
백플레인에는 Sideband 단자 말고도 I2C 단자라는것도 있네요
이것도 뭔가 레이드카드에 정보를 보내는 역활을 하는것 같은데 마침 레이드 카드 쪽에도 I2C 꽂을 수 있는 4핀 단자가 보이네요
제 질문은, 백플레인과 레이드 카드 사이에 Sideband, SGPIO, I2C 이것들이 전부 다 연결이 되어야 하나요?
백플레인 매뉴얼에서는 또 SGPIO랑 I2C 중 하나를 쓰도록 점퍼로 세팅해서 쓰라고 되어있던데
레이드 카드 쪽에는 SGPIO 단자는 따로 안보이던것 같은데...
각종 LED의 on/off , 백플레인의 온도채크 , 하드의 상태 채크 등을 합니다..
이것을 통신 하는 방법이 SideBand 와 I2C 가 있는데 I2C는 SCSI 때 많이 사용하던 방법이고 SAS에서는 보통 SideBand를 사용합니다..
https://www.supermicro.com/manuals/other/BPN-SAS-743TQ.pdf
백플레인 메뉴얼 참조하시고요..
레이드카드에서 LED 콘트롤을 SideBand로 셋팅하고
케이블을 SideBand 케이블이 있는 케이블을 사용하고
백플레인도 SideBand로 셋팅하고 (아마도 디폴트)
다 연결한 후에 재대로 파워 /억세스/ Fail LED가 들어오나 확인하면 됩니다..
그럼 Sideband를 사용하기로 했으면 Sideband 하나만 연결하면 되는건가요?
레이드 카드랑 백플레인만 서로 연결하면, 마더보드도 레이드 카드를 통해서 백플레인 상태를 알 수 있나요? (LED 등)
백플레인 상태는 아답택 카드인 경우 모니터링 프로그램에서 백플레인 모델명 온도 등이 나옵니다..
마더보드가 직접적으로 백플레인 상태 채크는 불가능한 것으로 알고 있습니다..
마더보드가 서버보드이고 SGPIO 포트가 있고 그것이 백플레인으로 연결되면 이야기가 달라지지만요..
https://upload.wikimedia.org/wikipedia/en/0/01/SGPIO_F11.gif
이 그림에 HBA(RAID), 백플레인, 마더보드 3자가 나와 있는데요. 이 3자간 통신을 하는데 사용되는 것들입니다.
SGPIO는 HBA와 백플레인 간 통신하는 데 사용됩니다.
주로 RAID 관련하여 HDD blinking을 한다거나 하드디스크 온도를 HBA에 알려준다거나 하는 용도
SAS 케이블(예를 들어 SFF-8087 to SFF-8087 케이블) 안에 포함되어 있습니다. 백플레인이 SFF-8087로 연결되지 않고 SATA 단자 4개로 연결되는 경우에는 SFF-8087 to 4 SAS(SATA) fanout cable with sideband를 사용합니다. SAS(SATA) 4개는 백플레인의 각 단자에 연결하고 sideband를 SGPIO 단자에 연결합니다. fanout cable이 아니라 SFF-8087로 연결하는 경우에는 그 안에 포함되어 있음.
메인보드 안에 SAS HBA가 내장되어 있는 경우 이것을 백플레인에 연결하는 경우에도 HBA와 연결하는 것이나 마찬가지입니다. 메인보드 단자가 SATA 포트로 되어 있는 경우에는 따로 SGPIO 단자가 메인보드에 있습니다. 메인보드에 있는 SATA(SAS) 단자 4개와 SGPIO 포트를 연결한 뒤 한 쪽 끝에는 SFF-8087이 붙어 있어서 이것을 백플레인에 연결합니다. 이런 케이블은 fanout cable과 구별하여 보통 역케이블이라고 부릅니다.
HBA 카드와 연결하건 메인보드에 내장된 HBA에 연결하건 백플레인과 연결하여 LED 블링킹 등에 관여합니다. 대략 표준이 정해져 있어서 HBA 카드와 백플레인 연결하는 SAS 케이블 내에 포함되어 있습니다.
I2C 케이블은 메인보드와 백플레인 간을 연결하는 선인데, 벡플레인 안에 들어있는 각종 센서와 메인보드 간에 통신을 한다든지, 백플레인의 firmware를 업데이트 한다든지 하는 경우에 사용됩니다. 위 링크 그림에서 메인보드와 백플레인 연결하는 선. 백플레인이 여러개인 경우가 있는데요.(2.5인치 8개 짜리 백플레인이 2개 있고, 3.5인치 8개 짜리 백플레인이 하나 있다든지) 그런 경우에는 메인보드 I2C 단자에서 백플레인 중 하나와 연결을 하고, 그 백플레인에서 다음 백플레인으로 연결하고 하는 식으로 하여 죽 연결 합니다. 보통 백플레인을 하나 더 추가한다든지 하면 연결하고 나서 메인보드 firmware를 한번 업데이트 해 줍니다. 이미 최신이더라도 거기에 백플레인 firmware도 포함되어 있는 경우가 있는데, 새로 연결된 백플레인 firmware를 업데이트 시키기 위함입니다.
메인보드와 백플레인 간의 연결은 표준이 없어서 같은 회사의 호환되는 메인보드와 호환되는 백플레인 간에만 원활히 통신이 됩니다. 그렇다고 그거 연결하지 않는다고 백플레인이 작동되지 않는 것은 아닙니다. 백플레인에 fan이 달려 있다든지 한다면 그 회전속도 같은 것은 연결이 되어야만 알 수 있겠지요. firmware 업데이트도 그렇고.
SGPIO와 I2C가 이런 것으로 저는 대강 파악하고 있는데요. 인텔 메인보드 같은 곳의 설명을 보면 이쪽 설명과 저쪽 설명이 다르기도 합니다. 여기서 설명한 I2C를 IPMB라고 부르고 SGPIO를 I2C라고 부르기도 하고.
하여간
SGPIO : HBA나 RAID 카드와 백플레인 간의 통신(메인보드에 내장된 HBA도 마찬가지)
I2C : 메인보드와 백플레인 간의 통신
대략 이렇게 생각하시면 큰 탈은 없습니다.
두가지가 다 필요한 것인데요. 인텔 보드에서는 두가지를 따로 다 연결하도록 되어 있습니다. SuperMicro에서는 두개 중 하나를 고르는 것으로 되어 있다고 하니, 왜 그런 것인지 그건 걔네들 설명을 읽어 보아야겠네요.
HBA(RAID 카드)에 있는 I2C 단자와 백플레인 I2C 단자를 케이블로 연결하여 이것으로 백플레인을 콘트롤할 것이냐, SGPIO(sideband) 연결로 콘트롤할 것이냐를 점퍼로 선택하는 것이네요.
여기서 말하는 I2C와 SGPIO(sideband) 모두 HBA와 백플레인 간을 연결하는 것이고 두가지 중 하나만 연결하여 그것으로 세팅하면 되겠습니다.
제가 위에서 말한 I2C는 메인보드와 백플레인 간의 IPMB를 말한 것이고요.
수퍼마이크로
A : HBA I2C 단자 <----> 백플레인 I2C 단자
B : sideband(SGPIO) : HBA와 백플레인을 SAS 케이블로 연결, fanout 케이블로 백플레인에 연결하는 경우는 sideband를 백플레인 SGPIO 단자에 연결하고, x4 SAS 케이블로 연결하는 경우에는 SAS 케이블에 포함되어 있음. HDD 4개마다 하나씩
A를 사용할 것이냐 B를 사용할 것이냐는 점퍼로 설정.
인텔
A : SGPIO : HBA와 SAS 케이블로 연결(SAS 케이블 안에 포함됨)
B : IPMB : 메인보드 <----> 백플레인 1 <-----> 백플레인 2 <----> 백플레인 3 <-----
인텔 설명서에서 I2C라고 하는 것이 어떤 때는 A를 지칭하고 어떤 때는 B를 지칭함. 그때 그때 설명서에서 무엇을 의미하는지 문맥으로 파악해야 함.
* fanout cable
HBA SAS x4 port(SFF-8087, SFF-8643 등) <----> SAS/SATA x1 포트 4개 + side band : 하드디스크 4개를 연결함. sideband는 백플레인 SGPIO 단자에 연결
* reverse 케이블
메인보드 SAS/SATA x1 단자 4개 + SGPIO <-----> SAS x4 포트(SFF-8087, SFF-8643 등) : 백플레인 x4 포트에 연결
이 두가지가 모양은 똑같습니다. 역케이블의 SFF-8087을 HBA에 연결하고 SAS/SATA x1 포트를 하드디스크에 연결하면 인식이 안됩니다.
인텔의 경우 역케이블에는 헷갈리지 말라고 케이블에 꼬리표를 붙여놓았습니다. 거기에 HSBP라고 씌여 있습니다. Hot-Swap BackPlane 약자
* 아마존에서 파는 역케이블의 예
https://www.amazon.com/Cable-Matters-Internal-Breakout-SFF-8087/dp/B018YHS9GM
이것은 한쪽 끝이 SFF-8087이고 sideband가 붙어 있지 않은 역케이블인데요.
그림에서 오른쪽에 있는 SFF-8087을 레이드 카드에 연결하고 왼쪽에 있는 sata 포트를 하드디스크에 연결하면 인식이 안됩니다. 모양은 일반 fanout 케이블과 똑같으니 모양만 보고는 알 수가 없죠. 하드디스크를 뺐다가 꼽았다가도 해 보고, 재부팅 해 보고, 레이드 카드를 다른 PCI 슬롯에 꼽아도 보고 해도 안식이 안돼요. 사람 환장합니다.
그림이 여러장 들어 있는데, 왼쪽 맨 아래에 있는 thumbnail을 선택하면 나오는 그림에 설명이 있어요. sata 포트는 메인보드 sata 포트에 연결하고 sff-8087은 백플레인(혹은 SAS expander)에 연결하는 용도입니다.