안녕하세요. 오랜만에 찾아뵙습니다.
다름이 아니라 지난 4월에 2CPU 회원님으로부터 (결국..) 슈퍼 마이크로 36베이 서버를 구매했는데요.
업무가 바빠 이제서야 박스 열어서 부팅해보고 있습니다.
디스크 연결하려는데 확인해보고 싶은 부분이 있어서 백플레인 스펙 시트를 찾고 싶은데 파트넘버 찾기가 어렵네요.
후레쉬 비춰가면서 여러 번 찾아 봤는데 시리얼넘버만 보입니다. 케이스에도 백플레인에도
"SN: xxxxx WARRANTY VOID IF REMOVED"
라고만 써있네요. 어디를 봐야 알 수 있을까요?
추가로 몇 자 더 적어보자면
본체를 열어서 보니 레이드 카드가 9361-8i이 달려있었는데요. 전면부 백플레인에 케이블이 연결되어있었습니다.
9361-8i 에서 나온 2개의 케이블이 전면부 백플레인에 연결되면 24베이가 동작을 하는건가가 매우 궁금했습니다.
9361-8i 의 8i가 8개 + internal 의 의미로 알고 있는데 백플레인에서 확장해주는건가 싶어서 파트 넘버를 찾아 매뉴얼을 찾아보려고 했습니다.
(확장을 해준다 라는 추측을 하게 된 이유는 후면부 백플레인엔 "secondary expander"라고 -엄청 작게- 써있어서 입니다.)
전 무식하지만 it모드로 플래싱한 H200 5개 연결(8x5)해서 백플레인에 연결하려고 했었거든요..SFF-8643 케이블보고 굉장히 당황했습니다 하하..
구매할 때부터 쉽지 않겠다고 생각했는데 매뉴얼 찾기는 커녕 파트번호도 못찾는 상황이라 굉장히 난감하네요;;
반갑습니다.
https://chat.openai.com/share/0ed9470a-df31-4091-b4f8-becdeebe9d7d
SUPERMICRO BPN-SAS3-846EL1 SAS 12G single expander backplane
https://www.austic.com.au/office-it-products/supermicro-bpn-sas3-846el1-sas-12g-single-expander-backplane/
문서도 찾았습니다. 하하. (왜 질문하고 찾으면 더 잘 찾아지는지 원..)
https://www.supermicro.com/manuals/other/BPN-SAS3-846EL.pdf
그리고 제가 가지고 있는 백플레인은 9페이지에 나온 그림중 2번, 5번 칩과 포트가 비어있네요.
Primary / Secondary 와 Fail over로 동작한다는걸로 보이니 하나만 있어도 동작하나봅니다.
후면 백플레인 정보도 찾았네요. (구글 만세..)
https://ko.aliexpress.com/item/1005004866676874.html
https://www.supermicro.com/manuals/other/BPN-SAS3-826EL.pdf
댓글은 아직 없지만 저같은 초보(게시판에서 슈마, 슈퍼마이크로, 파트 넘버로 겁나 뒤졌습니다..)를 위해 남겨두겠습니다!
SAS3 = 12G
EL1 = 싱글 SAS 익스펜더
EL2 = 듀얼 SAS 익스펜더
SAS 12G 버젼 같은 경우 아답텍 8씨리즈와 호환성이 좀 안 좋더라고요.. (하드 인식하는 타이밍이 좀 묘하다는) 그래서 캐쉬 달린 RAID 카드는 LSI 오리지날로
테스트 해보시던지 슈퍼마이크로에서 나오는 SAS RAID 카드로 해주어야 호환성 문제가 없어질 겁니다..
케이스 버젼은 아마 케이스 밖 레일 붙이는 양쪽 중 하나에 모델명과 시리얼 넘버가 붙어 있는 스티커가 있을텐데 거기에 버젼도 같이 있을 겁니다..
박문형님이 확인해주시니 잘못 찍은게(?)아니란게 확인되서 안심이 되네요!
항상 친절한 답변 감사드립니다.
2. it 모드로 사용하시려면 h200 보다는 9300 으로 구매하셔서 쓰시는걸 추천합니다.
- sas3 백플레인 36베이 중고에서는 꽤 귀합니다. 전 구매하려고 애썼는데 못구했습니다.
- h200으로 쓰시기에는 아깝습니다.
3. H200, it 모드를 말씀하시는걸 보면 헤놀을 쓰시려고 하시는게 아닐까 생각이 되는데요
- 만약 헤놀이면 가정용이라 가정하고 팬은 무조건 교체 하셔야 할겁니다. 소음이 장난아닙니다.
- 검은콩님이 쓰신 방법 https://www.2cpu.co.kr/bbs/new_view.php?bo_table=freeboard_2011&wr_id=1640762&qstr=
추천드립니다.
4. 백플레인 메뉴얼을 보시면 잘 아시겠지만 1개만 연결하셔도 전체 사용할수 있습니다.
데스크탑에서 Unraid(https://unraid.net/) 로 현재 사용중이었고 디스크를 추가로 연결하기 위해서 서버를 구매하려고 했습니다.
헤놀로지나 RAID 가 들어가면 문제 발생 시, 저는 유지보수가 어렵다고 판단해서 개별디스크를 묶어주기만하는 Unraid 가 제겐 적합하다고 판단했습니다.
> it 모드로 사용하시려면 h200 보다는 9300 으로 구매하셔서 쓰시는걸 추천합니다.
> sas3 백플레인 36베이 중고에서는 꽤 귀합니다. 전 구매하려고 애썼는데 못구했습니다.
> h200으로 쓰시기에는 아깝습니다.
H200이 아깝고 9300 을 추천하시는 이유가 궁금합니다. 아마도 대역폭 문제일까요?
H200 은 스펙시트 가보면 6GBps라고 되어있고 9300은 12GBPs 라고 되어있어서 또 찍어보았습니다 하하.. (연결만 잘 된다면 저같은 사람은 더 바랄것이 없..)
사실 9361-8i 를 그대로 쓰고 싶었는데 Unraid 에 드라이버(?)가 없다고 해서 포기하고 H200으로 연결하려고 준비하고 있었습니다.
> sff 8643 - 8087 변환케이블이 있습니다. 이걸 구매하셔서 사용하셔도 됩니다.
SFF-8087 to Sata 만 사용했는데 SFF 끼리도 변환이 되는군요. 만세!
> 백플레인 메뉴얼을 보시면 잘 아시겠지만 1개만 연결하셔도 전체 사용할수 있습니다.
RAID 카드 -> 전면부 백플레인 -> 후면부 백플레인 형태로 연결이 가능한가 보군요. 설명해주시기 전엔 매뉴얼 연결도 보면서 이게 뭔말이야.. 하고있었습니다
H200 카드 하나로도 다 동작할 수 있겠군요. 세상에..
궁금증도 풀어주시고 조언해주셔서 다시한번 감사드립니다!
12Gbps SAS Expender 인데 .. 6Gbps HBA로 36개 HDD를 ??
극악의 성능이 나올 겁니다.
그리고 SAS Expender 라는 것이 이런 저런 이슈가 많기 때문에 동일 속도를 갖는 HBA를 사용하는 것을 추천 합니다.
처음부터 36 HDD를 구입 하시고 모두 장착할지는 모르겠으나 .. HDD 구입 가격을 고려하면 ( 36 x $100 (10TB) ~= $3600 )
12G HBA 가격은 $60 이하인데 ... $10 수준의 H200으로 가능하다고 좋와 하시다니 .. ㅎㅎㅎ
윗 분이 추천 하시는 것처럼 LSI 9300-16i $58 (https://www.ebay.com/itm/394802393619?) 를 구입하셔서
8087 변환 케이블 사용하지 마시고 전면과 후면에 각각 SFF-8643 케이블로 2개씩 연결하세요.
제품까지 추천해주시다니 너무 감사드려요. 같은 이름의 다른 매물 확인하다보니 제가 사용하려는 제품(Unraid)에서도 정상동작하나보네요.
// LSI 9300-16i SAS9300-16I 16-Port 12Gb/s Bus Adapter TrueNAS UNRAID 03-25600-01B-
근데 스펙 시트 보다보니 Form factor 가 Full Height 로 나오는데 이건 LP 브라켓이 아닌거죠?...
https://www.ssdworks.com/datasheets/DCSG-PB-SAS-9300-16-Port-HBA-Family_090815.pdf
https://www.ebay.com/itm/155772852462?
시스템에 보면 full height 인데요?
그리고 12G-to-6G는 문제가 없겠지만 H200을 12G SAS Expender 로 연결하는 것은 6G-to-12G 가 되므로
호환성 이슈가 반드시 발생 됩니다.
시간 낭비, 8087-to-8643 변환 케이블 찾으시느라 비용과 시간을 낭비 할 서 같군요.
8643-to-8087 변환 케이블은 본적이 있지만 그 반대는 본적이 없군뇨 ..
https://www.supermicro.com/en/products/chassis/4u/847/sc847be1c12-r1k68lpb4
호환성 이슈를 알려주셔서 어제 새벽에 8087 to 8643 케이블 알리에서 구매한 것 바로 취소했습니다. 하하..
그리고 12G SAS 카드들중에 LP 브라켓으로 되어있는걸 찾아봤는데 대부분 8i 모델이네요.
9300-8i 가 Unraid 추천 카드에 있네요. 두 개 사서 장착하는 방향으로 진행해야겠습니다.
답변 정말 정말 감사합니다.
LP 12G도 있을 겁니다...
LSI 9400-16i $215 이지만 여전히 디스크 하나 가격 수준이니 ...
https://www.ebay.com/itm/175686942997?
SAS 4CH 일때는
RAID (HBA) CARD ------ 24bay BP ------- 12bay BP
SAS 8CH 일때는
RAID (HBA) CARD ------ 24bay BP
------- 12bay BP
이런 식으로 연결하면 됩니다..
8CH 카드가 일종의 기본이 되는 카드이고 따라서 4CH 카드는 구하기 좀 어렵고 (생산양이 작음)
8CH 카드나 4CH 카드나 가격차이는 얼마 안날 것입니다..
따라서 많이 쓰이는 8CH 카드를 추천합니다..
https://www.2cpu.co.kr/hardware_2014/36546?&sfl=wr_name%2C1&stx=%B9%DA%B9%AE%C7%FC&sop=and&page=3
https://www.2cpu.co.kr/hardware_2014/36560?&sfl=wr_name%2C1&stx=%B9%DA%B9%AE%C7%FC&sop=and&page=3
옛날에 6G 로 아답텍 카드로 조립한 영상입니다..
두번째 링크 하드 인식하는 것 보시면 재일 마지막에 하드는 아니고 몬가 두 개 있을텐데 그것이 SAS EXPANER 입니다..
SAS EXPANDER 도 디스크 번호 한개씩 먹고 들어갑니다..
구현 가능한 것이 의미가 있으려면 가용성이 있어야 하죠.
다수의 디스크를 장착하면 뭐한답니까.... 느리고 느려서 속터지는데 ... ㅎㅎㅎ
링크 주신 36베이 조립한 글은 제가 한 대여섯번은 본 것 같습니다. 저 글들이 36베이의 로망을 심어주는데 큰 역할을 했답니다 ㅎㅎ
(구글에서 "슈마 36베이" 이미지 검색하면 박문형님 글의 이미지가 좌르륵)
위에 조슈아 님이 추천해주신 12G SAS 카드(LSI9400, LSI9300)로 갈 것 같습니다.
감사합니다!
그 이상에서는 그런 이야기가 잘 없는 것으로 볼 때 그럭저럭 쓸만한가 봅니다..
SAS EXPANDER 를 사용하는 이유가 크게 2가지 정도 인데
디스크를 최소 36개 이상 대략 100개 이상 연결하게 하려면 SAS EXPANDER 밖에 방법이 없습니다..
디스크와 직결하는 SAS RAID 카드는 최대 24CH 이 한계입니다..
(HighPoint Tech 같은 회사는 24CH 이상 지원하는 제품도 있기는 합니다.. 이 회사는 원천 기술 꽤 가지고 있는데 많이 팔리는지는
모르겠습니다..)
디스크와 직결하는 레이드 카드는 가격이 비쌉니다..
토탈 코스트로 볼 때는 SAS EXPANDER가 나은 경우가 꽤 있습니다..
제가 올린 36베이 시스템은 옛날에 대학교에 납품한 것인데 5년동안 찍소리도 없다가 좀 지나니까 몇군데 고장났다고 연락 온 적이 있습니다..
슈마 제품 자체는 믿을만 합니다..
https://www.youtube.com/@ArtofServer
그 외 슈마 스토리지서버나 백플레인 LSI 카드들에 대한 정보 리뷰등은 Art of Server 에 꽤 잘 나와 있습니다..
저는 저기서 LSI SAS HBA가 저렇게나 많았구나 라고 느꼈습니다..
저런식으로 디스크 많이 달아놓은 것은
실사용 워크로드가 아니고 보관용으로
백업 아카이브용으로 사용됩니다
직결식 HDD도 느려서 PCIE SSD로 변경하는데….
SAS 확장기에 디스크 붙이는 저가형 시스템은 돌에 글 세기는 방식의 저장 방식이죠
SAS 8 Port를 공유하여 24개 모두 연결됩니다.
SAS 6G 용 케이블과
SAS 12G 용 케이블이 다릅니다.
9361-8i의 바이오스에는 JBOD 옵션이 있습니다.
Raid 모드 ==> JBOD 모드로 바꿔주시면 됩니다. (Controller Management 에 있음)
설마 말씀해주신 9361-8i 의 JBOD 모드가 제가 사용하는 용도와 동일한걸까요?
JBOD 은 뭔가 "RAID 카드 수준에서 디스크를 하나로 묶어서 커다란 하나의 볼륨으로 인식 및 관리한다" 고 알고 있었고
디스크 하나 망가지면 전체 볼륨을 못쓴다는걸 알고 강철심장만 쓸수 있겠구나 싶어 다시는 쳐다보질 않았습니다. ( 잘못알고 있었다면 알려주시면 감사하겠습니다. )
아니면 혹시 JBOD 으로 디스크 한개씩 bypass?(용어가 맞나 모르겠습니다.)해서 OS 에서 사용이 가능한걸까요?
(무지해서 하는 질문이니 혹시 얼토당토 않은 내용이라면 너그러이 양해부탁드립니다. )
JBOD, RAID 등등 카드에 달려 있는 것보다는 software로 구현하는 볼륨매니지가 더 나은 성능과 유연성을 갖습니다.
현재 RAID 카드 - 백플레인 - 하드디스크 연결이 되어있는데 RAID 카드에서 RAID 나 JBOD 을 설정같은거 해주지 않아도 시스템에서 하드디스크가 문제없이 인식이 되는걸까요?..
전 뭔가 둘 중 하나로 세팅해줘야 인식된다고 이해하고 있었습니다^^;;
unraid 사용 장점이 ZFS 의 유연성 때문인데 ...
XFS is less resource-intensive than ZFS, making it a better choice for systems with limited resources. XFS is easier to manage and setup than ZFS, but lacks some of the advanced data protection features of ZFS
XFS가 리소스 요구사항이 낮고 관리가 쉽다고하니 ..
하지만 36개 디스크를 편하고 쉬운것보다 어드밴스한 것이 좋지 않을까 합니다.
파일시스템 크래쉬 로부터의 완전한 자유,,,?? ㅎㅎㅎ
JBOD 모드로 변경하고 시도해볼걸 그랬습니다ㅠㅠ...
관리도 용이합니다
JBOD는 줄줄이 사탕처럼 디스크를 붙여서
하나의 볼륨으로 만드는 것인데 ….
unRAID 자료 찾아보세요 이걸 사용하는 방법이 좋다고 하는지요
단지 차이는 RAID 셋팅을 하면 레이드 카드의 모든 디스크 채널이 Bypass 가 되고 아레카 카드 셋팅 메뉴중에는 디스크 낱개 단위로 Bypass 가 가능합니다..
저는 집에서 Areca 레이드 카드를 RAID 모드로 사용하고 있고 레이드 카드에 달린 첫번째 카드로 부팅까지 합니다..
LSI 는 제가 직접 테스트 해보지 않아서 잘은 모르지만 JBOD와 Bypass 는 좀 다를 수 있습니다..
LSI 6G SAS RAID 카드는 JBOD가 안되는 것으로 기억하고 있고 12G 부터 JBOD가 된다라고 기억하는데
현재 셋팅하시는 스토리지가 12G 기반이니 12G SAS CARD로 셋팅하는게 여러가지로 편할 것 같습니다..
답변 감사합니다. 다들 12G SAS Card 를 추천해주셔서 H200 생각은 접어야겠습니다 ^^;
문제는 재일 성능이 좋다라고 보이는 아레카 ix 모델을이 Full Hight 인지라 가지고 계시는 서버에는 설치가 안되겠네요..
사진에서 보이는 레이드카드의 모델은 잘 모르겠지만 LSI SAS 12G 라서 JBOD 는 지원하겠네요..