16베이 케이스를 샀는데, 16베이와 연결하는 부분이 SAS 케이블인것 처럼 보입니다.
이런 서버 케이스를 구매해서 연결하는건 처음이다보니 몇가지 궁금한 점이 있는데요.
용도는 HDD RAID 10 ZFS 서버 구축입니다. (DB)
1. SAS 컨트롤러는 어떤것을 사면 되는가?
장터에 보면, 여러 SAS 컨트롤러들이 있는데... 6G / 12G 버전이 나뉘어져 있는 것으로 보이는데, 어떤 컨트롤러가 좋은지.. 잘 모르겠네요
혹시 SAS 컨트롤러의 성능을 볼만한 지표가 따로 있을까요?
그리고 16베이 케이스의 sas포트는 2개만 존재하는 것으로 보이는데, 16i SAS 카드를 구매해야하는지.. 8i SAS카드로도 가능한지? 궁금합니다.
2. SAS 6G / 12G에 관한 대역폭 / 케이블에 대한 문의
SATA의 경우 기본적으로 1:1로 연결이 되어서, SATA3 대역폭이 1:1로 연결이 되는 것으로 알고 있습니다.
SAS의 경우, SATA와 달리 1:n으로도 연결이 가능하다고 알고 있는데...
그렇다면 대역폭은 어떻게 나뉘는지? 알 수 있을까요?
https://www.2cpu.co.kr/sell/443853?&sfl=wr_subject%7C%7Cwr_content&stx=sas&sop=and&page=1
예를 들어 위 컨트롤러의 경우, 6G SAS 8i 제품인데.. 그렇다면
2-1. 총 48G의 대역폭을 감당할 수 있는 것인지?
2-2. 각 물리적 SAS포트의 대역폭은 어떻게 되는지...? (1개의 SAS포트에 8개를 다 연결할 수도 있는 것이지?)
3. 어떤제품을 구매하는 것이 좋을지 궁금합니다.
16베이를 2개의 SAS포트로 연결을 해야하는 상황인데.. 위 1, 2번 개념이 명확하지 않으니 헷갈리네요.
우문 현답 감사드립니다.
SATA하드가 아닌 SAS하드를 사용해도 되는지 알 수 있을까요? (케이스에서 지원하는지를 확인해야할까요...?)
감사합니다.
상대적으로 고가인 SAS3 (12G)를 구입하셔도 소용 없습니다. 백패널에 있는 SAS 확장기가 6G 입력만 유효하고 ....
심지어는 DISK 연결에는 3G 속도로 서비스하는 확장기로 보입니다.
백패널이 SAS expander 가 달려 있는 샤시를 구입 하셨기 때문에 이와 호환 되는 SAS card를 구입 하셔야 할 것으로 생각 됩니다.
일부 백패널의 SAS expander는 해당 제조사의 SAS card와만 동작 하는 것을 확인 했기 때문 입니다.
SAS 카드는 HBA 카드 이어야만 ZFS에 맞는 구성 이구요.
https://www.2cpu.co.kr/sell/443853?&sfl=wr_subject%7C%7Cwr_content&stx=sas&sop=and&page=1
링크에는 판매 제품이 존재 하지 않는군요.
사진에 보이는 SAS expander 가 달려 있는 제품은 디스크 지원 전송 속도가 3G 이며 expander 방식 이기 때문에
디스크 갯수 * 3G 의 속도도 얻을 수 없습니다.
SAS Card 연결하는 포트 겟수 만큼 즉 2개의 SAS port를 연결하며 이 포트가 6G 지원으로 가정해보면
최대 채널당 대역폭은 12G가 되지만 ...
48G의 대역폭? 16개 디스크 각각 3G로 계산한 16*3G 인가요? 흐~~~ 어림 없습니다.
각 포트당 4개 채널이 있으므로
P1 3G * 4 = 12G , P2 3G * 4 = 12G
24G 대역폭 입니다.
Expander SAS 포트가 2개 이므로 각각의 포트마다 8개 HDD가 SAS card로 연결 되므로 SAS Cable은 2개를 모두 연결 하셔야 합니다.
사진에 나오는 SAS 포트 타입은 6G 이지만 Expander가 8개 HDD를 한번에 3G로 인터페이스 하므로 최종적으로 SAS 포트의 채널당 3G가 됩니다.
따라서 실제 최대 데이터 대역폭은 2 X 4 X 3 = 24G가 됩니다.
Native 베이를 적용한 샤시를 사용하시고 12G지원 SAS 카드를 2개 달아야만 ... ( 일반적인 LSI SAS 카드당 8개 HDD Native접근 가능하므로 )
물론 LSI SAS 12G에는 카드 하나에 16 HDD를 지원하는 모델도 있습니다. 약 $300 정도에 중고를 구입 하실 수 있을 겁니다.
중간에 있는 것이 SAS EXPANDER 같아 보입니다만 메뉴얼이 있어야 어떻게 연결할 수 있는지 알 수 있습니다..
SAS EXPANDER가 맞다면 4CH SAS 콘트롤러만 있어도 됩니다..
그러나 시장에서 재일 많이 팔리는 제품이 8CH SAS 콘트롤러인지라 8CH 짜리로 구하시면 될 것입니다..
SAS 하드 지원은 하드에 SAS하드가 확실히 꼽히는지만 확인하면 어느 정도 됩니다..(꼽다가 깨먹을수 있으니 무리한 힘은 가하지 마세요..)
요즘 나오는 제품이면 99% SAS HDD 지원합니다..
SAS Expander라는 것은 처음 들어봐서;; 신기하네요. 추천해주신 8CH 제품으로 구매해서 확인을 해봐야겠습니다.
아래 답변과 더해서 질문을 드리면, 한 물리적 포트에서 8i 의 대역폭을 모두 커버할 수 있는지도 알 수 있을까요?
감사합니다.
즉 4i 입니다..
아마 6G SAS 칩셋까지는 8CH 이 최대라고 봐야 하고 24CH 6G SAS 카드 같은 것은 카드 안에 SAS EXPANDER가 들어 있습니다..
12G SAS 칩셋도 초기 제품은 8CH 이 최대이고 아답텍 같은 경우 1칩에 24CH 지원하는 제품도 있습니다..
https://www.2cpu.co.kr/hardware_2014/39869?&sfl=wr_name%2C1&stx=%B9%DA%B9%AE%C7%FC&sop=and
박문형님 말씀대로 4CH 컨트롤러만 있으면 되고, 저 포트 2개중에 하나만 레이드컨트롤러에 연결합니다.
6G지원인지 12G지원인지는 매뉴얼 찾아보셔야 하구요..
익스펜더 방식은 레이드컨트롤러와의 연결이 4체널 밖에 되지 않기 때문에, 디스크의 수가 아무리 많아도 대역폭이 좁아서 속도가 제대로 나지 않습니다.
예를 들어 디스크와 컨트롤러를 1:1로 연결하는 방식은 디스크의 수가 16개 라면..... RAID-0로 잡았을 때 디스크 1개에 비해 16배의 속도가 나옵니다만(이론적으로는 그렇습니다.) 저 타입의 익스펜더로는 동일 조건이라 하더라도 4배의 속도 밖에는 나오지 않습니다.
이게 왜 중요한가 하면.... 대용량 파일을 읽을때는 그럭저럭 괜찮은데, 소용량 파일 수백, 수천개를 동시에 읽을 때에는 속도차이가 엄청나게 납니다.
감사합니다. HDD 16개를 꼽을 예정이라, 그리 큰 성능 저하는 없기를 기대하고 있습니다. (6Gb * 4 / 8 == 3GB/s)
Sequential 에서는 성능저하가 좀 보일 수 있을거 같긴 한데... Random에서는 괜찮지 않을까... 기대해봅니다.
좋은 답변 주셔서 감사합니다.
그런 경우 콘트롤러가 12G SAS이건 6G SAS이건 마찬가지입니다. 6G SAS로 연결됩니다.
SSD가 아닌 하드디스크를 사용한다면 성능상 큰 문제는 없다고 봅니다.
SAS x4 포트 하나만 연결해도 되고 두개 연결하면 더 좋습니다. 아주 약간의 read 성능 향상이 있고, 라인 하나 혹은 SAS 하드디스크의 포트 하나가 망가지더라도 상관 없이 돌아가니까요. 라인 2개를 모두 연결하는 경우 raid 카드에 연결한다면 그냥 사용하면 되지만 hba에 연결한다면 하드디스크 하나가 두개로 잡히므로 MPIO 설정을 해 주어야 합니다.
raid 10 ZFS를 구성한다면 raid 카드가 아닌 hba 카드를 사용해야 합니다. raid 카드라도 hba pass through 모드가 있는 것이라면 상관 없습니다.
카드의 성능 문제도 있는데, PCIe 3.0을 지원하는 카드라면 아무 것이나 상관 없고 PCIe 2.0 시대의 카드라면 PCIe 3.0으로 넘어가기 직전의 후기 카드를 사용하셔야 합니다. 아주 옛날 컨트롤러들은 하드디스크 속도가 50MB/sec 미만인 시대에 만들어진 것들이라서 디스크 여러개를 연결하면 제 성능을 발휘하지 못합니다. PCIe 2.0 후반기 이후에는 하드디스크 16개 정도 용으로는 다들 충분합니다. 골동품 컨트롤러만 아니면 큰 상관 없다고 생각합니다.(대역폭 문제가 아닌 프로세서 문제)
이게 SSD의 경우에는 좀 다른데요. 6G SAS SSD를 쓰더라도 12G SAS 컨트롤러에 연결하는 것이 성능이 좋습니다. 6G SAS SSD를 사용한다면 어차피 6G로 연결되므로 대역폭은 마찬가지입니다. 대역폭 문제가 아니라 12G SAS 시대의 것들이 raid로 여러개 묶인 SAS SSD들의 성능을 뽑아낼 만한 프로세서를 가지고 있거든요.
expander를 사용하더라도 6G x4 대역폭은 가지고 있으므로 하드디스크 16개 사용하는 데에는 큰 문제는 없습니다. raid 10이면 8개 속도인데 아주 좋은 조건이라도 1,200MB/sec 정도이니 충분합니다.
하드디스크 모두에 직결하는 것에 비해 expander를 사용하여 연결하면 약간 성능 하락이 있을 수 있는데 큰 차이는 나지 않습니다.
과거에 나온 HBA나 raid 카드들 중에서 포트 수가 많은 것들(16포트, 24포트 등)은 8포트 카드에 expander를 내장한 형태가 많았는데, Adaptec에서는 이른 시기부터 native 16포트, native 24포트 카드들이 나오기 시작했습니다. LSI 카드에 expander를 거쳐 연결한 것과 자사의 native 포트들에 연결된 raid 성능을 비교하여 native 포트 쪽이 성능이 우월하다는 테스트 결과를 보여주면서 자랑단지를 늘어 놓았는데, 연결되는 하드디스크 갯수가 많을 경우 사실이기는 하지만 그리 큰 차이는 아니었습니다.
하드디스크와 달리 SSD의 경우에는 여러개 동시에 사용하는 경우 직결과 expander 거치는 경우 엄청난 차이가 날 수 있습니다.
Dell H200이나 H310 같은 저렴한 카드들이 원하시는 용도로는 충분합니다.
최근에 Intel SAS expander가 달려 있는 것에 정상 사용중이던 LSI 9207 카드의 SAS 포트를 연결했는데 DISK가 인식 되지 않아서요.
Intel RAID card에 연결 했더니 DISK가 인식이 되는 것으로 보아서 백패널 호환성이 있는 것처럼 보입니다.
백패널 제조사에 따라사 다른 회사 ( 대부분 LSI SAS 이겠지만 ) SAS 카드는 반드시 호환되지 않는다.....
맞게 이해 하고 있는 것 인가요?
아니면 인텔 6Bay 백패널에 Expander 를 갖는 모델만의 문제 인가요?
RAID도 인텔 보드가 아니면 안 올라오고..
백플레인도 마찬가지.. 인텔 RAID 아니면 안 올라오고..
인텔 보드에서 제가 갖고 있는
Avago LSI 9217 , 9207 HBA 도 동작 되구요.
DELL H710P도 동작 됩니다.
그런데 실제로 안되는 경우를 저도 여러번 경험했습니다. Dell EMC의 15베이 DAE는 LSI의 것과만 연결되고 Adaptec의 것은 연결되지 않습니다. 제가 사용해 왔고 지금도 사용하고 있고 일부는 오래 전에 장터에서 팔기도 했던 물건입니다.
그런데 근래에 나오는 expander들은 모두 잘 연결되는 것 같습니다. 이것 저것 여러가지 써 본 것은 아니지만 Adaptec(Microsemi)에서 나온 12G SAS expander는 Adaptec의 HBA는 물론 LSI의 것들과도 잘 연결됩니다. Adaptec의 expander 설명에도 그렇게 나와 있습니다. 인텔의 2011 V3 시절 서버에도 인텔 상표 붙여서 이 제품이 채용된 것들이 있는데, HBA와 RAID 카드들은 LSI의 칩셋을 사용한 것들에 인텔 상표 붙인 것들입니다. 잘 연결됩니다.
하여간 expander와 HBA간 궁합이 맞지 않는 경우가 꽤 있었으니 잘 알아보고 사용해야 하는 문제는 있습니다.
* SAS expander와 SAS HBA 간에는 마땅히 호환되어야 하는 것인데, 실제로는 호환되지 않는 것들도 왕왕 있다.
LSI SAS HBA나 LSI RAID CARD 면 무조건 붙어야 하는게 맞습니다만
그냥 하드 인식 안하면 안하나 보다 하면 땡입니다만
LSI가 OEM 전문이다 보니 다른 OEM이나 리테일과 섞이지 말라고 OEM 제품마다 디스크 번호를 섞어 놓았습니다..
예를 들어
리테일이 12345678 이면
INTEL OEM은 15263748 이런 식이죠..
12G 와서 그것이 더 확실해지고 심해졌습니다..
최신 RAID , HDD , back-plane H/W 조합에서는 거의 문제가 되지 않는 군요.
간장게장님의 상세한 설명에 감사 드립니다.
H200이나 H310같은 카드들을 찾으려고 보니.. 매물이 잘 없네요 ㅠㅠㅠ 어떤 물건이 있는지도 모르니;; 천천히 찾아봐야 될 것 같습니다 ㅠㅠ
여러개 사서 사용하다가 한참 후에 남는 것을 제가 여기 장터에서 팔기도 했습니다.
https://www.2cpu.co.kr/bbs/new_view.php?bo_table=sell&wr_id=331034&qstr=&page=1
그런데 eBay를 보니까 개당 12.5 달러에 파는 작자가 나타난 겁니다. 대량으로 많이 풀렸었습니다.
생각이 나서 지금 eBay를 돌아보니 지금은 90달러 정도에 팔리네요.
하여간 쓸만한 물건이었는데요.
여기에 x4 1포트를 HBA에 물리고 HDD 여러개를 달고 테스트하면 1,750MB/sec가 한계였습니다. 원래 이론적으로는 600MB/sec * 4 = 2,400MB/sec가 나와야 하는데 말이죠. HBA에 2 port를 물리면 1,850MB/sec 정도로 약간 느는 정도
저 정도이면 HDD 16개를 raid 10으로 연결하는 경우 어차피 8개 속도로 하드디스크 하나당 150MB/sec 정도로 잡으면 150MB/sec * 8 = 1,200MB/sec가 되는데, 충분히 커버할 수 있는 대역폭이라고 생각합니다.
올려주신 백플레인에 장착된 expander가 어떤 것인지는 모르겠는데 6G SAS expander라면 비슷한 정도의 성능은 나올 것으로 짐작합니다.