18Bay ( 16 x HBA HDD + 2 x SATA HDD )를 위한 TCRP 설치 결과 ( EUDEV / DDSML 결과 포함)

죠슈아   
   조회 1760   추천 0    


  • 시스템 구성 사양 

BRD : Alienware Aurora-R4 ( Intel C600/X79 (Patsburg) )

CPU :  Core i7-3930K

HBA : LSI MR9260-8i ( IBM5014/IBM5015 to LSI9260-8i firmware )

NIC  : RTL8168/8111

HDD : 16 SAS HDD + 2 SATA SSD 


C1)  TCRP DDSML , DS3622xs+, max=32

  "extra_cmdline": {

    .....

    "SataPortMap": "",

    "DiskIdxMap": ""

  },

  "synoinfo": {

    "internalportcfg": "0xffffffff",

    "maxdisks": "32",

    ....

  }

1,2, 8, ... 23  메시지는  SATA SSD x2 , SAS HDD x16 를 인식 했다는 의미 이므로 설치 성공 이려나 ...  계속 진행 하면 ..


DSM 설치 전에 DISK fail...  max 24 설정에서는 PASS 됐었는데 다시 또  TCRP 18Bay 끝없는 실패 ...

OK 선택으로 계속 하면 ...



Disk 15, Disk 22  포맷이 안됩니다 ...  특별히 문제가 될만한 공통점이 .. 없는데 .. 휴~~~

DS3622xs+  가 12Bay 인데  "maxdisks": "32",  설정이라서 문제가 된다 라고 추측 하면 과도한 해석일 수 있지만 ...... 

그래서 24로 ...........


C2)  TCRP DDSML , DS3622xs+ , max=24

  "extra_cmdline": {

    .....

    "SataPortMap": "",

    "DiskIdxMap": ""

  },

  "synoinfo": {

    "internalportcfg": "0xffffff",

    "maxdisks": "24",

    ....

  }

디스크 인식은 16 + 2 로 모두됩니다.

계속 진행 하면 ...



max=32는 DSM 설치 과정에서 오류가 났지만 max=24 에서는  정상 동작이 가능하군요.



SAS HDD가 sdh ~ sdw 16개 인식 ..   sdd 부터 매핑이 되었던 EUDEV  과 다르다 ...   


-- EUDEV  설정 일때 

    "SataPortMap": "2",

    "DiskIdxMap": "0"


-- DDSML

    "SataPortMap": "",

    "DiskIdxMap": ""


"SataPortMap": "2",  과 "SataPortMap": "",  이라고 설정에 따라서 HBA DISK 할당이 각각  sdd , sdh 으로 달라 지네요.


할당 시작하는 드라이브 이름이 중요하지 않지만 디스크 갯수가 16 일때 으로  디폴트 값인 maxdisks": "16", 에서는 

디스크 인식 갯수가 문제 되며  "maxdisks": "24", 이어야만 하는 것 때문에 ... sdd , sdh  어떤 것으로 부터 시작 되는 지를 확인이 필요 했어요.


DT , non-DT 와 관련이 있는지 DiskIdxMap가 값이 비어 있으면 DT로 동작 되고 "0" 일때는  non-DT 로 동작 되는지 확실하지 않네요.

DT로 동작하는 모델에서는 DiskIdxMap가 값이 비어있지 않고 값이 있으면 충돌이 발생된다??   라는 글이 있던데요.

non-DT 모델도 점차 DT로 변경한다는 글도 있고 해서 .. 지금은 어찌어찌 동작하다가 바꿔진 이후에 DSM 업데이트를 위해서

빌드, 부팅 했는데  갑자기 동작 불능이 되면 DSM 업데이트가 문제 원인일지 ..  

DT로 변경된 것 때문인지 알지 못하고 망하는 길이 될 수도 있어서 ...  ㅠㅠ



C3)  TCRP DDSML , RS4021xs+, max=32

  "extra_cmdline": {

    .....

    "SataPortMap": "",

    "DiskIdxMap": ""

  },

  "synoinfo": {

    "internalportcfg": "0xffffffff",

    "maxdisks": "32",

    ....

  }


32 라는 숫자는 ...  하면 안되는 건가 봅니다.

아 ~~ ..   HBA 디스크 인식이 안됩니다.  이전 결과와 많이 다른데 ...    extra_cmdline 차이 때문인 것 같군요.



C4)  TCRP DDSML , RS4021xs+, max=24

  "extra_cmdline": {

    .....

    "SataPortMap": "",

    "DiskIdxMap": ""

  },

  "synoinfo": {

    "internalportcfg": "0xffffff",

    "maxdisks": "24",

    ....

  }


max=32, max=24 모두 HBA Disk 인식 불가 ...

빌드 전후 업데이트 메시가 있던데 ...  HBA driver 가 바뀐듯  ..

흠 ....


C5)  TCRP DDSML , RS4021xs+, max=24

  "extra_cmdline": {

    .....

    "SasIdxMap": "0",

    "SataPortMap": "2",

    "DiskIdxMap": "1400"

  },

  "synoinfo": {

    "internalportcfg": "0xffffff",

    "maxdisks": "24",

    ....

  }

C1) 이후 HBA DISK 매핑 변경을 위한 변경을 반영한  DS3622xs+ 최종 성공했던 설정으로 RS4021xs+에서도 반영



HBA 가 DDSML 모드에서 지원 되지 않는 것인지 .. EUDEV 로 변경해도 HBA DISK가 인식되지 않는다면 

가장 TCRP Friend 의 최근의 업데이트가 원인일 수 있네요.


C6)  TCRP EUDEV , RS4021xs+, max=24

  "extra_cmdline": {

    .....

    "SasIdxMap": "0",

    "SataPortMap": "2",

    "DiskIdxMap": "1400"

  },

  "synoinfo": {

    "internalportcfg": "0xffffff",

    "maxdisks": "24",

    ....

  }






HBA Disk 는 모두 인식 되지만 초기화 이슈가 있네요.



--- 테스트 결과

 

  • Case1 ~ case7  요약 ...

C1)  TCRP DDSML , DS3622xs+, max=32   :  디스크 인식 16+2/18 , DSM 설치 진행 중 DISK 포맷 실패

C2)  TCRP DDSML , DS3622xs+ , max=24  :  디스크 인식 16+2/18 , DSM 설치 완료 , 정상 동작

C3)  TCRP DDSML , RS4021xs+, max=32   :  디스크 인식  0+2/18 -- HBA DISK 인식 불능

C4)  TCRP DDSML , RS4021xs+, max=24   :  디스크 인식  0+2/18 -- HBA DISK 인식 불능

C5)  TCRP DDSML , RS4021xs+, max=24   : DS3622xs+ 최종 성공 extra_cmdline  설정, 디스크 인식  0+2/18  ( HBA DISK 인식 불능 )

C6)  TCRP EUDEV,  RS4021xs+, max=24   :  디스크 인식 16+2/18 , 초기화 불능

C7)  TCRP EUDEV,  DS3617+,  max=24   :  디스크 인식 16+2/18 , DSM 설치 진행 중 DISK 포맷 실패

Cn)  ......... DS3622xs+ 이외의 다른 모델 테스트는  ...   중지 합니다.


  • RS4021xs+ 모델은 HBA 디스크 인식 불능 , 초기화 실패 ...  TCRP 사용 불가 ...
  • TCRP DDSML , DS3622xs+ , max=24  정상 동작
  • TCRP EUDEV , DS3622xs+,  max=24  정상 동작


  • 이전 테스트 결과를 포함한 18-Bay , 8-Bay, 4-Bay TCRP 설치 성공 결론

18-Bay ( 16 x SAS HDD + 2 x  SATA ) 구성시 DS3622xs+ (DDSML, EUDEV)  정상 동작 ...

18-Bay ( 16 x SAS HDD + 0 x SATA ) 구성시 DS3622xs+ (DDSML)  정상 동작 ...

4-Bay, 8-Bay 에서 SATA HDD 없는 HBA 디스크 구성 일때 에는 DS3622xs+ DDSML 으로만 설치 가능 함 ...


  • 문제점, 개선 필요 사항

DS3622xs+ TCRP EUDEV                : SATA HDD 없을때 부팅불가 , DDSML는 정상 동작

RS4021xs+ TCRP EUDEV / DDSML    :  HBA DISK 인식 불가및 초기화 실패


  • PS

SAS Drive를 sda 부터 매핑 하면 좋겠는데 ..  HBA SAS Drive가 1번 드라이브가 될 수 있도록 ...

grub.cfg 에서 sata_remap=0>4:4>0 설정으로 sda 와 sde swap 하는 

sata_remap to remap data port sequence 처럼 SATA 드라이브가 아닌 SAS 드라이브도 가능 여부 확인 필요 ...



감사합니다.
초보자 ....
짧은글 일수록 신중하게.
화정큐삼 2023-03
디스크 갯수가 모두 인식이 되는지에 앞서 한가지 확인 드리고 싶은 사항이 있습니다.
저보다 LSI RAID 컨트롤러 사용경험이 많으셔서 더 많이 아시겠지만, 헤놀포럼에서 우려하고 있는 사항과 그리고 아래 chatGPT 가 정확한 답변은 아니겠지만
참고로 삼을만 한지는 모르겠습니다.

컨트롤러를 모두 IR Mode 로만 사용하셔야 하는 이유가 컨트롤러 단에서 RAID 구성을 해서 사용하셔야 하는것 같습니다만.
화면에 보시는것처럼 REDPILL 과 IR MODE 에서는 하드의 시리얼이 모두 sd# 형태로만 나타나고 있습니다.
실제 디스크 시리얼번호는 S.M.A.R.T 가 제대로 표현을 못하고 있습니다.

디스크 장애 발생시 리얼 시리얼번호가 있어야 RAID 구성하드중 제거된 위치를 인식할 수 있다고 알고 있는데요.
 sd# 형태의 시리얼로는 위치 인식이 어렵기 때문에 교체가 불가능해서 위험해 질 수 있다고 합니다.
이런 현상은 DS918+ 에서 IT Mode 를 사용하는 경우에도 발생합니다.

제가 IR MODE 를 잘 몰라서 그런데, 레드필이 RAID 상에 교체될 하드의 위치를 몰라도
RAID 컨트롤러 단에서는 정품시리얼들이 관리되므로 문제가 없는걸까요?

죠슈아 2023-03
IR mode를 사용 하는 것을 선호 하지 않습니다.

IR mode 사용 목적은 헤놀에서 logical drive 인식 갯수 한계가 문제가될때  4개 혹은 6개를 하나의 레이드 볼륨으로 만들어서  헤놀에서 하나의 디스크로 인식하게하면 디스크 인식 갯수 한계를 극복 할 수 있는 대안으로 사용 할 수 있습니다.

IR mode와 동일하게 MegaRaid h/w raid 카드도 동일한 조건이 됩니다.

24 bay 일때 현재까지 테스트 결과로 16개 hdd를 인식 할수 있으므로 6개 다스크를 하나의 레이드 볼륨으로 생성 하면 헤놀에서는 4개의 디스크로 인식 하게 됩니다.

16bay 이하일 경우에는 개별로 헤놀에서 인식 하게 하면 됩니다

디스크 장애시는 2가지 종류가 있는데요
디스크의 전기적 파손으로스핀들 업 불가 또는 디스크 인식 불가
디스크의 소프트한 손상으로 배드섹터 데이터 오류 발생 상태

전자는 손쉽게 HBA 또는 h/w raid 카드에서 불량 디스크를 구분 할수 있습니다.

후자는 레이드 볼륨을 하나의 헤놀 디스크로 사용할 경우에는 HBA 또눈 MegaRaid bios에서 SMART를 확인 합니다
레이드 볼륨이 아닐때는 sd# 디스크를 선택해서 bench mark 수행시 access led 점멸하는 디스크를 롹인 하는 방법을 사용 합니다

디스크 장애의 대부분의 경우는 후자이며 LED 점멸 하는 bay를 찾으면 됩니다. 시리얼을 확인 하는 방법은 운이 없으면 모든 bay의 디스크를 빼서 확인 햐야 하며 4자리 이상의 숫자 문자열을 비교 해야하므로 오히려 시간도 더 걸리고 불편한 방법 입니다

전자의 경우는 자주 발생하지는 않겠지만 가능성이 있을텐데요 HBA , MegaRaid BIOS에서 확인 하는 방법을 사용 헙니다
이때는 BIOS에서 확인되는 시리얼을. 디스크 라벨에서 찿아야만 합니다

IR 볼륨이 IT 볼륨 보다 유연하지 않는 것은 사실이나 속도가 느리다는 점은 동의 하지 않습니다.
그러나 IR은 IT 로 플래시 하면 되기 때문에 선택의 문제 이지만 헤놀에서 인식하는 디스크 갯수 한계를 초과하면 피헐 수 없는 선택이 됩니다

MegaRaid h/w raid는 IT 플래시 불가 이므로 IR HBA와 동일하며 이때 구동속도는 헤놀의 소프트웨어 raid 보다 느리다고 단정 할수 없습니다. 
헤놀에 사용되는 CPU의 성능과 레이드 칩셋의 CPU 성능 차이와 함께 디스크와 직접 인터페이스 하는 찹셋의 쓰루풋 과 PCIE 카드에서 데이터를 CPU로 가져오는 레이턴시 오버해드를 갖는 PC 에서의 쓰루풋을 포함해서 비교햐여 하므로 BMT 해봐야 어떤 선택이 더 우월한지 알 수 있습니다

하지만 그 성능 차이가 2배 이상이 아니고 바슷한 정도이면 디스크 갯수 제한에서 자유로운 방법이 나은 선택이 됩니다

해놀이 HBA보다 SATA를 우선하는 폴리시는 바보같은 것입니다
HBA는 8, 16, 24 포트까지 자유롭고 6G 12G 속도 이지만
SATA는 대부분의 경우 6 포트가 최대 이고 2(6G) + 4(3G) 구성 이기 때문 입니다. 최신 마더보드에서는 6포트 6G이기도 하지만
저가의 HBA 와 구형 pc 플랫폼 그리고 구형 cpu가  NAS의 성격에 부합하기 때문 입니다
죠슈아 2023-03
그리고 chatGPT의 회신은 질문에 따라서 다르게 답을 하구요
전문적인 의견 같아보이게 답을 하지만 세부적인 부분에서
재 질문을 계속하면 초기 답을 부정하며 반대의 답을 하곤 합니다.

비 전문가가 전체적인 전반적인 흐름을 갖는 내용 보다는 부분적인 내용을 하나로 짜잡기 하여 전문적인 의견인듯 착각 하도록 서술하기 때문에 제 경우에도 속게 되더군요

잘 알고 계시는 전문적인 내용을 chatGPT에 물어보고 답을
보시면 때려주고 싶다는 생각이 들겁니다 ㅎㅎㅎ
거짓말을 너무 잘 포장해서 답을 하니까요…
화정큐삼 2023-03
MegaRaid bios SMART 가 모든것을 커버준다고 보면 되겠군요. 그럼 헤놀상에서 디스크 SN이 보이지 않는건 이슈가 안되겠네요.
DSM6 Jun's 로더 일때도 HBA는 이래저래 탈이 있었던것 같습니다.
마지막 기억나는것이 하이버네이션 이후 꺠어나지 못해서 문제가 되었던 이슈도 있었구요.
그래서 저는 이 이슈용으로 특별개발된 드라이버를 레드필로 넘어오기 전까지 사용했었습니다.
H310 에 IT Mode 펌업하고 5,6번 테이핑해서 사용중였습니다.

기존 DSM6 에서 있었던 HBA의 한계점이 레드필에도 이어진게 아닌가도 싶구요.
TTG 그룹에서 레드필을 설계할 때 기존 Jun's 로더를 리버스 엔지니어링이라도 해서 분석해서 참고 하지 않았을까도 싶네요.
아주 새롭게 만드는게 쉬운일은 아닐테니까요.
DSM7 에서 오히려 HBA에 제약사항이 더 생겨난것이 안타까울 뿐입니다.
이를 해결해줄 사람이 현재 딱이 없는 상황 같기도 합니다.

레드필을 설계해준 TTG 의 TG 도 DSM6 의 Jun 이 행방불명인것처럼 이분도 행방불명 상태라고 합니다.
과거 레드필 초창기에는 이슈와 문제점등 가려운곳을 많이 해결해 준 분이 였는데,
지금은 그런 역할을 하는 사람이 없는 상태 같습니다.
     
죠슈아 2023-03
bios SMART 에서 시리얼 확인은
HBA 또는 MegaRaid 에서 raid 볼륨 만들었을때에만 하구요

HBA , MegaRaid 디스크를 헤놀 디스크로 할당 했을때는
벤치마크 실행시 엑세스 LED 점멸로 확인 합니다

후자의 경우가 대부분일 거예요.  이 방법이 쉽죠
시리얼 확인하기 위해 모든 디스크 베이를 탈착 하지 않으니까요

HBA 사용시 하이버네이션 이후 이슈가 있었군요
저는 하루종일 365 일 켜두고 사용해서 몰랐군요

HBA에 제약사항은 DSM6 일때 더 심했죠
IR Mode는 패스쓰루가 되던데  대부분의 가이드에서는
IT Mdoe flash 였어요.  왜 이런 가이드를 하는지 모르겠지만 …
결정적으로 HW RAID 가 지원이 거의 되지 않았기 때문에
LSI 9207을 구입하거나 LSI 9217 을 IT mode로 flash 했죠

HW RAID는 서버 웍스테이션 기본장착된 파트도 여러개 있었고
이베이서 6G는 $10이하인데 IT Mdoe HBA는 $60 수준 ㅠㅠ

이제는 12G 가 $60이고. 6G 는 HBA , HW RAID 구분없이
대부분 $10 수준이라서  하향평준화 되었는데. 
그런데 DSM7 TCRP에서는 이제 모두 지원 되네요. ㅎㅎㅎ

헤놀에서 SATA HBA 우선순위를 변경해서
HBA 가 sda sdb sdc. ….    이렇게 되면 좋겠는데
아무리 옵션 조절해도. ..  SATA 우선 할당이고 DiskidMap 으로 HBA 디스크 뒤번호로 할당하고 심지어 SATA 디스크 없어도 sda sdb sdc 3개 영역인  disk 1 2 3 에는 HBA 디스크가 할당하지 못하네요. 
방법이 없을까요??
로그인 하시면 댓글을 남길 수 있습니다


;