박문형 11-03

HDD는 기동시 12V 2A +5V 1A 정도의 피크치 전류가 필요합니다..

따라서 HDD를 많이 설치하면 파워에 따라서 5V가 모잘라서 문제가 되는 경우가 있습니다..

옛날 팬티엄 3~4때 파워는 12V 전류량은 작았지만 5V와 3.3V의 전류값이 커서 많은 HDD를 설치해도 큰 문제가 없었지만

현재 나오는 파워들은 12V 전류값만 높고 5V 3.3V 전류값이 낮습니다..

(CPU,GPU가 12V를 많이 먹고 HDD는 줄어드는 추세인지라 5V /3.3V가 요즘 판매되는 파워 최대치는 대략 각각 25A 정도입니다..)

파워 1000W라고 다 같지가 않습니다..

https://www.2cpu.co.kr/hardware_2014/45694

현재 저는 이 파워 사용중이며 HDD 8개 설치되어 있습니다..




파워 문제가 아니라면 일부 디스크에 문제가 있거나 레이드가 깨졌다라고도 볼 수 있습니다..

전체적으로 HDD 초기화 하고 다시 묶어보세요.. (시간이 많이 걸리겠지만)

prox 11-03

앱코 XTREAM XT-1000G 80PLUS골드 풀모듈러
12v 83.4A로 괜찮겠지 했는데 아닌가보네요...
디스크에 12v/5v 표시중에 고를 수 없을까요?
두세번정도 다시 묶어도 사용하면 바로나타날때가 있고
한두달 있다가 발생하기도 하고 합니다.

박문형 11-03

앱코 XTREAM XT-1000G 80PLUS골드 풀모듈러

다나와에서 확인해보니 5V/3.3V 가 22A네요..

HDD에서 12V는 플레터 모터를 구동시키는데 사용되고 5V는 기판의 회로들이 동작할 때 사용됩니다..

따라서 두개의 전압은 동시에 공급되어야 합니다..


https://45drives.blogspot.com/2015/05/the-power-behind-large-data-storage.html

45개의 디스크를 구동시킬때 전류량 변화를 측정한 것입니다..

prox 11-03

감사합니다!

박문형 11-03

지금 시스템에서 RAID 0을 풀고 HDD 8개 꼽아서 재부팅 테스트하고 OS 올려서 각각의 디스크를 거의 동시에 억세스 했을때 이상이 없다면

시스템은 문제가 없다고 볼 수 있고 그렇다면 레이드 묶어도 별일 없이 동작할 것입니다..

그러나 레이드를 묶지 않고 HDD 8개 꼽아서 재부팅 몇번해보고 OS 올려서 각각의 디스크를 거의 동시에 억세스 했을때  시스템에 문제가 생긴다면

어느 정도는 파워가 모자르는 문제라고 생각해볼 수 있습니다..



5V/3.3V 의 전류가 높은 파워는 보통 10여년 혹은 그 이전의 파워들이 많습니다..

술이 11-03

속도때문에 레이드0 ㅎㅎ
그냥 SSD를 쓰세요. 디스크로 레이드 백날 땜빵해도 SSD 1개만도 속도 안나와요.

프리모캐쉬만 써도 SSD 와 레이드 뺨치는 속도 나오는데...

prox 11-03

크기 대비 가격이죠... 30TB
nfs 켜 놓고 쓰기 600mb정도 나오니깐

술이 11-03

디스크 한개만 나가도 30TB가 동시에 날라가는데 무슨 크기대비 가격대인가요 얼마나 쓰레기 데이터 넣을거면 30TB가 날라가도 상관없길레...

prox 11-03

노드 2개 써서 두벌로 한쪽은 저장만 하고 있거든요.
테스트 데이터라 크게 문제도 없지만서도...

제온프로 11-03

그냥 쉽게 말해

데이터를 잃을 확률이
단일 하드 데이터 잃는 확율보다.... 7~8배로 증가합니다.

그냥.. 데이터 없어지는거조

박문형 11-03

RAID 0은 데이터 복구기능이 없고 디스크 1개만 배드나도 문제가 생길 수 있습니다..

디스크 추가했는데 레이드 콘트롤러에서 비프음이 들리면 MSM (MegaRAID Storage Manager)으로 들어가 에러로그부터 확인해보세요..

prox 11-03

네네 중요도가 높으면 raid1로 썼을텐데요.
중요도는 그리 높지않구요. 크기랑 속도땜에 썼습니다!

박문형 11-03

돈을 투자해서 SATA SSD혹은 NVME SSD로 가면 여러가지가 간편해지고 좋기는 합니다..

그러나 가격면에서는 어쩔수 없이 HDD가 재일 낫기는 합니다..

prox 11-03

핫스왑으로 디스크 꼽아가면서 테스트 하고 있는데
6장째부터 삑삑 거리는 소리가 납니다.
디스크 스펙에 5v/0.7A 면 8장이면 5.6이고 6A면 될꺼 같기도 한데 어디서 5v를 쓰는 걸까요...

박문형 11-03

물론 마더보드나 카드 회로쪽에서도 5V를 많이 사용합니다..

동작하는 파워에서 각 전압에 대한 전류가 얼마나 변하는가를 측정하는 것은 쉬운 일이 아닙니다..

그리고 가능하시면 디스크들에 레이드 정보가 없게 다 초기화해서 테스트 해보시기 바랍니다..

윈도우즈 OS라면 HardDiskSentinel 설치하면 연결된(인식된) 각각의 하드디스크 상태를 알 수 있습니다..

죠슈아 11-03

9266-8i,9300-8i  모두 SAS/SATA 80807 커넥터를 지원하는 8Bay 또는 4Bay를 사용하시나요?

저 역시 이런 증상으로 수일을 허비하고 결론에 도달했어요.
SAS 16개 HDD를 6Bay * 3개에 구성했습니다. 2개는 마더보드의 SATA 포트를 사용해서 SATA HDD/SSD를 장착했죠.
이유는 SAS HDD가 SATA HDD 보다 낮은 가격으로 구입이 가능 했기때문에 ...

HDD가 SAS2 규격인 HDD-A4000-HUS724040ALS64 입니다.  SAS2 6Gb/s  입니다.
PowerSupplyer 는 corsair ax1200 으로 5v가 30A 입니다.  이런 구성에서 고전력 GPU를 사용 하지 않으므로 12v 전력은  문제가 되지 않습니다.
HDD당 약 1.875A 5v 가 가능한데 마더보드에서 조금이라도  사용될 것이므로 1.8A 가 최고 피크가 될 수 있습니다.

증상 1 :  일부 디스크가 반복해서 인식은 되지만 볼륨생성등에서 시스템 멈춤을 발생 시킵니다.
증상 2 :  일부 디스크가 반복해서 인식이 않되다가 인식이 됩니다.

이 상황에서 파워 전력이 의심된다고 보기 힘들며 모든 디스크는 개별상태에서 정상 동작 됩니다.

수많은 반복 테스트 결과 몇가지 일관된 .. 재현되는 증상을 찾 았습니다.

1. 16 포트를 지원하는 LSI 9300-16i 16-port 는 정상 동작하는 것보다 오류 발생이 반복된다.
2.  8 포트를 지원하는 LSI SAS 9207-8I 정상 동작하는 것도 있고 비정상 동작을 하기도 한다.

16 포트를 지원하는 LSI 9300-16i 는  슬롯 하나만 점유 하기때문에 10G NIC를 위한 슬롯을 남겨 둘 수있는 것 때문이며
  8 포트를 지원하는 LSI SAS 9207-8I  은 보다 상대적으로 안정적이지만  두개 슬롯을 차지 해서 10G NIC를 포기 해야 했지요.

증상으로 얻은 결론은
1. HDD가 SAS2 인데 SAS3 지원이 우선 순위로 지원하는 LSI 9300-16i 는 negotiation  을 거쳐서 SAS2 으로 통신하지만 문제를 만들게 된다 ..
2. 8 포트를 지원하는 LSI SAS 9207-8I  일부 카드는 중고 구입으로 SAS Lane Cap을 재 장착 해서 수리했던 것으로
    대부분의 시간동안에 동작하는 것 처럼 보이지만 신뢰성이 없는 증상을 발생해서 폐기 했습니다.
3.  LSI SAS 9207-8I  이며 6Bay Intel FXX6DRV3GBRD 이러서 SATA 6개 컨넥터 입니다.
    그래서 8087  to SATA/SAS  케이블을 사용 해애 했어요.  30Cm 와 50cm , 그리고 75cm 3가지로 테스트 했습니다.
    30Cm 와 50cm 케이블에서는 비정상 동작이 발생 하지 않았습니다.  75cm 케이블은 ...  사용불가...
4. 4Bay 인 HP 684524-001 4Bay 3.5" Hot Plug 4U G8 Module 으로 테스트하면 그 길이가 75cm 일때 이상 증상이 발생 하지 않았습니다.
  4Bay 인 HP 684524-001 4Bay 3.5" Hot Plug 4U G8 Module 으로 테스트하면  16 포트를 지원하는 LSI 9300-16i 사용에도 이상 증상 발견 되지 않았습니다.

확실한 근거를 갖는 결론 이라고 할 수 없지만 증상으로 종합하면 ...
1. 케이블 길이가 50cm 이상이면 이상 증상 발생 한다.
2. 8087 to SATA 변환 케이블은  디스크 백패널의 포트에 접촉이 4개 또는 6개가 각기 다른 접촉 특성으로 문제가 발생하지만
  8087 to 8087  케이블은 디스크 백패널의 4개 포트에 동일한 접촉 측성을 갖기때문에 변환 케이블보다  안정성을 갖는다.
3. HDD 규격에  일치하는 SAS HBA를 사용 하는 것이 신뢰성을 갖는다.

최종적으로 아래 구성으로 안정성 이슈없이 정상 동작합니다.
LSI SAS 9207-8I                        2개
6Bay Intel FXX6DRV3GBRD        3개
HDD-A4000-HUS724040ALS64    16개
30cm 8087-to-SATA 케이블        4개

다수의 HDD 의 인식 또는 오류 증상을 파워 의심 언급이 많지만
제 의견은 케이블 길이와 형상 타입 및 HBA와 HDD 규격 차이가 주된 이유이다... 라고  생각 합니다.

이 구성에서 Corsair  CMPSU-400CX (5v 20A)  400W  으로 변경해도 문제의 이상 증상은 발생 하지 않았습니다.
괜히 5v 30A  파워를 구매 했습니다... 
HDD 스핀들업 하는 시간이 각각 다르게 하나씩 동작하게 되어 (HBA가이것을지원하죠 ..) 
피크 전력 계산을  HDD 갯수와 HDD 피크전력 (5v) 으로 하지 않아도 된다는 생각 입니다.
HDD 스핀들업 시간 차이는 구동모터의 12v를 타겟 하는 것이지만 5v 전력도 같이 연동 되고 있는 것을 확인 했습니다.

구시대의 아주 오래된 HDD는 제외하는 조건으로 ....

prox 11-04

라나였나 데네브였나, 오래된 파워를 하나 찾아서 (5v/30a) 테스트를 해볼까 했는데 수고를 덜었네요.
케이블은 9266-8i 8087-8482x4, 9300-8i 8643-8482x4(각 50cm이하) 이렇게 쓰고 있구요.
c610/c612 보드로 테스트 해봤는데 전류 부분에서 이해가 안가는 부분이 있더라구요.
둘중 하나는 파워스펙이 5v/16a인데 디스크 5장 동작하는데 문제가 없었더라구요.

죠슈아 11-04

8087-to-8087 cable 을 사용 하시나요?
8087-to-SATa cable 을 사용 하시나요?
후자라면 케이블을 바꿔 보세요.
DISk가 SATA 인가요?  SAS2, SAS3 어느 것인가요?

저는 16개 SAS2 HDD를 9207-8i 카드 두개에 장착해서 RAID0 볼륨으로 아무 문제 없이 사용중 입니다.
 디스크 엑세스 헤비로드 조건에서 테스트에서도 문제가 발생 하지 않습니다.

다만 RAID0 볼륨 특성상  백업이 없는 조건은 위험 할 수도 있습니다.
저의 개인적인 경헝 이지만 ... .    10년 넘게 RAID0 구성 볼륨으로 디스크 불량으로 데이터를 잃어본적은 없습니다.
가끔 . .  정전으로  레이드 볼륨 인식이 않되는 일은 있었지만
다시 외부 디스크 볼륨 import만으로 복구 되던군요.
델사 엔지니어가 와서 레이드 볼륨0 으로 구성된 파일시스템은 복구 않된다고 하고 투털대며 가버려서
회사에서 메인터넌스 계약을 해지한 적이 있습니다.
정확하게는 델 코리아가 아니고 델 코리아와 계역한 유지보수를 한 회사 직원 이였죠.
심지어는 영문이라고 메뉴얼을 읽지도 못한다고 하더군요,.  한심해서 .. 으으,,

제온프로 11-03

정상 범주의 사용방법이라 보기 힘듭니다.

계속적인 트러블로.. 시간을 허비 하실겁니다.

prox 11-04

정상 범주가 어떤걸까요?