레드햇 7.9 사용 입니다.
보드에 장착된 SATA 포트나 인텔 레이드 카드에 연결된 디스크 SMART 정보는 레이드 구성과 관계없이
smartctl 커멘드로 확인 할 수 있는데요.
LSI 9217 (SAS2308)에 연결된 디스크는 레이드 구성전에는
smartctl -a /dev/sda
smartctl -a /dev/sdb
smartctl -a /dev/sdc
으로 각각 결과가 출력 됩니다.
하지만 /dev/sdb 와 /dev/sdc 를 레이드 구성후에는
# smartctl --scan 출력에서 아래 처럼 /dev/sdb 와 /dev/sdc 가 하나의 볼륨 구성되어 /dev/sdb 가 됩니다.
/dev/sda -d scsi # /dev/sda, SCSI device
/dev/sdb -d scsi # /dev/sdb, SCSI device
# smartctl -a /dev/sda 는 레이드 구성에 포함되지 않은 디스크이므로 이전과 동일하게 출력 되지만
# smartctl -a /dev/sdb 는 아래 처럼 SMART 정보가 나오지 않습니다.
# smartctl -a /dev/sdb
smartctl 7.0 2018-12-30 r4883 [x86_64-linux-3.10.0-1160.el7.x86_64] (local build)
Copyright (C) 2002-18, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF INFORMATION SECTION ===
Vendor: LSI
Product: Logical Volume
Revision: 3000
Compliance: SPC-4
User Capacity: 3,997,997,989,888 bytes [3.99 TB]
Logical block size: 512 bytes
Physical block size: 4096 bytes
Logical Unit id: 0x600508e00000000033f0482e3dc8b708
Device type: disk
Local Time is: Fri Jun 10 05:51:34 2022 EDT
SMART support is: Unavailable - device lacks SMART capability.
=== START OF READ SMART DATA SECTION ===
Current Drive Temperature: 0 C
Drive Trip Temperature: 0 C
Error Counter logging not supported
Device does not support Self Test logging
보드의 SATA 에 인텔레이드 구성후 아래 처럼
smartctl --scan 에서 /dev/bus/6 -d megaraid_disk_12 과 /dev/bus/6 -d megaraid_disk_13 가 나오며
# smartctl --scan
/dev/sda -d scsi # /dev/sda, SCSI device
/dev/sdb -d scsi # /dev/sdb, SCSI device
/dev/bus/6 -d megaraid_disk_12
/dev/bus/6 -d megaraid_disk_13
# smartctl -a /dev/bus/6 -d megaraid_disk_12
# smartctl -a /dev/bus/6 -d megaraid_disk_13
으로 SMART 정보가 나옵니다.
LSI 9217 (CTRL-C) 로 접속해서 설정 메이지에서는 SMART를 enable 하는 옵션은 존재 하지 않습니다.
인텔레이드 카드는 되는데 LSI9217 이 않되는 것으로 보아서 HBA 카드에 따라서 않되는 것 처럼 보입니다.
LSI9217 (SAS2308)는 레이드 볼륨은 SMART가 처리되지 않나요?
만일 이것이 않되는 것이면 하드디스크 손상 여부를 어떻게 판단 합니까 ?
디스크가 완전히 고장나기 전에 오류를 검토해서 교체할 방법이 있습니까 ?
레이드 볼륨을 해제 해서 확인 하면 되지만 그러면 레이드 볼륨 데이터가 손상될 텐데요.
LSI 9217 (SAS2308) 에 연결된 디스크를 레이드로 구성 했을때 SMART info 가 나오도록 하려면 어떻게 해야 하나요
레드햇에서의 HBA 카드 정보는
# lspci | grep SAS
03:00.0 Serial Attached SCSI controller: Broadcom / LSI SAS2308 PCI-Express Fusion-MPT SAS-2 (rev 05)
HBA firmware 정보는
레이드 볼륨 생성시"Pred Fail" 항목이 No 으로 나오며 grade-out 으로 되어 Yes를 선택하지 못하게 되어 있어요.
HBA firmware 버전 때문 인가요?
가장 최신인 P20 버전으로 flash 한 타드에 장착된 디스크의 레이드 볼륨도 SMART가 나오지 않습니다.
고수님들 조언을 부탁 드립니다.
HBA 카드가 레이드 볼륨의 SMART를 지원 하지 않는 것으로 보입니다.
LSI는 아시겠지만 OEM 위주인지라 인텔보드면 인텔에 OEM 된 카드만 써야 할 수도 있습니다..
다른 서버 보드나 일반 PC에 설치해봐서 비교해봐야 할 듯합니다..
집에서 이것저것 테스트 용도로 사용하는 것이구요.
사무실 서버에 장착해 놓은 디스크들의 SMART를 확인 하려고 ... 테스트 중 입니다.
인텔보드에도 인텔HBA 카드를 LSI firmware로 flash 해놓았는데 ... SMART는 나오지 않아요.
그냥 인텔 HBA으로 구성했으면 SMART 가 나올 수도 있을텐데 .. LSI firmware가 더 최신 버전이라서 했는데 .. 쓸데없는 짖을 했나 봅니다.
혹시 HBA는 않되고 RAID 카드만 SMART가 나오는 걸 까요?
아주 오래된 $10 짜리 "Intel RAID Controller Low Profile Card (SRCSASLS4I)" 으로 연결하면 SMART가 나옵니다...
HBA는 라서 않되는 거면 LSI firmware로 flash 했기 때문에 SMART가 나오지 않는 것은 아닌것 같아요.
DELL T7610 온보드 SAS포트에 (SAS2308) 연결한 것에서도 레이드 볼륨 구성하면 SMART가 나오지 않거든요 ...
H710P 으로 바꾸면 레이드 볼륨에서도 SMART가 나올까요???
LSI 9217 이 HBA으로 헤놀에서도 사용되고 SMART 정보가 나오길래 H710P 대신 사용한 것 인데 ...
LSI HBA가 실망 시키네요 ....
벌써 밤새고 아침 이네요...
아침 식사하고 H710P로 바꿔서 해봐야 겠어요.....
하드디스크 센티널이 그나마 아무 카드에서나 하드 인식을 잘하고 레이드 묶인 것들도 하드 개개의 값들을 읽을수 있기에 추천 드려 본 것입니다..
HBA이든 캐쉬 달린 RAID CARD든 관계는 없다라고 생각합니다..
하드디스크 센티널 은 윈도우 s/w 에서는 확인 해볼께요
리눅스 버전은 허접해요.
당연하게 레이드 볼륨 smart 나오지 않는 것은
확인 했던 사항 입니다
12Gb/s 3008은 sas3ircu 입니다
2108,2208같은 캐시메모리가있는건 megacli 나 storcli를 써야 정보가 보입니다
인텔보드는 ERST나 RSTe구성이되며 ERST로 레이드구성하면 lsi에서 소프트웨어 라이센스 형태로 보드에 넣어둔 레이드로 구성됩니다 이경우는 megacli에서 보입니다
lsi.com에서 sas2ircu 받아서 설치하면 디스크정보가 보일껍니다
sas2ircu 에 보이는 디스크 정보는 한정적일 수있고 캐시있는 레이드 카드의 경우 디스크 에러카운트까지 표시합니다
저는 megacli 로 디스크 모니터링을 합니다
http://www.sproc.co.kr
제가 사용하는 것은 LSI9217 (SAS2308_2) 입니다.
megacli 문서에서는 아래와 같이 나오므로 LSI9217 / LSI9207 은 지원 하지 않는 것이죠 ?
The StorCLI tool is designed to work with the MegaRAID product line. The StorCLI tool supports the following MegaRAID products.
The 926x product line.
The 928x product line.
The 924x product line.
LSI® MegaRAID SAS iMR
LSI MegaRAID SAS 9280-8e
LSI MegaRAID SAS 9260CV-8i
LSI MegaRAID SAS 9266CV-8i
LSI MegaRAID SAS 9285-8e
[root@lnx2020 hba]# ./sas2ircu -help
LSI Corporation SAS2 IR Configuration Utility.
Version 20.00.00.00 (2014.09.18)
Copyright (c) 2008-2014 LSI Corporation. All rights reserved.
SAS2IRCU: Invalid command specified.
sas2ircu <controller #> <command> <parameters> ...
where <controller #> is:
Number between 0 and 255
where <command> is:
DISPLAY - display controller, volume and physical device info
LIST - Lists all available LSI adapters (does not need ctlr #>
CREATE - create an IR volume
DELETE - Delete entire RAID configuration on the selected controller
DELETEVOLUME - Delete a specific RAID Volume on the selected controller
HOTSPARE - make drive a hot spare
STATUS - display current volume status info
SETOFFLINE - set the physical disk to OFFLINE state
SETONLINE - set the physical disk to ONLINE state
CONSTCHK - Start Consistency Check operation on the specified IR Volume
ACTIVATE - Activate an Inactive IR volume
LOCATE - Locate a disk drive on an enclosure
LOGIR - Upload or Clear IR Log data
BOOTIR - Select an IR Boot Volume as primary boot device
BOOTENCL - Select an Enclosure/Bay as primary boot device
ALTBOOTIR - Select an IR Boot Volume as alternate boot device
ALTBOOTENCL - Select an Enclosure/Bay as alternate boot device
HELP - Display help information
where <parameters> are:
Command specific values; enter "sas2ircu <controller #> <command>"
to get command specific help
controller 없이 수행 가능 명령은 아래의 sas2ircu LIST 뿐 입니다.
아래 내용중 controller 번호가 뭔가요? 혹시 Index 인가요?
sas2ircu 로 SMART 정보를 확인 하려면 어떤 옵션이 해당 하는 것인가요?
# ./sas2ircu LIST
LSI Corporation SAS2 IR Configuration Utility.
Version 20.00.00.00 (2014.09.18)
Copyright (c) 2008-2014 LSI Corporation. All rights reserved.
Adapter Vendor Device SubSys SubSys
Index Type ID ID Pci Address Ven ID Dev ID
----- ------------ ------ ------ ----------------- ------ ------
0 SAS2308_2 1000h 87h 00h:03h:00h:00h 1000h 3060h
SAS2IRCU: Utility Completed Successfully.
Index 를 controller 번호로 지정하니 STATUS가 나오기는 하는데요... SMART는 아니군요.
디스크 에러카운트를 위한 sas2ircu 옵션이 뭘까요??
# ./sas2ircu 0 STATUS
LSI Corporation SAS2 IR Configuration Utility.
Version 20.00.00.00 (2014.09.18)
Copyright (c) 2008-2014 LSI Corporation. All rights reserved.
Background command progress status for controller 0...
IR Volume 1
Volume ID : 286
Current operation : None
Volume status : Enabled
Volume state : Optimal
Volume wwid : 047380928b8c8cac
Physical disk I/Os : Not quiesced
SAS2IRCU: Command STATUS Completed Successfully.
SAS2IRCU: Utility Completed Successfully.
sas2ircu - 2008, 2308
sas3ircu - 3008
megacli, storcli - 2108, 2308, 3108
위처럼지원하고 온보드 사타의 인텔레이드는 ERST의 경우 megasr 드라이버로 잡히고 megacli가 됩니다
일단 여기까지이고 megaraid 는 디스크 에러카운트 항목이 있어서 디스크 불량을 어느정도 예측할수있지만 sas2ircu는 레이드구성시 디스크 상태정도만 확인할 수있습니다
컨트롤러에 비프음 부저가없어 sgpio led 나 sas2ircu밖엔 장애를 확인할 방법밖엔 없습니다
sas2ircu 0 display 에서 나오는 정보가 최선입니다
sas2ircu - 2008, 2308
sas3ircu - 3008
megacli, storcli - 2108, 2308, 3108 --> 2308 이 포함되는 것이 맞습니까?
"2108,2208같은 캐시메모리가있는건 megacli 나 storcli를 써야 정보가 보입니다 " 와 상충됩니다. 2308 은 캐시메모리가 없는데요.
StorCLI Reference :
The StorCLI tool is designed to work with the MegaRAID product line.
The StorCLI tool supports the following MegaRAID products.
The 926x product line.
The 928x product line.
The 924x product line.
LSI® MegaRAID SAS iMR
LSI MegaRAID SAS 9280-8e
LSI MegaRAID SAS 9260CV-8i
LSI MegaRAID SAS 9266CV-8i
LSI MegaRAID SAS 9285-8e
이 부분에서 이해가 잘 않되는 부분 입니다.
LSI920x/921x series 는 SAS 2008 인데요.
님의 설명으로는 sas2ircu - 2008, 2308 이 가능하다고 이해되고
StorCLI Reference 에서는 StorCLI 지원 된다고 나옵니다.
혹시 LSI 칩셋 SAS번호에 따라서 지원 범위가 다른게 아니고 제품번호 다른게 아닌가 ? 라고 생각이 듭니다.
뭐가 맞는 걸까요 ... 하나씩 다해보고 구입할 수는 없는데 ㅎㅎㅎ
2308이 아니라 2208입니다 제가 오타를 내었습니다
혼선을 드려 죄송합니다
뒤늦게 봤습니다.
시스템 IP address를 등록하면 웹으로 시스템들의 상태 체크가 되는 것이군요.
이런 작업은 상용툴을 인가요?
페이지 내용중 개발중 이라고 나오는 것은 님께서 웹 페이지 생성 작업 진행을 이라는 의미 인가요?
이 작업 결과물은 판매를 하시는 것 인가요?
보신 페이지는 megacli및 storcli, 기타 스크립트로 직접 만들고있는 사이트 입니다
예전에 만들어서 사용하던 http://oasis.sproc.co.kr 의 개선 버전 정도로 시간될때마다 조금씩 만들어 보고있습니다. 순전히 취미생활입니다
https://hwraid.le-vert.net/wiki/LSIFusionMPTSAS2
sudo modprobe sg
sudo tee -a /etc/modules > /dev/null << EOT
sg
EOT
sudo smartctl -a /dev/sg1
sudo smartctl -a /dev/sg2
sudo smartctl -a /dev/sg3