안녕하십니까?? 웹서버 한대를 운용중이고
최근에 yum update를 통해서 업데이트를 해줬는데 다음과 같은 에러 메시지를 확인하였습니다.
Oct 18 18:05:37 host systemd: Stopping Self Monitoring and Reporting Technology (SMART) Daemon...
Oct 18 18:05:38 host smartd[736]: smartd received signal 15: Terminated
Oct 18 18:05:38 host smartd[736]: smartd is exiting (exit status 0)
Oct 18 18:05:38 host systemd: Started Self Monitoring and Reporting Technology (SMART) Daemon.
Oct 18 18:05:38 host systemd: Starting Self Monitoring and Reporting Technology (SMART) Daemon...
Oct 18 18:05:38 host smartd[6531]: smartd 6.2 2017-02-27 r4394 [x86_64-linux-3.10.0-514.6.1.el7.x86_64] (local build)
Oct 18 18:05:38 host smartd[6531]: Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org
Oct 18 18:05:38 host smartd[6531]: Opened configuration file /etc/smartmontools/smartd.conf
Oct 18 18:05:38 host smartd[6531]: Configuration file /etc/smartmontools/smartd.conf was parsed, found DEVICESCAN, scanning devices
Oct 18 18:05:38 host smartd[6531]: Device: /dev/sda, type changed from 'scsi' to 'sat'
Oct 18 18:05:38 host smartd[6531]: Device: /dev/sda [SAT], opened
Oct 18 18:05:38 host smartd[6531]: Device: /dev/sda [SAT], ST1000DM003-1CH162, S/N:S1DH2HET, WWN:5-000c50-06d6684e9, FW:CC47, 1.00 TB
Oct 18 18:05:38 host smartd[6531]: Device: /dev/sda [SAT], found in smartd database: Seagate Barracuda 7200.14 (AF)
Oct 18 18:05:38 host smartd[6531]: Device: /dev/sda [SAT], is SMART capable. Adding to "monitor" list.
Oct 18 18:05:38 host smartd[6531]: Monitoring 1 ATA and 0 SCSI devices
Oct 18 18:05:38 host smartd[6531]: Device: /dev/sda [SAT], 8 Currently unreadable (pending) sectors
Oct 18 18:05:38 host smartd[6531]: Sending warning via /usr/libexec/smartmontools/smartdnotify to root ...
Oct 18 18:05:39 host smartd[6531]: Warning via /usr/libexec/smartmontools/smartdnotify to root: successful
Oct 18 18:05:39 host smartd[6531]: Device: /dev/sda [SAT], 8 Offline uncorrectable sectors
Oct 18 18:05:39 host smartd[6531]: Sending warning via /usr/libexec/smartmontools/smartdnotify to root ...
Oct 18 18:05:39 host smartd[6531]: Warning via /usr/libexec/smartmontools/smartdnotify to root: successful
메일함에는 다음과 같은 에러 보고서가 쌓여있네요
[root@host modules]# mail
Heirloom Mail version 12.5 7/5/10. Type ? for help.
"/var/spool/mail/root": 57 messages 57 unread
>U 1 root Thu Feb 9 22:13 19/647 "CurrentPendingSector"
U 2 root Thu Feb 9 22:13 19/644 "OfflineUncorrectableSector"
U 3 root Thu Feb 9 22:46 19/647 "CurrentPendingSector"
U 4 root Thu Feb 9 22:46 19/644 "OfflineUncorrectableSector"
U 5 root Sun Feb 12 22:01 19/647 "CurrentPendingSector"
U 6 root Sun Feb 12 22:01 19/644 "OfflineUncorrectableSector"
아마 하드의 배드섹터가 발견되었다는 문제 같은데
배드섹터가 얼마나 치명적인지에 대한 감이 없어서 질문드립니다.
결과적으로 하드 교체가 답이겠지만 사용하는데 별 문제가 없다면 그냥 그대로 사용하면 안되는지 궁금해서 질문드립니다.
하드는 중고로 있는것을 사용해서 오래된 것입니다.
감사합니다.
--수정--
smartctl --all /dev/sda 의 결과중 일부입니다. 상태가 어떤 상태인지 확인해 주시면 감사하겠습니다.
SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x000f 110 099 006 Pre-fail Always - 27988688
3 Spin_Up_Time 0x0003 097 097 000 Pre-fail Always - 0
4 Start_Stop_Count 0x0032 098 098 020 Old_age Always - 2586
5 Reallocated_Sector_Ct 0x0033 100 100 010 Pre-fail Always - 0
7 Seek_Error_Rate 0x000f 081 060 030 Pre-fail Always - 133965020
9 Power_On_Hours 0x0032 068 068 000 Old_age Always - 28489
10 Spin_Retry_Count 0x0013 100 100 097 Pre-fail Always - 0
12 Power_Cycle_Count 0x0032 098 098 020 Old_age Always - 2577
183 Runtime_Bad_Block 0x0032 100 100 000 Old_age Always - 0
184 End-to-End_Error 0x0032 100 100 099 Old_age Always - 0
187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0
188 Command_Timeout 0x0032 100 100 000 Old_age Always - 0 0 0
189 High_Fly_Writes 0x003a 100 100 000 Old_age Always - 0
190 Airflow_Temperature_Cel 0x0022 075 056 045 Old_age Always - 25 (Min/Max 21/27)
191 G-Sense_Error_Rate 0x0032 100 100 000 Old_age Always - 0
192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always - 23
193 Load_Cycle_Count 0x0032 001 001 000 Old_age Always - 245360
194 Temperature_Celsius 0x0022 025 044 000 Old_age Always - 25 (0 13 0 0 0)
197 Current_Pending_Sector 0x0012 100 100 000 Old_age Always - 8
198 Offline_Uncorrectable 0x0010 100 100 000 Old_age Offline - 8
199 UDMA_CRC_Error_Count 0x003e 200 200 000 Old_age Always - 0
240 Head_Flying_Hours 0x0000 100 253 000 Old_age Offline - 24792h+44m+05.727s
241 Total_LBAs_Written 0x0000 100 253 000 Old_age Offline - 6725639762
242 Total_LBAs_Read 0x0000 100 253 000 Old_age Offline - 8105974587
어느 순간 읽지를 못하고 뻗어 버립니다.
(계속 데이터는 배드섹터가 늘어감에 데이터 망실이 되어가고 있을 것입니다.)
새 하드로 바꾸어 주세요..
하드 하나 사서 dd 사용해서 옮겨야겠네요. 감사합니다.
논리배드는 공장가서 로우포멧하면 운 좋은 경우 고쳐진다는 도시전설이 있는데, 하드에도 SSD마냥 여분섹터가 있기 때문에 불필요한 짓입니다. (갔다준다고 해주는지도 모르겠군요) 참고로 이미 양자단위 기술을 사용중인 현시대 고밀도 하드디스크를 집이나 현장에서 로우포맷할 기술은 현재 존재하지 않습니다. (미세한 공기 진동만으로도 작업이 불가능하기 때문에 특수한 설비를 지닌 하드디스크 공장 같은데서나 가능한 작업입니다)
대개 해당 섹터가 제조과정 중 어정쩡하게 불량인 경우 발생합니다(해당 섹터가 공장에서 나왔을 땐 잘 작동했는데, 쓰다가 맛이 감). 이 경우에는 증식하지 않습니다. (그리고 이런경우는 하드디스크의 펌웨어가 대개 알아서 해결합니다)
물리배드는 플레터에 직접적인 손상이 가해진 상태입니다.
계속 늘어나는 원리는, 하드 안에 깨어진 조각이나 먼지나 이물질이 무서운 속도로 돌아가고 있는 플레터랑 충돌하고 이리저리 튀면서 여기저기 긁고 있어서 그렇습니다. (사람 입장에서야 표면을 긁는거지, 플래터 위 데이터 입장에선 도시 몇개는 우습게 날려버릴 운석이 떨어지고 있는겁니다)
이 과정에서 Gravity(2013)의 케슬러신드롬 마냥 파편이 늘어나게 되고, 점점 파괴가 가속됩니다. 어느 순간 하드디스크 구동에 필요한 치명적인 영역이 파괴될 것이고, 그 때는 인식도 안될겁니다.
충격에 의해 망가지는 상당수의 하드디스크가 이런식으로 파란만장한 생애를 마감합니다.
교체도 중요하지만, 현재 웹서버가 운영중인 환경도 점검해보세요.
대개 하드디스크를 벽돌마냥 무자비하게 취급하거나, 진동이 심한 장소에 있는 경우 이런일이 발생하기 쉽습니다.
보통 맘에 안든다고 시스템을 발로 차대거나, 작동하는 와중 위치를 옮기거나, 혹은 설치된 곳이 진동이 심하다거나, 하드디스크를 제대로 설치를 안했다던가 하는식으로요.
아주아주아주 운이 나쁜 경우 갑자기 전원이 차단되어서 발생할 수도 있는데, 현 세대 하드디스크는 관성을 이용한 자동파킹시스템을 장비하고 있기 때문에 이런경우는 보기 드믑니다.
만약 구동 환경이 문제이면 이런일이 또 발생할겁니다.
결국 새로 하드를 사서 교체하였습니다.
위 문제로 하드를 사서 복제하시려는 분들께 혹여나 도움이 될까 하여 댓글 남깁니다.
cat /dev/sda > /dev/sdb
혹은 dd 명령어는 배드섹터로 인하여 IO 에러가 나더군요.
그리고 현재 파일시스템을 mount 해 놓은 상태로 하드 클론을 하는것은 위험합니다.
ddrescue 명령어를 사용하시거나 새로 설치하기를 권합니다.