개월에 1번씩 접속하는 스토리지 서버가 있습니다. 네트워크 플로우 데이터를 저장용입니다.
우분투 15.04 64비트
어느 순간 루트사용자로 파일을 생성하려고 했는데 아래와 같은 나오네요.
sys-bash: cannot create temp file for here-document: Read-only file system
다행히 데이터영역은 다른 파티션입니다.
os는 /dev/sda , 데이터는 /dev/sdb
구글검색하니까
위처럼 해보라고 하는데 / 파티션 부분이 ro더군요. 원래는 rw이어야 하는데
근데 언마운트롤 하라고 하면 /boot를 해야하는지 아니면 / 영역 자체를 해야 하는지 궁금합니다.
만약 싱글모드?로 부팅해서 해야 할 것 같기도 한데요. 싱글모드 진입 후 언마운트 하고 e2fsck 명령어로 복구 가능하다고 하는데 정말 잘될런지 모르겠네요.
혹시 경험있으신 분 계신가요?
sudo mount -no remount,rw /
하지만 정작 중요한건, 왜 read-only로 바뀌었는지를 알아야 한다는 거죠.
문제 해결이 안되면 read-only 는 언제든지 또 발생합니다.
디스크 용량이 꽉 차 있거나, 물리적 고장이거나..
기타 다른 이유가 있을지도..
https://yumserv.tistory.com/17
위 url처럼 들어가서 작업하려고 합니다.
추가로 syslog 메시지 일부 내용도 있습니다.
Jan 19 04:26:31 flow-storage kernel: [13398460.209172] megaraid_sas: FW detected to be in faultstate, restarting it...
Jan 19 04:26:34 flow-storage kernel: [13398463.221343] pcidata = 0
Jan 19 04:26:34 flow-storage kernel: [13398463.221346] megaraid_sas: FW restarted successfully,initiating next stage...
Jan 19 04:26:34 flow-storage kernel: [13398463.221348] megaraid_sas: HBA recovery state machine,state 2 starting...
Jan 19 04:27:04 flow-storage kernel: [13398493.344144] megasas: Waiting for FW to come to ready state
Jan 19 04:27:04 flow-storage kernel: [13398493.344148] megasas: FW in FAULT state!!
Jan 19 04:51:04 flow-storage kernel: [13399933.606050] FW state [-268435456] hasn't changed in 180 secs
Jan 19 04:51:04 flow-storage kernel: [13399933.606054] megaraid_sas:adapter not ready
Jan 19 04:51:06 flow-storage kernel: [13399935.614139] megaraid_sas: pending cmds after reset
Jan 19 04:51:06 flow-storage kernel: [13399935.614142]
Jan 19 04:51:06 flow-storage kernel: [13399935.614142] megasas[2]: Dumping Frame Phys Address of all pending cmds in FW
Jan 19 04:51:06 flow-storage kernel: [13399935.645807] megasas[2]: Total OS Pending cmds : 0
Jan 19 04:51:06 flow-storage kernel: [13399935.657099]
Jan 19 04:51:06 flow-storage kernel: [13399935.657099] megasas[2]: 64 bit SGLs were sent to FW
Jan 19 04:51:06 flow-storage kernel: [13399935.678702] megasas[2]: Pending OS cmds in FW :
Jan 19 04:51:06 flow-storage kernel: [13399935.689737] megasas[2]: Frame addr :0x366c2000 :
Jan 19 04:51:06 flow-storage kernel: [13399935.690008] megasas[2]: frame count : 0x1, Cmd : 0x2, Tgt id : 0x0, lba lo : 0x13018330, lba_hi : 0x0, sense_buf addr : 0x366bf480,sge count : 0x2
Jan 19 04:51:06 flow-storage kernel: [13399935.719622]
Jan 19 04:51:06 flow-storage kernel: [13399935.728899]
Jan 19 04:51:06 flow-storage kernel: [13399935.728899] megasas[2]: Pending Internal cmds in FW :
Jan 19 04:51:06 flow-storage kernel: [13399935.746899] megasas[2]: Dumping Done.
Jan 19 04:51:06 flow-storage kernel: [13399935.746899]
Jan 19 04:51:06 flow-storage kernel: [13399935.763664] megasas: failed to do reset
Jan 19 04:51:06 flow-storage kernel: [13399935.772096] sd 2:2:0:0: [sda] megasas: RESET cmd=2a retries=0
Jan 19 04:51:06 flow-storage kernel: [13399935.772097] megasas: cannot recover from previous reset failures
Jan 19 04:51:06 flow-storage kernel: [13399935.780359] sd 2:2:0:0: [sda] megasas: RESET cmd=2a retries=0
Jan 19 04:51:06 flow-storage kernel: [13399935.780360] megasas: cannot recover from previous reset failures
Jan 19 04:51:06 flow-storage kernel: [13399935.788424] sd 2:2:0:0: Device offlined - not ready after error recovery
Jan 19 04:51:06 flow-storage kernel: [13399935.788430] sd 2:2:0:0: [sda] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_TIMEOUT
Jan 19 04:51:06 flow-storage kernel: [13399935.788432] sd 2:2:0:0: [sda] CDB:
Jan 19 04:51:06 flow-storage kernel: [13399935.788433] Write(10): 2a 00 13 01 83 30 00 00 10 00
Jan 19 04:51:06 flow-storage kernel: [13399935.788438] blk_update_request: I/O error, dev sda, sector 318866224
특히나 SSD는 한방에 훅 날라가 버립니다.
중요한 데이터는 넣어두지 않는게 좋습니다.
백업본.. 출동준비 해 주시고.....
일단 설명데로
싱글모드로 들어가서. .. unmount 후에 FSCK마싸지를 해 보세요...
살아나라.. 살아나라...
정리후
DD 로 깔끔히 백업도 한 copy 해 놓으시고요...
다른 디스크로 부트후 마운트해서 디스크 검사해보시고, SMART도 확인해보세요