화정큐삼
어제 4 BAY 케이스에서 6 BAY 케이스로 가는 과정에서
괜한 실험을 하는 바람에 헤놀전원을 여러번 강제종료를 했었습니다.
어제 저녁 10시경부터 시작된 데이터 스크러빙(일관성 확인)은 금일 오후(5시간전) 쯤 정상 확인된것으로 나왔는데요.
갑자기 2시간전부터 볼륨 충돌함 메시지가 나오기 시작했습니다.
맨 첫번째 보듯이 SSD 캐쉬가 하나 이상 손상되었다고 나오는데요.
사실은 이전 보드는 MSATA가 있어서 캐쉬를 사용했지만, 새보드에는 MSATA가 없어서 캐쉬를 제거 했습니다.
이전 보드의 헤놀상에서 캐쉬는 정상적으로 캐쉬 드라이브 언마툰트까지 마쳤었습니다.
복구를 수행하는 과정에서 2TB 1번 HDD에서 재접속을 시도하는듯한 짹 소리가 처음에 나긴했었습니다.
그라고 데이터 스크러빙과정에서 이 소리는 사라졌는데요.
아무래도 1번 HDD가 먼가 데이지를 받은게 아닌가도 싶긴한데, 현재로서는 배드가 나거나 불량상태는 안보입니다.
단지 1번 HDD에 드라이브 다시 연결수는 2회가 보입니다.
VM Storage 1 이 손상되었다는 추가 메시지가 있어서 VMM 메뉴상에서 오류가난 이미지 및 저장소는 모두 제거 하였습니다.
단, 클러스터는 지우기 오류가 나서 더이상 진행은 하지 않았고, VMM의 오류상태는 사라졌습니다.
혹시 MSATA 캐쉬를 다시 달아보는게 도움이 될까요?
더 이상 건들지 말고 백업부터 하는게 맞을까요?
이미 RSYNC로 주요 데이터는 백업헤놀쪽으로 백업이 되어 있는데,
영화나 VHD 파일등 덩어리들이 큰 파일은 백업할 공간이 부족해서 백업을 당장은 못하고 있습니다.
어떻게 하면 좋을까요? ㅜㅜ
https://blog.nuwana.com/146
골자는
SSH 접속후 프로세스들을 죽인후에
해당 볼륨을 umount 시킨후에
e2fsck 로 파일시스템 검사를 수행하라는것 같습니다.
(/dev/vg1000/lv 는 파일 시스템에 따라 다를 수 있음)
-----------------------------------------------
syno_poweroff_task -d
vgchange -ay
e2fsck -pvf -C 0 /dev/vg1000/lv
저도 결과는... 실패였습니다.
첫번째 명령어 성공, 두번째 명령어로 dev에 vg1 라는 이름으로 무언가 가상으로 생기긴 했는데
이 볼륨명으로 3번째 e2fsck 파일시스템 검사가 제대로 되질 않습니다. 상세 가이드가 없어서 잘 모르겠더군요.
어쨌던 프로세스를 죄다 죽여놓았으니, DSM을 일단 재부팅 했습니다.
그런데, 재부팅도 실패... 재부팅이 맘대로 안되더군요.
그래서 Putty로 admin 접속 한번더하고 poweroff 명령어 실행, 대번에 꺼지네요.
그리고서 부팅하니까 기존 고정IP로 못들어가져서 find.synology로 복구모두 진입, 최신 6.2.3 DSM으로 업데이트가 진행되고
시스템 파티션 포맷되고 DSM 이 다시 설치됩니다.
그리고서 로그인해보니, 위에 보였던 볼륨 충돌함 현상이 사라졌습니다.
데이터도 고스란히 다 살아 있는데,
단 패키지와 설정값은 모두 초기화 되었습니다.
지난달 20일자로 백업한 구성으로 복원을 시도합니다.
이 구성복원으로 역시나 전부 되살아 나는건 아니네요.
패키지는 당연 다시 설치해야 하구요.
제어판의 일부설정값도 다시 셋팅해야 할것 같습니다.
어쨌던 볼륨 충돌함 오류만 벗어난것만 해도 천만 다행이네요.^^
몇가지가 이상해 보이는데
1. BTRFS를 사용하는데 왜 e2fsck를 사용하셨나요? BTR 잘 모르지만 e2fsck가 BRT을 지원하는지 잘 모르겠습니다.
2. HDD가 SHR이네요. SHR HDD로 BTR을 사용해서 RAID 비스무래한 구성을 하신것 같은에요 좋지않은 조합입니다.
SHR HDD의 불량/고장/장애와 상관없이 조합 자체가 좋지 않기 때문에 언제든지 볼륨에 문제가 발생할 수 있습니다.
빨리 데이터 복사하시고 다른 HDD로 다시 구성하시길 추천 드립니다.
SHR + BTRFS 조합에서는 볼륨 충돌함이 종종 발생할 수 있다고 하셨네요. ㅜㅜ
새 HDD는 이미 추가 주문해서 지금 배송중입니다.
제 예상은 그냥 이 불량 예상되는 2TB HDD만 교체해볼 생각였는데,
일단 말씀하신대로 RSYNC 백업부터 진행하고 BTRFS 에서 EXT4 로 전환해 봐야 겠습니다.
SHR + EXT4 조합은 괜찮을까요?
회원님들은 어떤조합으로 많이 사용할까요? SHR은 많이 안쓰시나요?
EXT4를 어떻게 하실지 모르지만 EXT4를 Raid Controoler/LVM/software raid를 사용한다면 추천드리기 어렵습니다.
RAID Mirror 방식이면 좀더 낳을 수는 있겠습니다.
그럼 RAID5 + BTRFS 조합은 괜찮겠죠?
RAID1으로 하기엔 하드 공간이 부족해서요.
일단 3TB HDD 1개가 더 오고 있으니 모두 3TB HDD 4개로 맞추고 RAID5 구성을 해볼까 합니다.
SHR을 버린다면 괜찮을까요?
단순하게 보면 (이게 다는 아닙니다) SHR은 WRITE된 데이터가 DISK에 쓰여지는걸 보장하지 않습니다.
RAID는 Controller의 CACHE에서 DISK로 WRITE가 되면 DISK에 쓰여졌다고 가정을 합니다.
그러다보니 Controller하고 DISK가 가지고 있는 정보의 불일치가 발생합니다.
이때 Controller 에서 DISK Scrubing이나 정합성테스트를 수행하면 뭔가 잘못되었다고 인지를 하게 됩니다.
그러면 Controller입장에서는 자신보다 DISK를 의심하게되고 DISK 불량으로 판정을 하게됩니다.
그렇기 때문에 SHR을 RAID와 함께 사용하지 말라고 하는 겁니다.
물론 SHR 자체가 나쁜건 아니고 나름의 용도가 있지만 어째든 소용량 RAID 용도는 아닙니다.
이해가 잘 안되는 어려운 내용이라 10번 이상 읽어봤습니다. ㅋㅋ
일단 저는 아직까지 HW RAID 컨트롤러가 없는 상태입니다.
메인보드 내장된 SATA 포트에만 의존하는 시놀로지 SW방식 전용 RAID인 SHR (Synology Hybrid Raid) 만 사용하고 있는 상태입니다.
RAID에 대한 지식이 많이 없는 초보도 사용할 수 있다는 얘기에 SHR 부터 시작을 해봤습니다.
https://www.synology.com/ko-kr/knowledgebase/DSM/tutorial/Storage/What_is_Synology_Hybrid_RAID_SHR
인터넷에서 보니 전문적으로 사용하시는분들은 결국엔 SHR을 버리시고 RAID 컨트롤러 구비를 해서 가신다고 들었습니다.
현재로서는 RAID컨트롤러 없이 SW RAID를 유지해야 하는 상황인데 그럼, 저는 현재로서는 SHR 말고는 대안이 없는것 아닌가 싶습니다.
제가 취했었나봅니다
SHR하고 SMR을 혼돈했습니다.
첨으로 다시 돌아가겠습니다.
아마도 (제가 시놀로지 잘 모릅니다) 시놀로지는 SHR (시놀로지가 S/W RAID를 조금 변형한 기술)을 만들고 여기에 BTR을 언진것 같습니다.
1. BTR은 BTR 자제적으로 CHECK/FSCK를 제공합니다. 그렇기 때문에 e2fsck를 사용하면 안될겁니다.
2. SSD를 넣는건 답이 아닐겁니다. 시놀로지에서 제공하는 SSD Cache는 SHR의 CACHE가 아니라 BTR에서 제공하는 READ CACHE 일텐데 현업에선 추천하지 않는 방식입니다. 성능 개선이 얼마나 있을지 모르겠습니다만 미미할 것으로 예상합니다.
3. DATA Scrubbing은 BTR이 아니라 SHR 수준에서 수행하지 않았나 싶습니다. SW RAID 방식이고 CPU를 사용하기 때문에 빠르기가 어렵습니다.
이미 아시겠지만 일단 백업하시고 다시 리스토어 밖에 답이 없습니다.
그리고 장애가 발생했던 HDD (SSD 포함)는 버리는게 답입니다. 어떻게 어떻게 사용할 수 있도록 만들었어도 분명히 다시 망가집니다.
혼란 드려서 죄송합니다.
이제 윤곽이 잡히면서 이해가 되는것 같습니다.
1. BTR에서 e2fsck 사용은 계획이 전혀 없습니다. 그냥 이래저래 안되길래 딱 1회 시도해 본건데 그냥 단념했습니다. ^^
2. SSD 캐쉬 문제는 결국 효용성 검증이 아직 모호한 SSD 캐쉬가 HDD 안정성에 오히려 독이 될 수 있다는 말씀으로 이해해도 될지 모르겠습니다.
시놀로지에 캐쉬적용의 효용성은 지금도 계속 논란이 있고, 그래서 회원님들도 캐쉬 적용한 벤치결과를 공유하시고 그런것 같더군요.
저도 이부분이 불안해서 SSD 캐쉬에는 쓰기모드는 제거하고 READ ONLY로 사용해 왔습니다만, 그래도 보드 교체하면서 이런 사태가 벌어지는군요.
저도 차후 RAID 컨트롤러 구입해서 좀더 안정적으로 사용하고 싶습니다.
3. 데이터 스크러빙은 원래가 최소 하루이상 걸리는 느린작업인가 싶었는데, HW RAID 컨트롤러 사용시엔 훨씬 빨리 작업이 되나보네요?
새 HDD 교체후 패리티 체크도 또 진행될텐데, 아마 SHR이던 RAID5 던 HW 없은 SW RAID 이기 때문에 속도는 느릴것 같네요.
지금 자꾸 배드가 나고 문제가 생기는 HDD들은 (이번까지 3번 경험) 모두 헤놀로지를 사용하기 이전에 다른곳에서 (IPTIME NAS3) 에서
막 굴렸던 HDD 들입니다. 이전 NAS3에서 전원불안정으로 비정상 종료도 여러번 경험하면서 이미 이HDD들에는 무리가 간 상태였던것 같습니다.
지금 사용하는 나머지 3TB HDD들은 모두 1년이내 구입한 것들로 아직은 건강한 상태 같습니다.
문제가 생긴 HDD는 폐기하고 MSATA SSD는 상태봐서 아들내미 게임PC 윈도우 용에나 쓰라고 줄 생각입니다.
금일 교체용 3TB HDD 활용해서 백업을 진행하고 HDD는 다시 RAID5 (BTR사용) 로 구성해서 리스토어 진행 하도록 하겠습니다.
답변 감사합니다. ^^