레인보우7 2022-11

이런부분은 답변드리기가 조심스러운 부분이라서, 회사의 중요 시스템이시면 더더욱 그렇네요.
가능하시면 서버업체 엔지니어분에게 교체를 해달라고 하시는게 안전할것 같습니다.

예전에 megaraid 복구매뉴얼 만들면서 했던 내용중에 키워드가 현재 디스크가 정상상태로 있을경우에는
disk miss mark 처리하고 offline으로 떨구는 작업을 먼저하고 교체하고 역순으로 진행했던것 같습니다.
hdd led 상태를 먼저 체크하시고 수동모드로 진행 시나리오를 짜서 준비하시는게 좋을것 같습니다.
혹시라도 교체후에 지가 자동으로 들어가면 감사하지만 Unconfigured Good 상태로만 있으면 수동작업 처리를 해주어야합니다.


ServeRAID M5110e
 - PCI Low Profile, Half-length - MD2 form factor (M5110) or onboard chip (M5110e)
 - LSI SAS2208 6 Gbps RAID on Chip (ROC) controller
 - MegaRAID Storage Manager management software

https://lenovopress.lenovo.com/tips0857.pdf
https://community.boschsecurity.com/t5/Security-Video/How-to-replace-defective-drive-rebuild-RAID-create-new-iSCSI/ta-p/45052


중요시스템이시면 가상으로 여러번 머릿속으로 시뮬레이션해서
연습을 하신후에 교체를 진행하시는게 안전할것 같습니다.
OS 이미지를 백업받은신후에 가능하시면 변경작업을 하시는게 안전할것 같습니다.
아니면 서버 업체 기술인력분에게 요청을 하시는게 더 낳을수도 있겠네요.

현재 변경하려는 디스크의 led 상태가 어떤 상태인지
먼저 전면에서 LED 상태 파악하신후에 수동 절차서를 만든후에 리뷰후에
진행하시는게 좋을듯 합니다.


현재 상태로 봐서는 디스크가 Fail 난 상태로 보여지지는 않네요. online상태면 녹색불일것도 같습니다.
offline이나 miss 상태면 주황색 불일듯 합니다.
주황색 상태면 그냥 넣어도 자동으로 들어갈것 같은데 녹색정상상태면 수동으로 안전하게
처리하시는게 좋을것 같습니다.


[일반적인 수동모드 디스크 교체 프로세스]
------------------
1) 기존 Disk 위치 파악 : 디스크 선택후 Start Locate 실행 - HDD하드 led 깜박깜박..
2) 기존 Disk Mark Drive as Missing 처리
3) 기존 Disk Offline 처리
4) 기존 Disk 제거

...

5) New Disk 추가 (기존 남아 있는 디스크랑 용량이 같으면 좋을것 같습니다.) 279.397GB 로 맞추는게
  혹시라도 기존 용량보다 작을 경우 어떤 상황이 발생하지 장담을 못하겠네요.

6) Unconfigure Good으로 올라오는지 디스크 확인 -> 아님 자동으로 들어가는지 확인
  자동으로 들어가면 끝.. 아니면 아래 절차 진행

7) Unconfigure Good 올라오면 선택후 Replace missing drives

8) Make Drive Online

9) 교체된 Disk 선택 Start Rebuild
------------------

dateno1 2022-11

핫스왑되는 기종도 언제나 추천은 끄고 탈착하는겁니다

서버를 중단 불가능한 불가피한 사정이 있는게 아닌 이상은 끄고 교체하는게 추천됩니다

박문형 2022-11

저 작업에서 재일 중요한 것은 불량 디스크를 찾아내는 것입니다..

실제로 해보면 이 디스크가 불량이다라고 뽑았는데 아닌 경우도 왕왕 있습니다.. (특히나 조립 서버)

그리고 서비스 중인 서버에서 (레이드 볼륨에 부하가 걸린 상태에서) 디스크를 뽑았을때  레이드 볼륨은 디그레이드 되어

성능이 떨어지게 되는데 이 때 부하가 큰 상태라면 레이드 볼륨이 아주 느리게 돌아가던지 심하면 뻗어 버립니다.. (뻗는 경우는 거의 없습니다..)

만일 가능하다면 외부에서 들어오는 부하를 줄이거나 없애버리면 좋기는 합니다..

그럴 때 문제는 서비스가 중단되는 것이겠죠..

그리고 레이드 볼륨에 부하가 걸린 상태에서는 전체적으로 동작이 느리게 되는데 데이터 복구를 하는 리빌딩때도 마찬가지입니다..

대략 서비스 온라인에서 디스크 교체 작업을 단계별로 써보면

#1 : 데이터 백업 (리스토어시 문제가 없어야 합니다..)
#2 : 레이드 모니터링 유틸리티를 실행 ( LSI RAID 면 MSM , 레이드 볼륨과 하드 상태를 보기 위해 작업중 계속 켜둠 )
#3 : 불량 혹은 교체할 HDD 위치 확인 (어느 슬롯 HDD를 교체할 것인가 확인)
#4 : 교체할 HDD를 뽑아냄
#5 : MSM 에서 뽑아낸 HDD가 재대로 이상없이  뽑혔는지 에러로그 및 화면상에서 확인
      서버의 레이드 볼륨이 이상없이 동작하는지 확인 (보통 잘못되면 서버가 멈추어 버리던지 심하면 리셋도 됩니다..)
        서버의 서비스도 이상이 없는지 확인
#6 : 서버의 동작이 교체할 HDD를 뽑아도 이상없이 동작한다면 그 자리에 새 HDD를 꼽음
#7 : MSM 에서 새 HDD가 이상없이 인식이 되고 조금 시간이 지나서 리빌딩이 시작하는지 확인 로그창과 화면에서 확인 (오토리빌딩 옵션이 켜진 경우)
      리빌딩이 시작되면 레이드 볼륨에 속한 모든 하드가 동작하여 억세스 불이 계속 깜빡거립니다..
#8 : 리빌딩이 100 % 끝까지 이상없이 되는지 주기적으로 확인 물론 같이 서버의 서비스도 이상이 없는지 확인
#9 : 리빌딩이 다 끝나면 불량 디스크 교체 작업은 다 끝난 것입니다..


대략 저 순서대로 하다가 서비스가 중단되는 문제 외에

새 디스크를 넣었는데 레이드에서 인식을 못한다던가
리빌딩 중간에 새 하드가 배드가 있다고 배드 하드로 처리되던가
리빌딩 중간에 새 하드가 문제가 있는지 리빌딩이 멈추어 버리고 레이드 볼륨도 멈추어 버리던가

하는 여러가지 문제들이 나타날 수도 있는데 문제가 나타날 때 잘 대처를 해야 합니다.. (심장이 쫄깃쫄깃해집니다..)

그리고 작업시간은 예정시간의 1.5~2배 정도로 길게 잡으세요..
작업예정시간을 너무 빡빡하게 잡으면 그 시간이 지나고도 작업이 안 끝났을때 타 부서에서 난리가 나는 경우가 있고 열심히 쪼일 수도 있습니다..
(머리에 두통이 오고 심장이 쿵쾅거립니다..)

레인보우7 2022-11

주말 토요일쯤에  I/O 가 거의?없는 시간대에 주말야근특근수당 신청하시고 하셔야 할것 같습니다.
혼자하시다가 문제 발생하면 멘탈이 흔들리고, 쓰러지시니 서버업체 엔지니어분이랑 두분이서 교차체크하시면 하시는게 안전할것 같습니다.

박문형 2022-11

본래는 돈들이더라도 저 서버 많이 다룬 엔지니어나 아니면 저 레이드 전문 엔지니어 부르시고  (물론 돈 들어갑니다..)

본인은 회사내에서 저 작업에 대한 공지 그리고 사고가 났을때 대처 /교통정리 등을 해야 하는 것입니다..

그 외는 본인의 윗사람 정도가 같이 작업에 참여해주면 좋지요..

많이 해보면 맨탈도 강해집니다..

제온프로 2022-11

메뉴에 있습니다.

Replace 가 있습니다.

또 레이드에서 이탈시키는 옵션도 잇습니다.

정않되면 끄고  교체 하세요..

그리고 서버 켜면.. 없어졌다고 난리칠겁니다.
그러면 없어진 볼륨 제거하고 새로운 놈을 레이드 잡아 주세요.

중요한 서버 이면 기술자 부르시고요..
이런 경우가 레이드 날려먹는 실마리로 발전합니다.

정말 오해와 판단 미스가  레이드 전체를 날려 먹는 단초가 됩니다.

L2스위치 2022-11

모든 분들 답변 감사드립니다~!
회사 규모에 비해 올라운드 일당백의 업무를 소화하는 입장이라...
멘탈을 키워보도록 하겠습니다.