박문형 2022-07

보통은 빨리 계속 서비스를 운영해야 하기 때문에 레이드 카드만 고쳐서는 답이 없고

# 1 : 데이터를 주기적으로 다른 곳에 백업 받아서  물리적인 서버를 복구한 다음 데이터를 리스토어 한다..

      데이터 백업은 각각 독립된 장비로 3차 백업까지 한다..

#2 : 1대 시스템이 죽으면 곧바로 대처 가능한 시스템을 1대 이상 구축한다.. (주기적이나 실시간 백업을 하던지 백업된 데이터를 리스토어 한다..)

#3 : 서버 이중화나 HA 구성을 한다.. (물론 레이드 콘트롤러나 장비에 따라 레이드 콘트롤러나 장비가 이중화 나 HA를 지원하는 경우가 있습니다..)

#4 : 레이드 카드가 아닌 레이드 서브 시스템을 구축한다.. (하드가 수십개 달린 레이드 서브시스템은 레이드 엔진도 이중와 되어 있는 경우가 많습니다..)

#5 : 사이트 자체를 이중화 한다.. (재난 복구 센터를 구축한다..)


옛날 레이드 카드 (10~20년쯤 된 것들)은 정상 장비에서도 펌웨어만 업그레이드 해도 데이터가 날라가는 경우가 많았고

점차 기술이 발전하면서 레이드 카드 고장시 어떻게 데이터만 살려 낼 것이냐에 대해 고민하기 시작해서

요즘은 같은 모델 레이드 카드에 같은 버젼 펌웨어로 되어 있으면 고장난 레이드 카드를 다른 레이드 카드로 교체하여도

왠만큼은 데이터가 올라옵니다.. 그러나 이것은 절대 100% 데이터가 살아난다는 보장은 없습니다..

그 외 상위 모델로 해도 왠만큼은 데이터가 올라옵니다.. 대신 다른 제조사의 레이드 카드는 데이터가 보통 안 올라옵니다..

그래서 재일 좋은 방법이 다른 곳에 백업된 데이터를 다시 레이드 시스템 구축후 리스토어 하는 것입니다..


레이드 카드가 고장시  안에 들어 있는 데이터가 100% 이상이 없다 라고 보장하지 못합니다..

데이터가 다시 올라온다고 해도 이것은 백업 데이터가 없어서 어쩔수 없이 데이터를 복구 시도하는 것이라고 봐야 합니다..


레이드 구성 정보는 레이드 카드와 각 하드의 메타데이터 구간에 저장된다고 보시면 됩니다..

레이드 카드는 부팅시 항상 자신이 가진 데이터와 하드의 데이터를 비교하여 검증하고  이상이 없으면 동작을 하게 됩니다..

레이드 카드에는 부팅롬 /펌웨어롬 / NVRAM 의 영역이 있으며 셋팅에 관련된 정보나 에러로그등은 NVRAM 에 저장됩니다..

마더보드도 셋팅값은 CMOS 에 저장된다고 봐야 합니다..

받데리에 셋팅값을 저장하지 않습니다..

마지막 질문은 우선 하드 1개로 동작을 시키고 이상없이 동작하면서 리빌드 하라고 워닝 메세지가 나오면 이상이 없는 하드를 리빌딩할 디스크베이에

넣어서 리빌딩하면 보통 정상 동작을 합니다.. (디스크와 시스템이 핫스압을 지원할 경우)


장애는 여러가지 생길수 있지만 실제 장비가 어떤 상황에서 어떻게 동작하는지는 계속 경험 하고 연습해봐야 알 수 있습니다..

테스트 시스템을 구축해서  동작 중에 디스크를 하나 빼서 일부러 에러를 만들고 이때 레이드 카드가 어떤 소리가 나는지 어떤 에러로그가 뜨는지 보고

다시 빼두었던 같은 디스크를 연결하면 어떻게 레이드 카드가 동작하는지 그때 로그들이 어떻게 생성되는지

새 디스크를 넣으면 어떻게 되는지

여러번 연습해야 장애에 대한 대처 능력이 생깁니다..

조금 편하게 하려면 핫스압 디스크 베이가 달린 시스템을 준비하는 것이 좋습니다..

thisway 2022-07

답변 감사합니다.
백업은 평소 가장 중요하게 생각하던 터라 2~3중 하고 있어서 복구 가능한 상태를 유지합니다.
메인보드 cmos 저장내용이 휘발성 메모리에 저장이 되고 이를 날라가지 않게 배터리가 존재하는 걸로 알고 있어,,  배터리에 저장한다는 엉뚱한 내용이 되었어요.
레이드 카드 정보는 비휘발성 메모리에 저장된다고 하니, 새로운 사실을 알게되었습니다.  저는 BBU의 캐시 저장외  셋팅 저장 역할을 하는가 했습니다.

말씀하신 이중화나 서브시스템 구축을 위한 투자를 얻어내기는 힘들 것 같습니다.
비 레이드 환경에서 레이드 환경으로 가면 좀 더 안정성이 올라가지 않느냐는 내부이슈에 대응차원에서 말씀하신 장애발생에 중점을 두고 테스트 해보고 있습니다. 몇일 이것만 해보니 알면 알수록 득이 아닌 독이 될 수 있겠다는 우려가 생김니다. ㅜㅜ

말씀을 듣고보니 이런 의문이 듭니다.
문제가 발생했던 레이드 카드에 구성정보가 있었고,,,  새로 구매한 레이드카드에는 기존 정보가 없는게 당연한데,  어떻게 기존 디스크를 연결하면 동작이 되는것일까요?

저의 마지막 질문 답변에 대해서 한가지 여쭙니다.
문제가 발생된 레이드 카드를 서버에서 탈착하고  메인보드의 사타케이블에 디스크를 단일로 연결하여 복구했습니다. (가정)
이런 경우 단일로 연결된 디스크에는 최신 데이터로 업데이트 되어 있을텐데요.
이때 새로운 동일 레이드 카드를 구매해서 단일로 연결했던 디스크만 연결한다면 (워닝상태지만) 정상 부팅이 된다는 말씀인가요?
이후 새로운 디스크를 넣고 리빌딩 진행하는 형태로 이해하면 되나요?
아니면,,  단일로 연결하지 않았던 디스크로 레이드카드에 연결하여 부팅하고,, 갱신 부분 복구 및 리빌딩 형태로 이해해야 될까요?

친절하고 자세한 말씀 감사드려요~~

김황중 2022-07

물론 장비별 특성이 있어서
장애 발생 대비 모의테스트를 해 봐야 되겠지만
위 질문자의 의구심 문제 때문에 많은 사람들이 벤더 장비를 사용합니다

벤더 장비 사용시 펌웨어로 인하여
질문남긴 내용에 대한 대부분의 해결책을
벤더에서는 지원합니다

thisway 2022-07

네,, 아무래도 쉽게 갈길을 어렵게 가고 있어요. ㅜㅜ
가서는 안될 길을 가는 것인지,,  갈 수 있는 길인지,, 
갈수 없는 길이라면,, 타당한 이유를 발견해야 하는게 테스트 목적 중 하나일것 같습니다.

김황중 2022-07

0  벤더서버중 레이드 카드가 장착 가능한 장비는
거진 핫스왑 베이가 기본 제공됩니다

1. 디스크 장애시 레이드 복구
벤더는 디스크 펌웨어로 디스크의 섹터를 같은 용량이면 유지해줍니다
그러므로 동일모델의 디스크가 단종되었다고 걱정할 필요가 없습니다

2. 레이드 카드 장애
같은 벤더의 레이드 카드는 레이드 정보를 공유합니다
그러므로 카드만 같은 벤더 제품으로 교체해주면
정상사용 됩니다

3. 레이드 1  케이스
Hpe 서버에서는 두개의 디스크로 레이드 1  구성시
서버 전원끄고 디스크 1개를 탈착
이후 pc에 붙여보면
요즘 os는 부팅되되고
Data 디스크는 디스크 안의 데이타도 보입니다

다시 뺐던 디스크를 서버에 장착후 부팅해보면
레이드1로 정상 구동됩니다

또한 밧데리만 정상 충전되어 있다면
단일 디스크의 구성(레이드 0)도 미러인 레이드 1로 온라인 마이그레이션 서버에 따라 지원 됩니다

원하시는것이 이부분인듯...

4. 데이타 복구의 경우를 주로 의뢰받긴하나
레이드구성후 사용중 다수의 디스크 장애로 인한 레이드가 깨졌어도
고장난 디스크의 플래스터 추출작업등으로 98%이상 복원율을 유지중입니다

단지. . 복구비용은 상상을 초월할수 있습니다


이런 메리트 때문에 벤더를 쓰지 않나 싶네요

박문형 2022-07

저의 마지막 질문 답변에 대해서 한가지 여쭙니다.
문제가 발생된 레이드 카드를 서버에서 탈착하고  메인보드의 사타케이블에 디스크를 단일로 연결하여 복구했습니다. (가정)

==> 레이드 카드에서 하드디스크를 초기화 하고 레이드 디스크로 사용하는데 이때 초기화 되면 일반 보드의 SATA에 연결하더라도

재대로 동작하지 않는 경우가 많습니다.. 데이터는 있지만 부팅이 안되고 재대로 읽히지도 않을 수 있습니다..

이런 경우 단일로 연결된 디스크에는 최신 데이터로 업데이트 되어 있을텐데요.
이때 새로운 동일 레이드 카드를 구매해서 단일로 연결했던 디스크만 연결한다면 (워닝상태지만) 정상 부팅이 된다는 말씀인가요?

==> 부팅이 될 수도 있습니다.. 그러나 내부 테이터는 얼마나 오염되거나 깨졌는지는 아무도 모릅니다..

이후 새로운 디스크를 넣고 리빌딩 진행하는 형태로 이해하면 되나요?

==> 네 리빌딩이 가능하면 해봐야겠죠.. 그러나 원본데이터가 오염되어 있다면 헛수고입니다..

아니면,,  단일로 연결하지 않았던 디스크로 레이드카드에 연결하여 부팅하고,, 갱신 부분 복구 및 리빌딩 형태로 이해해야 될까요?

thisway 2022-07

답변 감사드립니다. 이런 내용들을 미리 알고 테스트 진행하면 많은 도움이 되고 힘이 됩니다.
열심히 테스트 해보겠습니다~

박문형 2022-07

https://manualzz.com/doc/52484270/broadcom-megaraid-sas-software-user-guide

양이 꽤 됩니다만 LSI SAS 콘트롤러 셋팅하는 방법에 대한 메뉴얼입니다..

https://www.2cpu.co.kr/lec/3894?&sfl=wr_subject%7C%7Cwr_content&stx=lsi&sop=and

요건 LSI  SAS 콘트롤러 셋팅 방법을 홈페이지화 한 것입니다..

제온프로 2022-09

첫번째, 레이드 컨트롤러 문제(HW적 손상) 발생시 어떤 절차로 복원할까?
=> 죽었구나!! 재 확인 그리고 백업이 있는지 확인!, 본체를 수소문 ~~



두번째는 레이드 구성정보는 어디에 저장되며 BBU없는 모델은 설정이 날라갈 수 있는가?
==> 하드에 저장됩니다..... Foreign Config로 Import 하면 됩니다.
BBU 상관없어요.. 정보를 BBU에 저장 않합니다.. 시스템 개발자들 짱구 아닙니다.^^


네번째, Raid1로 볼륨 2개 구성하고 운영중 컨트롤러 장애 발생하였고,  동일모델 수급 불가능할 경우,,  (혹은 늦어지거나)
==>  그렇죠.. 2개 중에 하는는 제끼고 하나만 가지고 다른 서버에서 일단 서비스를 해야죠..
      그 후에 컨트롤러 오면 재결합

?? 세번째가 없네요.. 세번째는 어디갔나요 ??? ------------------------