빠시온서버: HP ml310e gen8
OS: ESXi 6.5 build 9298722
Disk: Intel p3600 2tb (Pcie) + HGST 2TB * 4 (raid5)
마이그레이션 작업 중 서버가 굉음이 나더니 전면에 red light 이 떠서 콘솔 띄우니
아래처럼 뜨네요..
재부팅 시키니 initialization은 끝나고 CPU 및 마더보드 체크하는 항목에서 바로 red screen 나오네요.. 이러고 부팅 불가합니다.
로그보면 저 빨강 화면에 나온 글자 밖에 안뜨고 별다른게 없네요....
어디가 문제려나요..
여러가지의 문제점들로 인하여 발생되는 현상이다보니
해결법이 문제 발생에 따라 해결방법이 다릅니다.
일단 저 현상 후 아예 바이오스 진입이 안되었다가 전원 잠시 아예 빼고 인가시 다시 돌아오네요....
1) nvme 와 esxi 간 소프트웨어 이슈
2) nvme 자체 이슈
3) 여타 서버 하드웨어 이슈
정도로 생각하면 될 것 같습니다....
메모리 혹은 시스템 통째로 부하를 주어서 문제 부분을 찾아내야 합니다..
데이터 들어 있는 하드등은 싹 분리하시고
메모리 모듈을 최소화한 후
테스트용 하드를 꼽고 리눅스 설치후 HPL 2.1 같은 것을 돌리던지
윈도우즈 설치후 Burn system 같은 프로그램을 돌려 보세요..
그것들이 에러 없이 몇번 잘 돌아가면 메모리를 늘려가면서 테스트 해보세요..
단 이런 시스템 태우는 프로그램들은 시스템을 잡아 먹을수도 있습니다..
그리고 테스트 시간이 상당히 깁니다.. 최소 하루 이상 돌려봐야죠...
2차적으로 nvme 자체 문제일수도 하는 생각이드네요....
3차적으론 hp 하드웨어 문제일런지..
제가 보기엔 소프트웨어 문제 같기도...
Unrecoverable System Error (NMI) has occurred. System Firmware will log additional details in a separate IML entry if possible
이 메세지 이후 다른 에러사항이 떠야 하는데 않찍힌것을 보면 BIOS 단의 충돌이 의심되기도 합니다.
그리고 마이그레이션은 어떤 작업을 하신것인지가 관건일듯 하며
보통은 마지막에 했던 작업이 대부분 키를 쥐고 있거든요.
보통 이런경우 고객이 모르쇠 하는 경우는
기본 파트만 장착후
1. System maintenance switch 를 작동시켜 메인보드를 리셋해주고
2. Bios를 기존 백업본으로 롤백
3. 이훈 메인보드 교체합니다....^^;;
즉, 마지막 마이그레이션이 어떤작업이였는지에 따라서 방향을 잡아야 할듯 합니다.
이 시점이 가장 디스크에 무리라면 무리가 갈 수 있는 시간입니다.
일단 OS 쪽이랑 디스크 드라이버 쪽 문제가 있는지 확인이 필요할 것 같습니다.
황중님 의견으론 HP 서버 메인보드 자체 문제일 가능성은 낮다고 보시나요?
(그리고 이 증상이 발생하기 전에 어쩌다 한번 아무 문제도 없는데 5~10초간 FAN이 풀로 도는 상황도 1번 있었습니다.)
데이타 백업중에 해당 이슈가 발생되는 것이고
이슈 발생후 몇차례 재부팅 시도후 서버는 정상화 되는 것인듯하고요.
처음에는 레드스크린 발생후 부팅이 않되는것이 생각하다보니 제가 접근 방법이 틀렸던것 같습니다.
그러니 재부팅후 정상 부팅이 되니 이후 에러 메세지가 없었던것이였을듯 하고요.
제 생각에는 OS와 드라이버의 문제가 아닌
Bios와 nvme 드라이버 문제로 보여지며
이는 보통의 경우라면 Bios와 해당 nvme 장치의 펌웨어 업데이트로 문제는 해결됩니다.
하지만 HPE는 단종된 제품에 대하여 폭넓은 펌웨어와 드라이버 업데이트를 하지 않습니다.
현재 ml310e gen8의 경우는 정상적인 구동은 ESXi 6.0 까지만 호환성 및 안정화 테스트가 되어 있는것이고
6.5 버전을 지원치 않다보니 사용중 지금같은 OS내 드라이버 이슈가 발생되어도 직접 개발하지 않는 한 패치 방법이 없습니다.
또한 ml310e gen8 머신은 PCIe SSD를 공식 지원하지 않습니다.
그러다보니 현재 사용하는 Intel p3600 장치의 펌웨어 업데이트 또한 해결책이 되진 않을것 같습니다.
보통 이런경우.........
이번이 첨이고, 간헐적으로 발생되니 그래도 참을만 하다라면 참고 그냥 사용하시는 방법과
현 사용하시는 환경을 지원하는 Gen9 라인 이상의 서버를 교체하는것이 답 아닐까 싶네요.
그리고 팬이 풀로드 도는것은 연결된 PCIe 장치들로 인한것으로 지극히 정상적인 현상 아닐까 싶습니다.
결과 나오면 간략히 정리해서 알려드릴게유..
항상 감사합니다^^
아님 이해가능한 링크 하나 붙여주시면 참고하겠습니다 감사합니다!!
드라이버에서 컨트롤러에 잘못된 명령을 내려서 오류가 생긴 상황에서 상태 레지스터에 오류 생겼다고 표시가 됐고 인터럽트가 나가는 와중에
보통은 웜 리셋을 해도 칩 전체적으로 리셋 되면서 상태 레지스터가 클리어 되어야하는데 클리어 안된거 아닌가 하는 추측입니다..
상세한 설명 감사합니다^^