김황중 2018-10

IML 로그 캡처해서 올려주세요

여러가지의 문제점들로 인하여 발생되는 현상이다보니
해결법이 문제 발생에 따라 해결방법이 다릅니다.

빠시온 2018-10

감사합니다 :P

빠시온 2018-10

저도 그거보고 캡쳐해둔거긴 한데....
일단 저 현상 후 아예 바이오스 진입이 안되었다가 전원 잠시 아예 빼고 인가시 다시 돌아오네요....

1) nvme 와 esxi 간 소프트웨어 이슈
2) nvme 자체 이슈
3) 여타 서버 하드웨어 이슈

정도로 생각하면 될 것 같습니다....

박문형 2018-10

NMI detected 가 나왔군요...

메모리 혹은 시스템 통째로 부하를 주어서 문제 부분을 찾아내야 합니다..

데이터 들어 있는 하드등은 싹 분리하시고

메모리 모듈을 최소화한 후

테스트용 하드를 꼽고 리눅스 설치후 HPL 2.1 같은 것을 돌리던지

윈도우즈 설치후 Burn system 같은 프로그램을 돌려 보세요..

그것들이 에러 없이 몇번 잘 돌아가면 메모리를 늘려가면서 테스트 해보세요..

단 이런 시스템 태우는 프로그램들은 시스템을 잡아 먹을수도 있습니다..

그리고 테스트 시간이 상당히 깁니다.. 최소 하루 이상 돌려봐야죠...

빠시온 2018-10

1차적으로 nvme 드라이버 문젠거 같긴 한데.....
2차적으로 nvme 자체 문제일수도 하는 생각이드네요....

3차적으론 hp 하드웨어 문제일런지..
제가 보기엔 소프트웨어 문제 같기도...

박문형 2018-10

찬찬히 이거 저거 해보세요..

김황중 2018-10

보내주신 로그를 바탕으로
Unrecoverable System Error (NMI) has occurred.  System Firmware will log additional details in a separate IML entry if possible
이 메세지 이후 다른 에러사항이 떠야 하는데 않찍힌것을 보면 BIOS 단의 충돌이 의심되기도 합니다.

그리고 마이그레이션은 어떤 작업을 하신것인지가 관건일듯 하며
보통은 마지막에 했던 작업이 대부분 키를 쥐고 있거든요.

보통 이런경우 고객이 모르쇠 하는 경우는
기본 파트만 장착후
1.  System maintenance switch 를 작동시켜 메인보드를 리셋해주고
2.  Bios를 기존 백업본으로 롤백
3.  이훈 메인보드 교체합니다....^^;;

즉, 마지막 마이그레이션이 어떤작업이였는지에 따라서 방향을 잡아야 할듯 합니다.

빠시온 2018-10

마이그레이션은 매번 주 서버 => 메인 서버로 VM을 옮기는 라이브 마이그레이션인데
이 시점이 가장 디스크에 무리라면 무리가 갈 수 있는 시간입니다.

일단 OS 쪽이랑 디스크 드라이버 쪽 문제가 있는지 확인이 필요할 것 같습니다.

황중님 의견으론 HP 서버 메인보드 자체 문제일 가능성은 낮다고 보시나요?
(그리고 이 증상이 발생하기 전에 어쩌다 한번 아무 문제도 없는데 5~10초간 FAN이 풀로 도는 상황도 1번 있었습니다.)

김황중 2018-10

일단 상황을 다시 정리해보면
데이타 백업중에 해당 이슈가 발생되는 것이고
이슈 발생후 몇차례 재부팅 시도후 서버는 정상화 되는 것인듯하고요.

처음에는 레드스크린 발생후 부팅이 않되는것이 생각하다보니 제가 접근 방법이 틀렸던것 같습니다.
그러니 재부팅후 정상 부팅이 되니 이후 에러 메세지가 없었던것이였을듯 하고요.

제 생각에는 OS와 드라이버의 문제가 아닌
Bios와 nvme 드라이버 문제로 보여지며
이는 보통의 경우라면 Bios와 해당 nvme 장치의 펌웨어 업데이트로 문제는 해결됩니다.

하지만 HPE는 단종된 제품에 대하여 폭넓은 펌웨어와 드라이버 업데이트를 하지 않습니다.
현재 ml310e gen8의 경우는 정상적인 구동은 ESXi 6.0 까지만 호환성 및 안정화 테스트가 되어 있는것이고
6.5 버전을 지원치 않다보니 사용중 지금같은 OS내 드라이버 이슈가 발생되어도 직접 개발하지 않는 한 패치 방법이 없습니다.
또한 ml310e gen8 머신은 PCIe SSD를 공식 지원하지 않습니다.
그러다보니 현재 사용하는 Intel p3600 장치의 펌웨어 업데이트 또한 해결책이 되진 않을것 같습니다.


보통 이런경우.........
이번이 첨이고, 간헐적으로 발생되니 그래도 참을만 하다라면 참고 그냥 사용하시는 방법과
현 사용하시는 환경을 지원하는 Gen9 라인 이상의 서버를 교체하는것이 답 아닐까 싶네요.


그리고 팬이 풀로드 도는것은 연결된 PCIe 장치들로 인한것으로 지극히 정상적인 현상 아닐까 싶습니다.

빠시온 2018-10

일단 하드웨어쪽 보단 호환성 쪽 문제 인것 같으니 사용자가 해결하고 결정할 문제로 보이네요..ㅎㅎ

결과 나오면 간략히 정리해서 알려드릴게유..
항상 감사합니다^^

정희섭 2018-10

nvme 드라이버와 nvme 장치가 합이 안맞는 부분이 생겨서 에러 플래그 레지스터가 섰는데 웜 리셋으로는 플래그가 안내려가는 상황 생긴거 같네요.

빠시온 2018-10

아...혹시 플래그 레지스터 혹은 플래그에 대해서 간략한 설명 부탁드려도 될까요?

아님 이해가능한 링크 하나 붙여주시면 참고하겠습니다 감사합니다!!

정희섭 2018-10

nvme controller에 정상 동작중인지 아닌지 표시하는 상태 레지스터가 있을건데요
드라이버에서 컨트롤러에 잘못된 명령을 내려서 오류가 생긴 상황에서 상태 레지스터에 오류 생겼다고 표시가 됐고 인터럽트가 나가는 와중에
보통은 웜 리셋을 해도 칩 전체적으로 리셋 되면서 상태 레지스터가 클리어 되어야하는데 클리어 안된거 아닌가 하는 추측입니다..

빠시온 2018-10

진단에 참고하도록 하겠습니다

상세한 설명 감사합니다^^