안녕하세요. 일전에 Dell 서버의 메모리 Error로 인해 질문 글을 올렸었는데요.
iDrac에서는 전부 OK로 나왔지만 OS 로그 상에서 Hardware Error section_type : memory error 발생하였습니다.
dmidecode type17 은 출력 되나 20은 출력 되지 않아 정확한 슬롯에 대한 판별이 불가능하였으나
OS log에 나온 걸 토대로
A 슬롯에 대한 메모리 교체 후 로그 미 발생.
한 달 후 B슬롯에 대한 Error로그 발생(다른 addr주소지) 교체 후 로그 미 발생.
또 다시 한 달 후 C슬롯에 대한 memory error가 발생하여
엔지니어 파견 및 Dell TSR log 분석을 맡긴 결과 모든 메모리에 대해 정상이라고 판별 되었습니다.
1. OS Log에서는 Error, TSR log에서는 정상이라고 나올 수가 있나요? (현재 메인보드 교체 및 C슬롯에 대한 메모리 교체 예정 중)
2. dmidecode 20 이 조회 되지 않는 게 smbios버전이 안 맞아서 그러는 것 같은데 physical address를 확인 할 수 있는 다른 방법이 있을까요?
(서비스 중인 서버로 인해 다운 타임을 길게 가져갈 수 가 없습니다.)
감사합니다.
메모리에서 Error가 발생했는데 ECC 등으로 Correct 되었기 때문에 TSR에서는 불량으로 보이지 않는겁니다
It has been corrected by h/w and requres no further action.
고쳐졌으니, 특별히 해야 할 일이 없다는 이야기
우리가 사는 환경은 방사선이 왔다 갔다 하는 환경입니다. 우주에서도 날아오고 그것이 다른 물체를 때려서 그 물체에서 2차적으로 나오는 것도 있고, 벽에서도 나오고 음식에도 들어 있고 우리 몸에서도 나옵니다. 이런 방사선이 지나가다 건드려서 에러가 발생하기도 합니다(0 이 1로 바뀌거나 1 이 0으로 바뀌거나). 하드웨어에서 발생한 에러이기는 하지만 하드웨어 고장은 아닙니다. 이런 것을 교정하기 위해 ECC를 채용합니다. 교정하고 그냥 지나갑니다. 다음 번에 그 자리에서 또 에러가 발생하는 것은 아닙니다.
환경이 바뀌지 않는 한 RAM 모듈이나 메인보드를 바꾼다고 하여 저러한 에러를 막을 수는 없습니다. 앞으로도 또 발생할 것이고 또 교정하고 지나갈 겁니다.
https://www.memtest86.com/
이게 안에 임베디드 리눅스 같은 것이 부팅하면서 테스트 하는 프로그램입니다..
메모리 테스트는 메모리 용량에 따라 시간이 많이 걸리고 한번 메모리 테스트 통과 했다고 해서 못 믿는 경우도 있기에 몇번씩 계속
테스트 하는 경우도 있습니다.. (몇박 몇일 테스트 합니다..)
그 외 리눅스를 설치하고 HPL(하이 퍼포먼스 린팩) 을 설치해서 돌려보는 방법이 있습니다..
HPL을 돌리면 CPU와 메모리에 100% 부하를 주고 계속 돌아갑니다..
HPL 같은 프로그램은 계속 부하를 주기에 이것을 못 버티는 시스템은 고장이 날 수 있습니다..
윗 분들께서 우선 큰 문제가 없다고 하셨으니 좀 지켜 보셨다가 계속 문제가 터지면 그 때 전체적으로 시간내서 테스트를 하시던
시스템을 통째로 교환하시던 해야 할 듯합니다.
Correctable Error가 detect 되는 메커니즘에는 두 종류가 있습니다.
1. OS에서 메모리 액세스를 시도했을 때 에러가 발견되는 경우
2. CPU가 memory scrubbing을 할 때 에러가 발견되는 경우
1번은 OS 수준에서 에러가 감지/정정되는 경우이며, 2번은 서버 플랫폼 수준에서 에러가 감지/정정되는 경우입니다.
하지만 현용 시스템에서는 서버 플랫폼과 OS 사이에 오류 감지/정정 신호를 전달할 수 있는 표준 인터페이스가 존재하지 않습니다.
엄밀히 말하면 Linux의 EDAC가 그러한 인터페이스를 제공하긴 하지만, 구현체가 플랫폼 의존적이기 때문에 모든 메시지가 전달될 것임을 보장하지 않습니다.
심지어 OS->시스템으로 리포트 하는 인터페이스는 없습니다.
때문에 모든 메모리 에러가 OS/시스템 로그에 동시에 남을 것이라고 기대해서는 안 됩니다.
OS에만 에러 정정 로그가 있고, 시스템에는 에러 정정 로그가 없는 것은 정상적인 동작입니다.
개인적으로는 플랫폼 로그에는 correctable error가 찍히고, OS 로그에는 uncorrectable error가 찍힌 경우도 봤습니다.
-> 네 그럴 수 있습니다. 리눅스 상 edac모듈이 활성화 되어있다면 EDAC에서 먼저 가져오므로
ESM/BMC/IPMI/iDRAC 로그에서 메모리 또는 CPU 오류를 발견하지 못할 수도 있습니다.
벤더 권고 사항은 edac 비활성화 입니다.
https://www.dell.com/support/kbdoc/ko-kr/000177028/edac-errors-in-messages-log-in-redhat-enterprise-linux-rhel-and-poweredge