서버가 메모리 오류를 뱉어내며 리붓될까요 아니면 오류난 메모리를 제외하고 실제 정상적인 메모리만 운영하면서 억지로 돌아갈까요?
최근에 서버 덤프 떨어지면서 덤프봤더니 패리티 에러가 계속 발생하면서 뻗었더라구요.
그러고 난후 리붓되고 계속 돌다가 일주일 지나고 서버에서 삑 삑 삑 계속 소리나면서...
희안한건 저정도 되면 멈추거나 부팅이 안되거나 죽어야 정상인데 일부서비스는 계속 돌고 있다는게 신기.
이제까지 REG 메모리도 메모리 하나 불량나면 부팅불가에 무한 리부팅으로 서버가 작동안했는데 리부팅 될때까지는 메모리 오류 소리 내면서도 일부서비스는 계속 돌아간다는거에 신기했습니다.
이게 ECC의 장점인지 아니면 우연의 일치인지는 잘모르겠습니다.
그런데 뽑기를 잘못했나 왠간하면 메모리 잘 안죽는데 하나가 불량난거 보면 ECC 기능때문에 메모리 열을 많이 받는건지 희안한 증상이긴 했습니다.
FBDIMM 쓰던 서버들이 노후화되면서 그런 경우를 몇 번 봤는데, ECC에 의해 뻗지는 않고 정상 동작되는 것을 볼 수 있었습니다.
ECC는 싱글 패리티 오류가 발생했을 경우 검출과 정정이 가능하며 (벤더에 따라 비프음이 날 수도 있고, 안 날수도 있습니다. OS 로그에 찍히니 그걸 보는 게 가장 확실합니다.), 더블 패리티 오류가 발생했을 경우 검출은 가능합니다. (벤더에 따라서 리붓이 될 수도 있고, 비프음이나 로그만 찍힐 수도 있습니다.)
저희 서버중 하나의 서버에서 메모리 에러가 발생했습니다.
근데 부팅도 비교적 정상적으로 되고 (10번중 9번은 부팅성공) 서버실행도 정상적으로(부팅성공시 서버실행은 100% 보장됨) 됩니다.
헌데 어느날 갑자기 서버가 죽어버립니다. 죽을때 삑하고 죽은다음에 리부팅되는것이 아니라 그대로 멈춰버립니다.
가끔 삑~ 하면서 계속 비명을 지르고 죽어버리는 경우도 있고요. 그래도 자동 리부팅은 되지 않습니다.
결국 메모리 에러로 파악되었습니다.
파악된 바로는 에러난 메모리는 가장 마지막 뱅크에 꽂혀 있어고요 시스템이 돌아가다가 해당 메모리에 접근하게 되면
서버가 정지하는 것으로 파악되었습니다.
아마도 인식은 되나 본격적으로 READ/WRITE를 마구마구 해대는 작업이 시작되면 해당 메모리에서 에러를 내면서 서버가 죽는것같습니다.
님 서버와 똑같지는 않지만 비슷하죠. 메모리 에러는 나는데 시스템이 실행되는게.
여하튼 해당 메모리 제거하고 한시름 놓았습니다.
서버가 죽는 이유가 메모리문제라는것을 알아내는데 6개월은 걸린것 같습니다. 저흰 부팅시 메모리 에러가 난다는 메세지나 투덜거림이 없었거든요.
덕분에 서버옆에서 서버가 언제 죽나 하염없이 기다렸습니다. 죽으면 껏다 켜야하니까.
생각보다 서버도 참 많이 속을 썩여요.