최근에 점검하다가 발생한 상황인데.. 처음겪는 일이라 당황스럽네요 ㄷㄷ
Dell R440 모델에
CPU는 제온 골드 5222 4코어 * 2
메모리 32G
디스크 1.2TB 2개에 레이드1로 묶어서 쓰고있습니다.
이게 문제가.. CPU 점유율이 어느순간 보니 7~80%를 찍고있더라구요
평소 많아야 2~5%인데.. 올라가있는 서비스 전부 disable시키고 재부팅 시켜봤습니다.
재부팅 후 nmon으로 cpu 상태를 봤는데
???
CPU1번만 미친듯이 돌아가고 있네요(재부팅 직후 상황입니다 저게)
top로 프로세스를 봐도 많아야 0.3?밖에 cpu점유를 안하는데.. 왜저러는지 모르겠습니다 ㅠㅠ
idrac 로그를 봐도 전부 정상인걸로 나오고.. 희안하네요 참
조만간 바이오스랑 idrac 펌웨어 올려보고 CPU 스왑도 한번 해볼 예정입니다.
이런 비슷한 상황 겪으신분 계신가요? 있으시면 어떻게 조치했는지 궁금합니다.
++
저때 찍었던 top사진입니다
데이터 백업 하고
다른 디스크에 OS 다시 설치해서 네트워크 다 끊어버리고 문제 되는 부분을 다시 확인해보겠습니다..
혹시나 지만 해킹 당해서 좀비 시스템이 되어서 저렇게 CPU 부하가 높을 수도 있거든요..
nmon 쓰시는 분 이 사이트에서 들락날락 한지 20년 넘어갔는데 거의 처음 만에 뵙네요..
헉 nmon은 이제 잊혀진 유물이 된건가요? ㄷㄷ 예전에 AIX만질때 꽤 잘써먹어서.. 지금도 간간히 쓰네요 ㅎㅎ
저는 첨에 저게 몬가 하다가 어찌저찌 아는 사람한테 이야기 하다가 명칭을 알게 되었습니다..
저는 저것이 대략 무엇인지는 알고 실제 다루지는 못합니다..
조금 만지는 것이 윈도우즈 정도인지라..
IBM AIX 도 사용하는 곳은 있지만 거의 유물급 아닌가요??
AIX는 금융권쪽에만 남아있는걸로 알고있습니다
뭔가 채굴하는 봇이 들어온것 같습니다.
보통 이런 넘들이 잘 만들어져서 모든 core 사용하는데 이 넘은 좀 특이하네요
코인채굴방식을 제가 잘 몰라서요 ㅠ
GPU만 쓰는건줄 알았는데.. CPU로도 가능한 모양이군요;
채굴걸린거면.. 싹 밀어버리고 재설치해야 할수도 있겠네요;
내 PC에서 라면 하지 않겠지만 남의 PC라면 할 수 있죠
top은 어떻게 나오나요?
0.7, 0.3 0.3 0 0 0... 제일 높은게 0.7정도였습니다.
글 수정해서 top사진도 추가해볼께요
nmon의 유래???
http://nmon.sourceforge.net/pmwiki.php
리눅스용 nmon
이 프로그램 리눅스에 설치해서 돌려보면 시스템의 여러 부분의 모니터링이 가능합니다..
좀 색다른 맛이라고나 할까??
CentOS 7.7이라서 말씀해주신 리눅스용 nmon으로 확인한겁니다 ㅎㅎ
그리고 혹시나 nmon 의 버그 같은 것 일수도 있으니 그런 것을 체크할 수 있는 다른 프로그램으로 체크를 좀 더 해보고 비교하시던지
Top 명령어와 비교하시던지 해보는 것이 좋아 보입니다..
top에서 load average와 cpu의 us (user) sy(system) 값이 어떻게 나오나요?(첫째 줄 셋째줄 입니다)
$ top
top - 18:16:14 up 19 days, 4:38, 4 users, load average: 0.01, 0.04, 0.08
Tasks: 192 total, 1 running, 191 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.0 us, 0.2 sy, 0.0 ni, 99.8 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
댓글 중간에서는
0.7, 0.3 0.3 0 0 0... 제일 높은게 0.7정도였습니다.
라고 하시다가 ... ㅎㅎㅎ
0.7 0.3 0.3 0 0 0 의 의미는 각 프로세스 cpu사용량을 나열한겁니다. load average를 뜻한게 아닙니다..
그리고 (제가 맨 처음에 댓글 올렸을때 )네트워크 끊고 OS 새로 깔아서도 그런다면 그 때는 프로그램이나 그런 쪽의 버그 확률이 높아집니다..
OS 새로 깔았다면 저런 부하는 없어야 정상이니까요..
그리고 상황에 따라 무슨 서비스를 하는 서버인지도 오픈해야 될지 모르겠네요..
https://www.ibm.com/mysupport/s/question/0D50z00006LKtboCAD/cpu-usage-differences-between-nmon-and-topas-38-vmstat?language=ko
12 Jun 2007 (15년 전)
There are 2 things that I know of that cause NMON to report different CPU usage stats than topas and vmstat. I believe these are design decisions in NMON rather than bugs.
The first thing is SMT. I was at a presentation that Nigel gave and he discussed the difficulties that SMT posed in determining what 100% was for a Power5 core/cpu. When SMT is turned off, the system sees 1 logical CPU for each physical (or virtual in micropartition LPARs) CPU. Lets assume that 1 logical CPU can perform 100 units of work. When it is doing 100 units of work, it is 100% busy.
https://www.cyberciti.biz/faq/linux-hide-processes-from-other-users/
기본 읽기 전용으로 이미지 읽어와서 램에서 처리하기땜에 깔끔한 환경이고, 부트 미디어만 분리하면 원복되기땜에 큰 부담도 없습니다 (그동안 서비스 중단되는건 참아야죠)
dateno1회원님 방법 시도해보고 안되면 OS재설치까지 진행해보려고 합니다. 끝나면 결과 공유드리겠습니다 ^^
top 으로 보면 kswapd0 라는 이름으로 CPU 점유율이 100% 유지하고 있어서 kill -9 kswapd0 처리
user 상태에서 crontal -l 처보면 아래와 같은 목록을 확인했습니다.
1 1 */2 * * /home/xxx/.configrc/a/upd>/dev/null 2>&1
@reboot /home/xxx/.configrc/a/upd>/dev/null 2>&1
5 8 * * 0 /home/xxx/.configrc/b/sync>/dev/null 2>&1
@reboot /home/xxx/.configrc/b/sync>/dev/null 2>&1
0 0 */3 * * /dev/shm/.X09/.rsync/c/aptitude>/dev/null 2>&1
crontab 에 있는 내용 삭제
/home/xxx/.configrc 폴더 삭제
/dev/shm/.X09/ 폴더 삭제 후 1달 동안 현재 문제가 없습니다.
저와는 다른 상황이겠지만 이런 경우도 있었다는 것을 참고해주세요.