Compute노드 중에 하나가 또 느려져서 보니까 messages가 난리가 났네요. 메모리 큰 잡들을 돌리고 있는데 저 노드만 저러고 있어요. CentOS 7.5 쓰고 있습니다. IB 문제같은데 비슷한 키워드는 나와도 같은 에러 메시지는 아니더라고요. 어찌 방법을 찾아야 할까요?
Feb 25 22:42:14 compute-01-09 kernel: kworker/12:0: page allocation failure: order:10, mode:0x80d0
Feb 25 22:42:14 compute-01-09 kernel: CPU: 12 PID: 70801 Comm: kworker/12:0 Kdump: loaded Not tainted 3.10.0-862.el7.x86_64 #1
Feb 25 22:42:14 compute-01-09 kernel: Hardware name: Dell Inc. PowerEdge R7425/08V001, BIOS 1.5.6 08/17/2018
Feb 25 22:42:14 compute-01-09 kernel: Workqueue: events xprt_rdma_connect_worker [rpcrdma]
Feb 25 22:42:14 compute-01-09 kernel: Call Trace:
Feb 25 22:42:14 compute-01-09 kernel: [] dump_stack+0x19/0x1b
Feb 25 22:42:14 compute-01-09 kernel: [] warn_alloc_failed+0x110/0x180
Feb 25 22:42:14 compute-01-09 kernel: [] ? drain_pages+0xb0/0xb0
Feb 25 22:42:14 compute-01-09 kernel: [] __alloc_pages_nodemask+0x9b4/0xbb0
Feb 25 22:42:14 compute-01-09 kernel: [] dma_generic_alloc_coherent+0x8f/0x140
Feb 25 22:42:14 compute-01-09 kernel: [] x86_swiotlb_alloc_coherent+0x21/0x50
Feb 25 22:42:14 compute-01-09 kernel: [] mlx5_dma_zalloc_coherent_node+0xb4/0x110 [mlx5_core]
Feb 25 22:42:14 compute-01-09 kernel: [] mlx5_buf_alloc_node+0x4d/0xc0 [mlx5_core]
Feb 25 22:42:14 compute-01-09 kernel: [] mlx5_buf_alloc+0x14/0x20 [mlx5_core]
Feb 25 22:42:14 compute-01-09 kernel: [] create_kernel_qp.isra.62+0x42e/0x72c [mlx5_ib]
Feb 25 22:42:14 compute-01-09 kernel: [] create_qp_common+0x67d/0x13c0 [mlx5_ib]
Feb 25 22:42:14 compute-01-09 kernel: [] ? internal_add_timer+0x70/0x70
Feb 25 22:42:14 compute-01-09 kernel: [] ? kmem_cache_alloc_trace+0x1d6/0x200
Feb 25 22:42:14 compute-01-09 kernel: [] mlx5_ib_create_qp+0x10b/0x4d0 [mlx5_ib]
Feb 25 22:42:14 compute-01-09 kernel: [] ? list_del+0xd/0x30
Feb 25 22:42:14 compute-01-09 kernel: [] ? wait_for_completion_interruptible_timeout+0x131/0x170
Feb 25 22:42:14 compute-01-09 kernel: [] ib_create_qp+0x7f/0x330 [ib_core]
Feb 25 22:42:14 compute-01-09 kernel: [] rdma_create_qp+0x34/0xb0 [rdma_cm]
Feb 25 22:42:14 compute-01-09 kernel: [] rpcrdma_ep_connect+0x183/0x3e0 [rpcrdma]
Feb 25 22:42:14 compute-01-09 kernel: [] xprt_rdma_connect_worker+0x3c/0xc0 [rpcrdma]
Feb 25 22:42:14 compute-01-09 kernel: [] process_one_work+0x17f/0x440
Feb 25 22:42:14 compute-01-09 kernel: [] worker_thread+0x126/0x3c0
Feb 25 22:42:14 compute-01-09 kernel: [] ? manage_workers.isra.24+0x2a0/0x2a0
Feb 25 22:42:14 compute-01-09 kernel: [] kthread+0xd1/0xe0
Feb 25 22:42:14 compute-01-09 kernel: [] ? insert_kthread_work+0x40/0x40
Feb 25 22:42:14 compute-01-09 kernel: [] ret_from_fork_nospec_begin+0xe/0x21
Feb 25 22:42:14 compute-01-09 kernel: [] ? insert_kthread_work+0x40/0x40
Feb 25 22:42:14 compute-01-09 kernel: Mem-Info:
Feb 25 22:42:14 compute-01-09 kernel: active_anon:11826266 inactive_anon:1659285 isolated_anon:0#012 active_file:24938058 inactive_file:25116811 isolated_file:0#012 unevictable:0 dirty:134 writeback:865547 unstable:1566927#012 slab_reclaimable:379760 slab_unreclaimable:172249#012 mapped:26843 shmem:43502 pagetables:30261 bounce:0#012 free:1077590 free_pcp:8 free_cma:0
Feb 25 22:42:14 compute-01-09 kernel: Node 0 DMA free:15864kB min:12kB low:12kB high:16kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15992kB managed:15904kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:40kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? yes
Feb 25 22:42:14 compute-01-09 kernel: lowmem_reserve[]: 0 1481 31659 31659
그래도 문제해결을 위해
케이블 연결을 다시 확인하고
시스템 종료 후 전원 공급을 중단하였다가
다시 시스템을 시작하는 방법도
시도해 보실 수 있겠습니다.
혹시나지만 불량 노드 빼서 메모리 /CPU 불량이 있는지 테스트 가능하신지요??
그 외는 노드에 부팅용 하드나 SSD가 있다면 배드 섹터 채크해보는 것도 어디가 불량인지 채크하는 방법 중 하나 일 듯합니다..
CentOS라면 pagesize 명령어나 pagesize(), getpagesize() 등등 연관된 함수로 그 크기를 구할 수 있고, 그 페이지사이즈에 맞게 프로그램 짜야하고, 메모리를 할당/해제해야합니다.
요래 안짠 프로그램을 돌리면 반드시 시스템이 다운되지는 않지만 memory I/O 효율이 떨어지게 됩니다. <- 웬만한 리눅스 개발자들은 이정도는 다~ 준수하고 계실테고...
잡설(?)이 길었슴돠~
즉, page allocation failure 는 메모리 할당 이슈이구요, 메모리 diagnostic 프로그램 - memtest86 같은것 - 한번 돌려보시고
혹시나, 간혹가다, CPU내의 메모리 컨트롤러가 삐리~한 경우에 부하를 많이주면 메모리가 이상없는 경우에도 발생하기도 합니다.
참고만 하세요~
CPU가 인텔꺼라면 https://downloadcenter.intel.com/download/19792/Intel-Processor-Diagnostic-Tool 요거 돌리기
(아쉽게도 리눅스 버전은 안보이는듯... )
그리고 mcelog 설치해서 로그에 뭔가 떴나 확인하기... 등이죠 뭐^^
High Performance Linpack 같은거 강려크하게 돌려볼만 도 합니다.
리눅스용 인텔 린팩은 요기에 있어요... https://software.intel.com/en-us/mkl-linux-developer-guide-intel-optimized-linpack-benchmark-for-linux
요건 돌릴때 메모리 왕장 잡아서(할당해서) 돌려야 합니다. 기본 상태로 돌리면 헛수고 입니다 ㅋ
아마 2.XX까지 버젼이 있을 겁니다..
# echo 1 > /proc/sys/vm/compact_memory
그 노드의 meminfo 정보를 올려주시면 도움이 될것 같습니다.
그냥 제가 보기에는 대략 2가지 중에 하나인데 1) 로컬 또는 리모트 노드 어딘가에 메모리가 부족하거나, 2) 리모트 노드 어딘가에 메모리 fault가 있는 경우일 겁니다.
IB로 RDMA를 할때 리모트 노드에 메모리가 부족하면 OOM이 아닌 지금 보시는 것과 유사한 메시지가 나옵니다.
특히 마지막에 있는 "Node 0 DMA free:15864kB min:12kB low:12kB high:16..."와 같은 숫치는 나올 수가 없어요.
그런데 서버가 AMD EPYC이네요. 이쪽 이슈일 수도 있습니다.
저도 자견에 EPYC에 IB 테스트 하면서 고생 좀 했었습니다.
아, 누가 컨피그를 만져놨을 수 도 있겠네요^^
보통 MM가 부족하면 SWAP으로 갈수도 있죠? 그런데 RDMA로 메모리를 잡으려 하다 MM가 부족하면 SWAP으로 가야하는게 맞을까요?
이 부분도 설정이 있는데 기억이 나질 않습니다.
Kernel 버전마다 방식이 다를겁니다. 제가 아는건 15년전 RDMA라...
만약 시뮬레이션등을 하는데 격자를 너무 크게 잡거나 하면 발생 할 수 있습니다. 그런데 요즘 거의 이런경우 없는데요...
짧은 지식으로는 oom이 떠야 하는데 커널이 제대로 일을 못하고 있나 라고 생각했는데 동작하는 동작하는 방식이 다르네요.