Haswell-EP (E5-26xx v3) 를 탑재한 모델 (정확히는 10-Core 이상 부터 적용)에서 추가 된 BIOS 옵션
아키텍쳐 요약
1. 샌디 브릿지 EP 부터 L3 캐시 정책이 링버스로 변경 (코어의 증가로 인한 경로 축소)
2. CPU 코어가 늘어나면서 L3 캐시 접근 정책도 다양화 됨 (경로에 따라 CPU CORE/L3 캐시의 레이턴시가 불균일 해짐)
3. 불균일한 레이턴시를 줄이기 위해 1 Socket 의 CPU 1개를 NUMA 개념으로 2개의 도메인으로 나누어 사용
설정 요약
1. SQL Server, Hyper-V 등의 NUMA Aware Application 에서는 QPI Snoop 을 Cluster On Die로 설정
기존 NUMA 아키텍쳐에서 2 Socket 기준 VM 1개의 최대 메모리 사용량이 1/2 이었다면, COD에서는 1/4로 가용량이 줄어듬
2. Hyper-V 에서의 1개의 최대 VM 메모리가 전체 메모리의 1/4을 초과 하는 경우에는 기본 설정 (Home Snoop)을 유지
(ex> vNUMA 를 지원하지 않는 Legacy Linux VM 등등)
3. NUMA 를 인식하지 않는 Application에서는 (non-aware) 에서는 Early Snoop 을 설정
벤더 (HP)에서는 아래와 같이 요약 하고 있음
|
This option allows for the configurations of different snoop modes that impact the QPI interconnect. Changing this option may improve performance in certain workloads. Home Snoop provides high memory bandwidth in an average NUMA environment (default setting). Cluster on Die may provide increased memory bandwidth in highly optimized NUMA workloads. Early Snoop may decrease memory latency but may also result in lower overall bandwidth as compared to other modes. 1st) Early Snoop (memory latancy-sensitive workloads) |
상기 3개의 조건에 따른 BIOS에 해당 상황에 맞게, 변경을 해 주는 것이 NUMA 환경에서 권고 사항 인 건지요 ?
저에겐 조금 새로운 사항 이네요.
답변 부탁 드려 봅니다.
SQL Server나 Hyper-V 같은 Numa-aware(인지) 응용프로그램을 실행 하는 환경이라면 QPI snoop을
cod(cluster on die) 로 변경하는 것이 권고사항입니다.
제가 알기로는 QPI는 다른 물리적 CPU가 관장하는 메모리의 영역을 참조하게 되는 경우에,
CPU간 대역폭으로 알고 있습니다.
cpu 코어 수가 많아짐에 (10개이상) 따라 수반 되는 어쩔 수 없는 기능이라 생각하시면 됩니다.
KVM 및 vSphere 환경에서는 어떤지.. 저도 좀 알아 봐야 겠습니다.
답변 감사 드립니다. 꾸벅