간단한 내용과 함께 BMT결과화면을 캡쳐하셔서 업로드 하시면 됩니다.

(SPEC Viewpert/Vray Rendering / HD Tune / HD Tach / CINEBENCH / CrystalDiskMark / IOMeter / AJA / 소비전력)

1. 연산 컴퓨터 연결용 클라이언트 컴퓨터

Apple M1 imac ( CPU 8 cores, GPU 8cores, 8GB RAM, 256GB NVME SSD)

Asahi 리눅스를 이용하여   M1   아이맥에 우분투 23.10 데스크탑을 설치하였습니다.

2개 듀얼 에픽 7551  연산컴  BMC에 1 Gbps 네트워크로 연결되며 한개 듀얼 에픽 7551  연산컴에 1 Gbps 네트워크로 연결됩니다.

2대 듀얼 에픽 7551  연산컴은 100Gb/s 인피니밴드 IB 링크로 직결됩니다. 

2. 2대 듀얼 에픽 7551 연산컴퓨터

슈퍼마이크로  H11dsi-NT  메인보드, 듀얼 에픽 7551(CPU 당 32 cores,  총 64 cores, HT off), 256 GB DDR4 2666V RAM, SK hynix P31 500GB NVME SSD, Mellanox connectX-5 nic, DELL 3M QSFP28 DAC 케이블

2 노드 128 cores, HT off

Ubuntu 22.04 kernel version 6.2.0-26-generic

HPCG 3.1 프로그램 소스를 다운로드 받아 OMP 및  OPENMPI  가 되게 프로그램을 컴파일 및 설치 하였습니다.

OPENMPI 는 4.1.2  버젼입니다.

3. 2노드 연산 클러스터를 생각한 이유

듀얼 에픽 7551  에서 Phoronix benchmark suite  프로그램을 이용해 벤치 마크를 돌려보면  34.5GFLOP/s 로 결과가 잘 나와 2개 노드에서 돌리고 2배  성능 향상이 있다면 256 코어 에픽 9754 보다 성능이 더 잘 나올 수 있겠다는 생각을 했습니다.

출처 : High Performance Conjugate Gradient Benchmark - OpenBenchmarking.org 

4. 인피니 밴드 대역폭 및 레이턴시 측정

대역폭은 96.41Gb/s 이고 레이턴시는 1.11 마이크로 초입니다.

5. 벤치마크 결과

벤치마크 결과가 잘 나오도록 "cpupower frequency-set -g performance" 를 입력하고 cpu c-state 를  disable  시키기 위하여 " cpupower -c 0-63 idle-set -d 2"  를 입력합니다. 이후 X=104 Y=104 Z=104 RT=60 으로 벤치 마크를 실행한 결과입니다. 한 노드에서 33.6658 GFLOP/s 이고 mpirun 으로 다른 노드에서 실행한 결과는 33.5617 GFLOP/s  입니다. 2개 노드에서의 결과는  61.6749 GFLOP/s 입니다. 33.6658 GFLOP/s  기준 183.2% 의 성능 향상이 있습니다. 이 결과는 처음 예상했던 결과와 부합하고 256코어 에픽 9754 보다 성능이 더 잘 나옵니다.

7551이 에픽 1세대이지만 연산컴을 만들 당시 중고로 개당 80만원에 구입했습니다. 현재는 1개 가격이 20만원도 안되는 것 같습니다. 7551 이 1세대 에픽이지만 인피니 밴드와 결합시 성능이 잘 나오기에 연산컴으로 사용할 수 있겠습니다. 2배 성능 향상을 보이도록 좀 더 튜닝하는 작업이 필요합니다. 성능 향상 정도는 벤치마크 프로그램도 영향이 있다고 생각합니다. 유체역학 해석 프로그램인 openfoam에서는 2 노드의 경우(코어 수 2배) 2배 성능 향상이 있다고 알려져 openfoam으로 추가 테스트 해보려고 합니다.