일단

하드웨어 구성은

이완재씨의 도움으로 구한 슈마 2.5" 16베이 서버

프로세서는 E5-2630 듀얼

램은 4G 풀뱅으로 총 64기가

내장 랜은 사용안하고 

인텔 10지 싱글랜카드가 메인 이고

첼시오 S320E 10지 듀얼포트 랜가트 두개

IPMI 용 RJ45 랜포트 한개 연결

16베이에는 시중에서 파는 가장 싸구려 ssd 중 하나인 랙사 128 기가 16개 풀뱅이고 

추가로 가지고 있던 크루셜 bx500 128기가를 OS용으로 사용했습니다.

서버에 내장된 메가레이드 9260-16i 의 IT 펌웨어를 구해봤으나 못구했고,

결국 좀 아쉽지만 ssd 2개씩을 raid 0로 총 8개의 230기가 짜리 가상드라이브를 구성했습니다.

여기까지 완전 동일한 사양으로 3대를 구성했습니다.

OS는 Proxmox VE 6.0 을 설치했고 미리 구성한 노느당 8개씩 총 24개의 가상디스크를 CEPH OSD 로 할당 했습니다.

그리고 가상머신 테스트를 위해 윈도10프로 1909 를 총 28개 만들었습니다.

사양은 동일하게 2코어 4기가 디스크 32기가(64기가로 해도 될걸 그랬습니다.) 이고

풀업데이트하고 크리스탈디스크 마크와 네트워크 속도테스트를 위한 Net IO 만 설치했습니다.

보시다시피 결과값이 나온상태구요 그동안 CEPH 모니터링을 통해 최대 속도 와 IOPS 를 지켜봤습니다.

무슨 매크로 프로그램을 이용해 각 가상머신의 디스크마크는 거의 1초 이내에 전부 시작을 하도록 했습니다.

결과적으로 최대 디스크 속도는 시퀀설 리드 5.3기가바이트 시퀀셜 라이트 1.4기가바이트 이 최대고 

4k IOPS 로는 리드 23000 라이트 21000 정도 나왔습니다.

이걸 네트워크에서 바로 옆에 붙은 40지 듀얼포트가 있는 ML350P 램드라이브 상의 폴더에서 

미크로틱 40지 2포트 10지 24포트 짜리로 연결한후 각각의 가상머신을 클라이언트 모드,

ML350P 를 서버모드로 네트워크 속도테스트를 해봤는데뭐 당연히 30지가 나오더군요.. 메인 통신이 10지 한포트씩 3개라

뭐 요새나오는 NVME 기반의 장비야 IOPS 가 워낙에 기본을 해주시니 비교 꺼리가 아니지만.. 

초 싸구려 SSD 로도 잘만 묶으면 쓸만은 하니 실제로 IOPS 높은 SSD 로 바꿔주고 옵테인 디스크로 라이트캐시(저널) 좀 보강해주면 요런 서버 3대로 한 400노드 정도는 커버 가능하다 라는 결론이 났습니다.  

사실.. 현재 구성으로도 메인네트워크만 듀얼10지로 교체해주면  랜 네트워크에서 리드 5GiByte/s 라이트 1.5GiByte/s 정도 성능이 나오는 거니 별로 불만은 없습니다. 문제는 총용량이 1.55 테라 바이트라니... 제 PC에 10테라 하느만도 못하는건 눈물나지만요.. 

암튼 이거로 이거저거 테스트 해보니 저렴이 24베이 nvme 서버와 인텔 DC P4500 4테라 짜리 ssd 정도면 모든 비용포함 1억미만 수준에서 288테라짜리 고성능HCI 서버 구성이 가능하리라 생각합니다. 물론 이정도면 제 목적에 맞게 1000대 정도 클라이언트는 커버가능하니 클라이언트당 10만원 수준으로 아주 좋은 수치가 나올거라 예상합니다.