송주환
잘 아시다시피 Nutanix에는 CVM (Controller VM)이 있고, CVM이 모든 I/O를 제어하는 구조를 가지고 있습니다.
이러한 아키텍처의 문제점은 모든 I/O가 CVM을 통과하면서 추가적인 오버헤드가 발생하고, CVM 자체가 병목 지점으로 작용할 수 있다는 것인데
특히 Context Switching 오버헤드가 심각할 것 같아 보입니다.
Nutanix의 이러한 아키텍처 구조에 따른 I/O 오버헤드가 실제로 어느 정도 수준인지 (latency increase), 그리고 어떤 I/O가 영향을 받는지 (디스크 IO만? 네트워크는? PCI-E 장치는?)
정리된 자료가 있을까요?
Nutanix 는 최소한 3 node 이상으로 구성해야 합니다.
(특수 구성시에 2 node 로 구성이 가능하긴 한데..)
1. 데이더 로컬리티
VM이 하나의 node에서 운영되도록 합니다.
disk pool 이 전체의 하나로 보이게 됩니다만 VM의 데이터 파일이 하나의 노드에서 모두 움직일 수 있도록 CVM이 조정을 합니다.
2. 데이터 티어링
hot / cold 영역으로 실제 VM데이터는 CVM에서 선언한 메모리 영역에서 디스크 IO가 hot (ssd)영역에 쓰여지면서일어나고 사용빈도가 낮은 데이터는 cold (hdd) 영역으로 내리게 됩니다.
그래서 다른 HCI솔루셬 처럼 하이브리드로 디스크를 구성해도 disk i/o에 대한 성능저하가 없다고 합니다.
nitanix 도 단점이 있는데,
저 CVM이 핵심 VM이다보니 disk io가 많은 환경엣서는 CVM용량을 크게 잡아야 합니다.
3개 노드짜리 32GB를 CVM으로 구성하면 32×3=96기가가 못쓰게 되죠.
또한,지나치게 네트워크 안정성에 의존적입니다. nutanix 는 모든 node 간 연결을 전부 네트워크에 의존 하기 때문에...네트워크가 불안하면 node 간 무결성이 무너지면서 시스템 전체가 무너질 수 있습니다. 그래서 반드시 네트워크를 이중화 시켜서 운영해야 합니다.
기본적으로 10GbE이상급의 네트워크를 이중화 구성해서 운영해야 합니다.
전체 메모리가 128 이라면 CVM이 32 로 구성한다고 쳤을때 계산상으로는 96에 자원이 남습니다만 실제로 하나의 노드가 무너졌을때 다른 곳으로 분산하여 자원을 배치해 넘겨야 하기 때문에 33%의 메모리 자원 디스크자원을 쓰지 못하는 문제도 있습니다. (쓸 수는 있지만 레질리언스에 경고가 뜨게 됩니다.) 만약 하나의 노드가 죽에 되면 나머지 두곳에 VM을 모션해서 넘기려고 해도 공간이 없으니 자원을 할당받지 못하는 VM은 부팅이 되지 않겠죠.
4node를 드민 이유가 클러스터 기본 성능 구성 노드 때문에 그랬던것 같네요.
가끔씩 메일링도 오고하던데 요즘은 뜸하긴하네요.
그때 잠시 분석했을때, 개념적으로 분산클러스터파일시스템 기술위에 가상화기능을 구현한개념 형태로 보여서 네트워크 병목이 많을것 같다는 생각이 들더군요.
별도의 분산클러스터 메타서버구조는 아니였던것 같고, 별도의 주동자가 있다기 보다는, 컨센서스 합의알고리즘 형태로 리더가 바뀔수 있는
구조로 보여지기는 한것 같습니다. 네트워크 클러스터 기반이면 예측하시겠지만, 병목은 네트워크쪽이 제법발생하지 않을까 싶습니다.
클러스터 관리 및 기타등등 기능의 CVM이 가상머신 형태로 도는것 같네요. CPU/MEMMORY/NETWORK 튜닝포인트를 잘 잡으셔야 할것 같습니다.
예전에 지인분들 보면 빅데이터 노드 가상화로 많이 올려서 스트레스 테스트 했던것 같습니다 Splunk, Hadoop ...
구글링으로 찾은 몇가지 자료 참고가 되실지 몰라서 링크남겨드립니다.
https://www.n0derunner.com/category/nutanix/
https://www.n0derunner.com/nutanix-performance-for-database-workloads/
https://vcdx133.files.wordpress.com/2019/10/the-nutanix-design-guide-first-edition.pdf
그런데 싱크방법은 10G든 40G든 연결구조가 되어야 하는데 일반적으로 10G를 쓰고 있더라구요. 예상데로 디스크 속도는 FC나 다이렉트 10G/40G 연결해서 쓸때보다 많이 잣같습니다. 그렇다고 못쓸정도는 아니지만 고속 IO를 요구하는데는 아키텍쳐상 한계가 있습니다.
그리고 벰웨어나 Hyper-V는 VM에 대해서 많이 자유로운데 뉴타닉스는 항상 호환이 되나 안되나는 체크하고 시작해야됩니다. 이거 무시하고 할려다 다른건 다 되는데 왜 이건 안되지?하면서 멘붕올때가 많습니다.
여러가지로 우리가 생각했던 VM 이런 극악의 호환성을 옆에서 구경한후로 관심 끊어버렸습니다.(위에서 지시하니까 쓰는거지 이따위걸)
그래도 클라우드 시대에 맞게 인터페이스는 깔끔하고 멋있긴 하더라구요.(외관에만 몰빵한거처럼 보임)
아니면 direct io 또는 pass-throught device를 지원해서 좀 더 좋은 성능을 제공할꺼냐?
많은 가상화 제품/회사들이 스토리지 가상화에 기반한 기술-제품-기능을 제공하기 때문에 개인적으로는 1을 선호합니다.
당장 2 방식은 백업-motion 등의 기능을 제공하려면 1) 구현 난이도가 높아지고 및 2) 다양한 기술을 다 포용하기도 어렵습니다.
질문에 답을 드리면 (2021년 기준) 가상화를 해서 발생하는 overhead는 3% 미만을 가이드 라인으로 합니다.
대부분 회사들이 2.5%를 목표로 개발합니다.
제가 궁금한 것은 '그래서 CVM으로 인해 발생하는 I/O 레이턴시 오버헤드가 얼마나 되는가?' (+ 저 CVM으로 전달되는 VM I/O의 범위가 대체 어느 정도인지) 입니다.
그리고 언급하신 가상화 오버헤드 3% 미만은 CPU 가상화를 의미하는 것으로 보입니다. vSphere 7 기준 베어메탈 대비 CPU 오버헤드가 5% 미만으로 나타나지만, Disk I/O 오버헤드는 그것보다는 훨씬 더 높습니다.
+ Nutanix 자료를 좀 더 찾아보니, 최근 들어 Blockstore라는 Userspace Filesystem을 구현하고, I/O Path를 SPDK와 통합하는 등 해당 오버헤드를 제거하기 위한 노력들이 있었네요. 다만 이것이 General Purpose인지, 특수 목적용 기능인지 등은 확인해봐야 할 것 같습니다.
https://community.intel.com/t5/Blogs/Products-and-Solutions/Memory-Storage/Intel-Nutanix-Overcoming-Storage-Obstacles-with-Blockstore-and/post/1335001
대부분 회사들이 이 수준을 달성했습니다.
사용자가 더 느리다고 느끼는 이유는 DataStore등에서 제공하는 다양한 cacheing, replication, snap 데이터 관리등을 위한 추가적인 기능상의 overhead 입니다.
I/O 자체는 3% 수준입니다.
BlockStore는 userlevel block device 입니다. File System은 아니구요.
대략 방식은 SPDK등의 기술을 사용하여 block device를 제공합니다.
그런데, nutanix에서 말하는 3중 저장은 불가능 하지요.
SPDK (nvme 기준)으로는 DRBD 등의 기술도 사용하지 못하죠
뭔가 방법을 찾아야 할 텐데, 제일 쉬운 방법이 Nutanix Storage Manager에 넣는 방법이겠죠? 그런데, 그러면 SPDK를 사용할 의미가 없죠
개인적으로는 특수목적용이라 생각합니다.
이러한 방식으로는 snapshot 지원이 어려울 겁니다.
가상화 환경에서snapshot 지원 없이 백업을 하기가 어렵습니다.
그렇기 때문에 특수목적용이라 생각합니다
그런데 이거 오래된 기술/기능 아닌가요??
(전문성 없는 개인 생각 입니다)
여기에 좀 더 자세한 설명이 있네요. 일단 Nutanix는 이걸 Filesystem이라고 설명하긴 합니다. 실제 내용물은 까봐야 알겠지만..
Nutanix BlockStore (shipped in AOS 5.18) is an AOS capability which creates an extensible filesystem and block management layer all handled in user space. This eliminates the filesystem from the devices and removes the invoking of any filesystem kernel driver. The introduction of newer storage media (e.g. NVMe), devices now come with user space libraries to handle device I/O directly (e.g. SPDK) eliminating the need to make any system calls (context switches). With the combination of BlockStore + SPDK all Stargate device interaction has moved into user space eliminating any context switching or kernel driver invocation.
다만 이것을 구현함에 따른 기능적 패널티에 대한 언급은 없군요. Nutanix는 VMware만큼 자세한 기술자료가 없는 게 흠입니다.
+ AOS 5.18은 2020년 말에 릴리즈 되었으니, 상당히 시간이 흐르긴 했습니다.
또 하나 재미있는 부분은, CVM이 데이터 복제를 위해 RDMA를 사용하면 커널의 네트워크 스택을 우회하면서 성능 향상이 일어난다 (...)는 설명이 있다는 점입니다.
뭐 맞는 말이긴 한데.. 오로지 Context Switching을 제거하기 위해서 RDMA를 도입할 고객이 얼마나 될 지는 의문이네요.
vSAN ESA와 비교하면 많이 어설픈 느낌이 듭니다.
여러모로 조언 감사합니다. 개인적으로 Latency sensitive한 애플리케이션은 Nutanix에 올려놓기가 좀 꺼려지네요.