[VMWare] vSAN의 성능이 너무 들쭉날쭉해서 고민이네요

IPA1000   
   조회 5714   추천 0    



 



이 두가지는 vSAN에 올린 VM에서 잰 결과이고



이쪽은 SX350으로 구성한 데이터스토어 위에 올린 VM에서 잰 결과입니다.


vSAN은 2개의 호스트로 각각 캐시티어에 옵테인 900p를, 캐퍼시티티어에 HUSMM1680ASS201(SAS 12G MLC SSD)를 2개씩 달아주었고

호스트가 2개뿐이기에 어쩔수없이 FTT=0 SW=1 형태로 구성이 되어있습니다. 

vSAN용 커널어댑터는 각각 다른 vSS에 물린 40G 이더넷 2개씩으로 구성이 되어있습니다.

FTT=0 이기때문에 Read Cache를 할당할 수 없는건 둘째치고 성능이 잴때마다 왔다갔다하는건 조금 당황스럽네요 흠...


일단은 3번째 호스트를 준비중이니 완성되고나면 FTT=1 R5 형태로 Read Cache를 잔뜩 먹여주고 캐시범위내에서 다시 벤치해봐야겠습니다.


어렵고 여러가지 예상치못한 트러블들을 마주하는 일이 많아서 힘들고 괴롭지만 하나하나 고쳐질때마다 기분이 굉장히 좋으네요.

maronet 2020-09
적은 노드, VM당 고IOPS를 원하면 vSAN은 부적절한 선택입니다.
옵테인도 현장 BMT 결과 보면 가성비가 그저 그렇고요. 특히 용량적은 옵테인은 더욱...
     
IPA1000 2020-09
VHCA나 vSphere HA, vDS, DRS등의 솔루션등을 활용하며 실습해보고싶어서 저예산 랩으로 적절하다고 판단해 공부중이었습니다 ㅎㅎ 생각보다 IOPS가 안나오는건 슬프지만 그런용도가 아니라니 어쩔수없네요..
          
maronet 2020-09
이제 물리장비로는 해보셨으니, 중첩 가상화로 나머지는 해보시는거 추천드립니다.
메모리 384 정도면 어지간한 랩 다 해보실 수 있어요.
               
IPA1000 2020-09
네스티드 환경에서 먼저 해봤다가 물리로 올라와본겁니다 ㅎㅎ 맨날 부품 이거저거 뺐다 꽂았다 하는 병에 걸려서 서버전원을 내려야할일이 많은데 그럴때마다 다운타임 발생하는게 좀 불편해서 판을벌렸더니 일이 점점 커지네요 ㅋㅋ.. 그래도 즐겁습니다.
                    
maronet 2020-09
네 아무래도 물리장비로는 하는게 재미있는건 사실이죠 ㅎ 다만 세팅 끝나고 나니, 비용 공간 앞으로의 유지등이 고민되더라고요.
nsx 같은건 멀티 데이터센터 구조로까지 확되되는디, 그걸 물리장비로는 할라면... 한도 끝도 없더라구요. 그래서 현재는 개인랩은 똘똘한 한대 또는 두대 정도가 한계가 아닐까 하는 생각입니다.
스토리지는 unityvsa 로 vvol 연습까지 해보시는거 추천드립니다.
               
IPA1000 2020-09
이제 뭔가 특이한시도같은건 네스티드로 다시 내려서 해야겠습니다. 꿀같은 조언에 감사드립니다.
epowergate 2020-09
VSAN은 성능이 좋아서 사용하는게 아니에요
그냥 적당한 금액에 그냥저냥 사용할 수 있는 SDS로 보시는게 편합니다.
나중에 vSAN 무너지면 정말 맨붕옵니다.
VMWARE/협력사/대리점 등등에 전화해보면 욕나오고요
     
maronet 2020-09
vSAN 메뉴얼도 안보고, 대충 vSphere 다룰 줄 안다고 막 팔고 쓰는 분들이 좀 있더라고요.
최소 노드 +1은 좀 지켜라 해도 꼭 최소 노드로 가고... 가용공간 30%는 여분으로 나둬라해도 그냥 다 쓰고~
          
epowergate 2020-09
시키는대로 다해도 vSAN 장애/행은 너무 자주 발생합니다.
당연히 평상시엔 문제가 없는데 DISK 장애/행 발생하면서 전체가 꼬이는 상황이 너무 자주 발생합니다.
NUTANIX 처럼 "전체" 파일시스템 날아가서 전체 시스템 복구불능까지 가지는 않아도 많은 사용자들이 기대하는것 보다 행되는 경우가 너무 많습니다.
많은 VMWARE 고객사 담당자들이 만약 VMWARE가 한국 기업이었으면 벌써 퇴출 됐다고 말들 하지요.

제 생각에는 몇가지가 문제가 있는데요
고객측에서 vSAN  도입이 "정말 필요"하면 무조건 기술지원 확실히 받을 수 있는 대리점(파트너?) 통해야 한다고 봅니다.
무조건 시키는 대로 하구요
그런데 문제는 국내에 잘한다는 대리점 (파트너)들도 운영중에 장애 발생하면 손을 못씁니다.
VMWARE에서 알려주는 가이드대로 잘 따라서 나중에 정상화 시켜주는 역할 정도 수준으로 보고 있습니다.
고객이 직접 뭔가 해보겠다면서 더 망처놓는걸 막는 수준요. (사실 이게 어딥니까)

고객입장에서는 그 정도 투자해서 HCI로 다 묶어놨는데 스토리지가 멍때리면 짜증나고 욕나오죠
그런면에서 VMWARE는 뭔가 크게 잘못하고 있다는 느낌을 버릴 수 없습니다.

뭐 더 좋은거 만들 능력 없으면 입닥치고 있어야 하는데 너무 고생한 경험이 많아서 ...
               
maronet 2020-09
저는 그리 오래쓰고 있지는 않았고,
랩이 HCL도 전부 충족 안하는 상태고,
부품들이 워낙 구려서 계속 디스크 장애나고 있지만
의외로 멀쩡한 상태입니다.
중간에 노드도 6->4으로 줄였고, 스위치도 1G->10G로 바꾸고 그랬지만 아직 행은 경험을 못해서요.
혹시 그럴까 무섭기는 합니다 ㅎ
                    
epowergate 2020-09
다행입니다.
그렇게 유지되길 바랍니다.
                         
maronet 2020-09
FTT 2로 쓸까하다, 2노드 빼서 백업서버로 전환했습니다.
HCI도 백업은 필수일 것 같아서요.
               
김골뱅 2020-09
HCI 솔루션들이라는게 하드웨어와 소프트웨어가 보통 decouple 되어있다 보니, 그런점에선 전통적인 스토리지들보다 안정성이 아직은 떨어지는것은 맞다고 보여지고, 기존 솔루션들을 대체하기 보다는 SDS 가 제공할 수 있는 기능들이 필요한지에 대한 검토가 필요하겠죠.

vSAN 뿐만 아니라 HCI 솔루션들이 공통적으로 가져가는 부분일겁니다. 장애야 뭐 vSAN 이나 뉴타닉스나, DT 의 vxflex 나.. 누구나 가릴것 없이 나죠... ㅎㅎ

저도 초기버전떄는 많이 고생했는데, 조금씩 나아지긴 하는것 같다 라는 생각입니다.
          
IPA1000 2020-09
서비스용이나 그런 용도라기보다는 랩용, 학습용의 용도가 더 크다보니 이런저런 케이스를 자주 마주하게 하는 vSAN이 참 매력적인것같습니다. FTT=1부터는 선택지가 조금씩 생기기는 할테니 여러 시도를 해볼수있을것같아 기대되네요.
               
김골뱅 2020-09
일단 CDM (CrystalDiskMark) 가 vSAN 과 같은 HCI 환경에 적합한 벤치마킹 툴이 아닙니다..  원래 로컬디스크용도로 만들어진 툴이라

위에분이 말씀해주신 단일 VM 에서 IOPS 뽑는용도로는 vSAN 이 그리 적합하지 않는 것도 맞긴 하고요.
HCI 가상화 환경에서는 다수의 VM 에서 동시에 얼마만큼의 IOPS 를 뽑을 수 있냐를 보시는게 좋을 것 같습니다. VMware 에서는 HCI bench 라는 것을 권장하고 있습니다. 실질적으로는 vdbench 라고 보심 되긴 합니다만..
                    
IPA1000 2020-09
너무나 감사드립니다~ 조언 해주신 덕분에 vdbench로 제대로 성능테스트를 해보는 중입니다! 감사합니다 ㅎ.ㅎ


제목Page 34/130
2014-05   5248578   정은준1
2015-12   1773906   백메가
2020-10   6922   지존컴퓨터
2020-10   5427   미스터최
2020-10   4393   fprrmsl
2020-10   4409   박건
2020-10   3937   RIGIDBODY
2020-09   4364   ParkMin
2020-09   4801   다이햇
2020-09   5078   김세윤
2020-09   5282   kino0924
2020-09   5678   osthek83
2020-09   4442   송주환
2020-09   5715   IPA1000
2020-09   3689   언타이틀
2020-09   4494   이키마스
2020-09   4216   Bebhioon
2020-09   4104   호랑이백숙
2020-09   4535   송주환
2020-09   7019   김동자맨
2020-09   3538   sdlfkjwer
2020-09   4672   MikroTik이진