epowergate 2020-08

vSAN을 사용자들을 보면 IT 분야에서 가장 장애에 너그러운 사람들이 아닌가 싶습니다.
그렇게 문제가 많고 대형장애가 발생해도 꿋꿋하게 사용하는거 보면 대단하다는 느낌입니다.
VMWARE 기술지원팀/협력사들의 뱃집도 좋은것 같습니다.  어쩌라구!!!

다른건 메뉴얼 찾아보시구요, 무조건 지켜야 하는 내용은
1. 무조건 VMWARE HCL에 있는 장비, 파트만 사용해야 합니다
2. 사용하는 모든 파트는 무조건 동일해야 합니다.  SSD의 경우 F/W 버전까지 맞추셔야 합니다
    Network NIC도 동일하게 맞추시고, 메모리용량도 맞추세요
3. 매뉴얼에 없지만 이런 것도 되겠지 하는건 무조건 하지마세요

IPA1000 2020-08

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 아 ㅋㅋㅋㅋㅋㅋㅋㅋ 답변에서 극도의 분노가 느껴져서 너무 웃었네요

알겠습니다 반드시 HCL 보증장비들만을 사용하여 모든 파츠를 NIC나 F/W버전까지 엄격하게 통일하여 구성하도록 하겠습니다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ


추가적으로 한가지만 더 여쭙고싶은데 보통 All Flash환경에서 캐시/캐퍼시티의 비율은 어떻게되나요? 아니면 하이브리드 환경에서의 비율이라도 궁금합니다!

epowergate 2020-08

좀 짜증나는 자료이긴 한데 기본 3개 이상이라고 되어 있습니다.
국내 기술지원 협력사의 추천은 7+1로 알고 있습니다. (오래전에 그랬습니다)
https://www.vmware.com/resources/compatibility/pdf/vi_vsan_profile.pdf

IPA1000 2020-08

정말 감사합니다! 좋은 하루 되세요 ^^

maronet 2020-08

첨언하자면 FTT 3으로 운영할 때가 7(최소)+1(권장)이 권장사항입니다.
스토리지 운영정책 따라 정하면 됩니다.

maronet 2020-08

궁금해하시는 내용은 메뉴얼에 다 설명되어 있습니다.
https://storagehub.vmware.com/
https://docs.vmware.com/kr/VMware-vSAN/index.html

김골뱅 2020-09

조금 첨언하자면, vSAN 구성시 HCL 이 연관되는 파트는, I/O controller / SSD / HDD 입니다. 이중 I/O Controller 에 대한 조건이 가장 엄격하고, SSD 의 F/W 의 경우는 Miinimum 버전이상 이면 됩니다. 단 NVMe 는 명시되어있는 F/W버전과 일치해야 합니다.

NIC 까지는 강제하지 않습니다.

김골뱅 2020-09

1. vSAN 6.5 이전버전까지는 hybrid / all flash 모두 capacity 용량의 10% 가 권장사항입니다. 여기서 capacity 용량은 FTT 가 적용되기 이전의 VMDK 의 용량 합산을 의미합니다. 즉 1TB x 7개 니까 권장은 cache size 권장은 10% 인 700GB 로 계산. 이런식이 아닙니다. VMDK 용량의 합산이 3TB 면 (FTT 적용 이전 즉 FTT=0) 300GB 가 권장입니다.

6.5 이후의 AF 구성에서는 read/write 또는 io type 별로 권장이 좀 다른데 https://blogs.vmware.com/virtualblocks/2017/01/18/designing-vsan-disk-groups-cache-ratio-revisited/ 여길 참고 하시면 됩니다.

2. 물리 호스트당 몇개를 넣을것이냐의 의사결정은 DG(Disk Group) 를 몇개로 구성하느냐에 따라 다릅니다. 보통 권장은 2DG 구성이구요, 이때에는 DG 당 Cache 디스크는 1개, Capacity 디스크는 7장 까지 들어갑니다. 2DG 면 Capacity 디스크가 14개가 들어갈 수 있다라고 보시면 되구요. 기술적으로는 호스트 1대당 DG 를 5개까지 구성할 수 있습니다.

단적인 예로
1DG -  1x 1.2TB SSD cache + 6 x 2TB SSD Capacity 보다
2DG - 2x 600GB SSD cache + 6 x 2TB SSD Capacity  가 성능상으론 더 좋습니다.예를 단순하게 든것이니 참고만 하세요.

3. 동일하지 않아도 되는데 동일하게 하시는게 권장입니다. 사이즈가 다르게 들어가면 노드별로 캐시히트율이나 플러싱이 필요한 때가 각각 달라질 수 있어서 성능이 불균형하게 나올 수 있습니다.

4. 동일하지 않아도 되는데 동일하게 하시는게 관리상 편합니다. VMDK 의 사이즈나 Storage Policy 에 따라 VMDK 를 구성하는  Component 들의 숫자가 정해지는데, 이것도 다른 사이즈들을 배치하게 되면 개별 디스크의 Usage 가 좀 불균형하게 늘어날 수 있습니다.

5. 요건 안됩니다. Intel Optane SSD 자체를 캐시티어 용으로 쓸순 있지만, 말씀하신 방식은 안됩니다.

IPA1000 2020-09

너무나도 상세한 답변에 깊은 감사를 드립니다.. 매우 큰 도움이 되었습니다.

죄송하지만 한가지 질문만 더 드려도 괜찮을까요?

현재 VCG에 올라와있는 장비들로 vSAN을 구성하는중인데 HBA에 물려있는 12G SAS SSD들이 전부 Remote상태로 잡힙니다.. 그래서 구성이 안되네요..

정확한 상태를 묘사하자면 호스트로 접속할시 normal, degraded라고 나오고 VCSA로 접속하면 Remote로 잡히는데 Mark as Local을 하면 자꾸 실패를하네요..

HBA의 두 포트중 한개만 사용을 하는중인데 이게 문제가 될 수 있는 것인지 아니면 SAS 12G가 뭔가 제대로 지원이 안된다던가 선문제라던가 그럴 수 있을까요?

ssh로도 이것저것 해봤는데 답이 나오질 않네요 ㅠㅠ 선은 분명 sff8643 to SAS인데 고견을 여쭙고싶습니다..

IPA1000 2020-09

원인을 찾았습니다! Storage Array Type Policy가 AA로잡히는 문제였네요 ㅠㅠ SATP에 스스디들을 추가해준뒤 재부팅하니까 로컬로 제대로 인식이 되네요.. 이제 vSAN 구성하러 가봐야겠습니다 ^^

김골뱅 2020-09

어떤 I/O Controller 를 사용하시는지 모르겠으나, Pass-through 로 잡아야 하는 컨트롤러가 있고 RAID0 로 구성해야만 하는 컨트롤러가 있으니 잘 보시구요 (VCG 에 적혀있습니다. 대체로는 Pass-through 가 Certified 되는 편입니다.) 만약 HPE 서버라면 보통 HBA Mode 로 돌리셔야 합니다.

IPA1000 2020-09

ㅎㅎ 여건이 안돼서 동일한 IO컨트롤러를 사용하진 못했고 한쪽엔 AOC-S3008L-L8E를, 한쪽엔 LSI9361-8i를 사용했습니다. 전자는 HBA라서 그냥 고대로 붙였고 후자는 각 디스크를 JBOD로 잡아서 사용했습니다. VCG에서 어떤식으로 구성해야하는지도 찾을수 있었군요. 많이 배웁니다. 감사합니다.

김골뱅 2020-09

네. vSAN 의 경우 VCG 가 굉장히 엄격합니다. https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio 요 항목에서 잘 찾아보셔야 합니다. 물론 운영이 아니라 랩 환경이라면 크게 신경쓰실 필요는 없겠습니다만..

IPA1000 2020-09

지금은 랩단계고 서비스를 준비하고있긴하지만 당연히 상용은 아니고 취미로 운영하게 될 것 같네요. FTT=1과 R5를위해 생활비를 쥐어짜내며 3번째 호스트를 준비중입니다....