박문형 2023-06

10G 네크워크를 테스트 할 때 10G 대역푹을 다 받쳐 줄려면 최소 SATA SSD 정도는 설치하고 그 위에서 성능 테스트를 합니다..

역으로 생각하면 SATA SSD를 어느 정도 풀로 돌아가게 하려면 최소 10G 이상의 네트워크가 필요하다는 것이죠..

1G 네트워크로 셋팅해서 실제 쓸만한지 아닌지 확인해보는 것이 재일 확실하지만 1G네트워크로는 무리라고 생각됩니다..

Fentanest 2023-06

역시 그렇겠죠..?
셋팅을 하구 쓸만한지 확인해보는 것이 제일 좋은 방법이지만, 추가지출이 크게 예상되는지라 먼저 의견을 듣고 싶었습니다.

감사합니다.

손님 2023-06

넵

dateno1 2023-06

게스트 2~3개만 돌려도 느리다고 느낄지도 모릅니다

네트워크라 응답이 살짝 느리긴한데, 이건 참을만합니다

하지만 최대 속도가 하드 수준으로 깍이는건 꽤 커요

그렇게 10개 넘게 돌리면 10기가가 최저라 생각해주세요

OS용이 아니라 데이터 디스크를 올려놓을꺼라도 2.5기가 (270~280메가쯤 뜹니다)정도가 최저입니다

1기가면 대충 110~120메가 뜨는데 이걸 VM개수로 나누면 뭐가 문제인지 감이 오실껍니다

Fentanest 2023-06

체감이 확 됐습니다. 감사합니다 ㅋㅋㅋ

dateno1 2023-06

저 개수로 나누는 순간 싸구려 USB수준의 최대 속도가 되버리니 답이 없어요

물른 상시 모든 게스트가 디스크 부하 발생시키는건 아니지만, 프로그램 설치라던가 최대 속도 관련되는 작업을 하면 눈에 띄게 느립니다 (1/2.5/5/10기가정돈 실험해봄)

Fentanest 2023-06

최에에에에에소 10기가 정돈 필요하겠네요..

dateno1 2023-06

저 결과 간단하게 적으면
1 : 답 없음 (장식)
2.5 : HDD 대신 쓸 수준 (부트용 디스크 따로 필요하고, 데이터용으로는 괜찮음)/2~3개쯤 돌리는정도라면 부트용이라도 됨
5 : 그나마 좀 봐줄만함 (부트용으로 쓴다면 여전히 5개정도?가 최적)
10 : 부트용으로 써도 만족스럽긴 했지만, 여전히 내장에 비하면 느림 (부트용이라면 10개정도 힘들어보임)

결국 부트 디스크를 올릴꺼라면 그닥 추천하고 싶진 않습니다 (그나마 10기가쯤 되면 SATA SSD보단 나았지만, 결국 NVMe같은 PCIe에 비하면 느림)

10기가쯤 되면 디스크 부하 적은 애들 돌리는데는 될껍니다 (잉텔 구형은 발열 심하니 비추하고, 브로드컴같은곳에서 나온걸 추천합니다)

https://pve.proxmox.com/wiki/Cluster_Manager
그런데 Proxmox면 Storage 따로 두는것말고 자체 클러스터 구성하는 기능도 있습니다 (대부분의 하이퍼바이저가 제공함)

일단 2대로 된다고 나오네요

Fentanest 2023-06

클러스터 자체는 구성되어 있는데 둘 간의 스토리지 공유가 안됩니다 ㅋㅋ
A의 a스토리지를 B도 쓸 수 있게 설정하는 메뉴는 있는데 B에서 a스토리지를 접근하려고 하면 마운트 경로를 찾을 수 없다고 나옵니다..
검색해보니 공유스토리지 용도라고 하던데..
어려운 서버의 세계..ㅠㅠ

dateno1 2023-06

그건 공유 안 되나보네요

사실 호스트 죽을꺼 대비하면 따로 있는게 맞긴해요 (거기다 가상화 서버랑 대용량 저장 매체를 통합할려면 서버 덩치가 커지거나, 효율이 나빠짐)

제경우 OS디스크는 무조건 작은 용량 잡아서 내장으로 떄우고, 데이터 디스크는 네트워크로 빼거나 하고 있습니다 (속도 민감한건 내장)

곰삼촌 2023-06

2대로 클러스터링을 하시면, 한대만 죽어도 다른쪽도 서비스 불능상태가 되는경우가 종종 있습니다.(특히 패키지 업데이트 하고 리부팅하거나 할때)
해당 PVE 서버를 못쓰는건 그래도 다른거 하나마저 그러면 좀 짜증이 나더군요. 클러스터 설정에서 Vote값을 조정해서 메인과 서브로 나누시고 메인에 2, 서브에 1을 할당하시면 서브가 다운된 상태라도 메인에서 돌리는 LXC나 VM은 문제없이 돌아갑니다.

https://youtu.be/sjS9oDEw9EQ

위 유튜브 영상 참고하시면 도움이 되실 것 같습니다.

그리고 공유 스토리지는 별거 없습니다. 마운팅 포인트만 같이 맞춰주면됩니다. Directory방식의 스토리지만 양쪽의 마운팅 이름(/mnt/pve/(스토리지 이름))을 같이 하시면 마이그레이션을 하거나 할때 양쪽 서버에 모두 동일한 스토리지 있는것으로 인식합니다. 그렇다고 실제 VM관련된 디스크 이미지등은 마이그레이션을 하면 네트워크를 통해 복제과정을 거쳐서 지연이 발생하는것은 같습니다. 다만 같은 스토리지 이름으로 쓸수있다는게 장점이죠.

곰삼촌 2023-06

제가 3대의 Proxmox VE 서버(베어메탈)을 클러스터로 묶은다음 외부 저장장치를 TrueNAS Scale + SAS 12Gb/s(8TB SAS 7.2K HDD 8개, RAID-Z2 + Hot Spare 1개)로 구성해서 돌리고 있습니다. Read/Write Throughput을 올려보겠다고, L2ARC Cache(256GB NVMe SSD), vLog Cache(16GB 옵테인 메모리)해서 쓰고 있는데 실질 대역폭은 읽기 780~800MB/s, 쓰기 250~275MB/s입니다.

스토리지 용량이 33TB대이므로 나쁘지 않고, 어차피 10GbE가 최대 대역폭이니까 쓸만하긴 합니다. 하지만 반응성이라고 해야하나... 그게 그렇게 빠릿하진 않습니다.
iSCSI로 적용해서 VM 1대를 쓰고있는데 아주 만족스럽지는 않아요. 위에서 다른 회원들이 언급하신대로, SSD 기반의 스토리지를 꾸미셔야 풀 10GbE 기반의 1GB/s 대역폭의 스토리지 확보하시는데 도움이 될 거라고 생각합니다.

퍼포먼스에 민감한 VM은 그냥 서버에 있는 스토리지를 쓰시는게 답이라고 생각합니다. Migration할때 조금 불편하지만요.

dateno1 2023-06

올 플레쉬 가봐도 (심지어는 광으로 연결) 내장 디스크에 비하면 느려진거 티 나요

체감 성능이 꽤 차이 납니다 (뭔가 한박자 늦은 느낌이 안 없어짐)

결국 OS 디스크는 포기했습니다

곰삼촌 2023-06

방법이 없는거였군요. 저도 OS 디스크는 마이그레이션이 자유롭게 필요한것만 제외하곤 다 내장 디스크로 가야겠네요. 좋은 경험 나누어주셔서 감사합니다.

dateno1 2023-06

별수 가 없는게 특히 이더넷 쓰면 iSCSI같은거 응답 속도가 0.3~1.5ms정도 나와버리는데, 내장 디스크랑 비교하면 0개수가 다를정도의 느린 속도입니다 (광 써봤자 정도의 차이밖에 없음)

배선의 길이, 다중 변환, 소프트적 처리 지연등 응답 속도란 측면에서 불리해질 요소는 산더미처럼 있습니다

전송속도자첸 고속 인터페이스로 물리면 어떻게든 되는데, 이 부분은 별 수 가 없다보니 써보면 뭔가 미묘하게 느린게 느껴집니다 (SSD 쓰다가 SSD로 서버 돌리는 노하드로 부트시켰을떄 느껴지는 그 느낌이라 생각하시면 됩니다)

물른 외부에 저장해두면 마이그레이션이라던가 HA관련된거라던가 유리한건 많습니다만 저런 성능 패널티는 감수를 하셔야합니다

참고로 10기가쯤 되면 속도란 측면에서는 크게 문제되진 않았습니다 (하지만 수시로 0.몇초만 멈칫거리는 느낌을 못 참다보니 포기함)

DB같이 응답 속도 민감한 서버를 제외한 서버는 딱히 문제가 없을껀데, VDI용 윈도같은거 쓰실껀데 저처럼 저런거 못 참는다면 곤란하실꺼에요

송주환 2023-06

그럼 DB는 죄다 로컬 디스크를 쓰나요, VDI도 로컬 디스크를 쓰구요?
말씀하시는 것만 들어보면 Pure Storage는 조만간 파산하겠네요. 적당히 하세요.
직접 써보지도 않고 이럴겁니다~ 저럴겁니다~ 제 경험상~
커뮤니티에 다는 댓글에 책임감까지 바라지는 않아도, 최소한 교차검증은 해봐야 하는 게 아닌가? 싶네요.

dateno1 2023-06

네트워크에 따른 성능 패널티를 감수 할 수 있는 수단이 있거나, 응답 속도가 빠른 인터페이스를 쓴다면 모르겠습니다

대규모 DB는 미시험이지만, VDI는 시험해본 상태입니다 (DB 벤치만 돌려보는건 가능하지만, 실재로 운영시 어떤지 시험해볼만큼 대규모 서비스를 돌리고 있는게 없네요)

10기가로 게스트 6개도 만족하지 못했니다 (AIC/PCIe x8, SATA SSD*6@RAID5 2가지 타입 디스크 준비하고, 좀 구형이지만 흔히 쓰이는 인텔 10기가로 연결한 상태에서 시험되었습니다)

Storage는 CPU Lane인 x16을 x8/x8로 해서 10기가랑 SSD 장착, 온보드 6개에 SSD 채운후 소프트 레이드 구성하고, 우분투 부트 디스크는 USB에 연결해서 따로 준비된 상태였습니다

Storage-(10G)-SW-(10G)-Host1/2
Host1/2-(1G)-SW-(1G)-Client
이런 딱히 특별한것 없는 네트워크 구조로 구성된 상태입니다

각각의 게스트는 10 64비트 설치후 적당한 부하를 발생시키기 위해 브라우져로 텝 2~30개쯤 열어둔 상태에서 케쉬 없음 맞추고 메크로로 몇초에 한번 새로고침 (웹서핑하면서 새로운 페이지 여는걸 재현), 포샵의 자동화로 이미지 변환 작업, 4k 영상 재생같이 흔하게 생길 수 있는 타입 부하를 걸어주고, 마지막 게스트를 직접 수동으로 조작(RDP 접속)했습니다

시퓨같은 다른 자원을 많이 먹어서 느려질까봐 겨우 저정도 개수를 호스트 2대로 나누어서 3개씩 돌렸습니다 (각 게스트에 램 16기가씩 할당하였고, 호스트는 대당 128기가씩 달린넘 썻으니 이쪽도 남아돕니다)

저정도 부하 발생시켜봤자 네트워크 모니터링 해보면 3~4기가정도밖에 트래핑 안 생기는데도 미묘하게 느려지는걸 느껴지더군요

물른 너무 민감하게 체크한거라고 하면 할말은 없습니다 (못 써서 컴 바꾸고플정도로 느린건 아니었으니까요)

하지만 꼴랑 저 규모 돌리는데 NVMe -> SATA SSD로 넘어간거같은 역체감을 느끼는건 무조건 괜찮다고 할 수 도 없다고 봅니다 (당연한 애기지만 각 호스트의 내장 디스크(인텔 구형 AIC/3.0 x4)에서 3개씩 복사후 돌린후 시험도 해봤지만 아무 문제 없었습니다)

어느정도를 허용선으로 잡을지 (SSD정도 성능 나오니 괜찮다고 볼지, PCIe타입 내장 디스크에 비해 느리니 안 된다고 볼지)에 달린 문제지만, 제가 원하는 수준은 아니었습니다




저걸로 괜찮으면 게스트 개수 5+5로 늘려보고, 최종적으로 윈 + 리눅 혼용으로 10+10으로 해볼 작정이었는데, 3+3에서 미묘해서 그만둔겁니다

결과에 만족했으면 호스트에 부트 디스크만 달고 10기가 iSCSI 물려서 다 떄우고 각 호스트에 VM 저장용 디스크 아에 장착 안 하고 디스크 올인원시킬려고 시험 시작한겁니다 (10기가면 2~3대의 소규모 호스트만 돌리고, 남은 용량으로 NAS처럼 쓰거나해도 괜찮을꺼같아서 시작한겁니다)