현재 NAS 218+ 로 도커 및 파일서버 운영중에 있습니다.
나스 도커 요놈만으로는 너무 벅벅여서 못쓸거같아 새로 가상화를 해보려고 해요 용도는 개발서버 및 시스템 운영입니다.
일단 가상화에 넣을건 nas, jenkins, git, web 2ea, db 2ea 구성으로 생각하고있습니다. (총 7개 + @)
깃과 젠킨스는 원격지 용도로 세팅하고 싶어 분리하려고해요
금액은 200 내외로 생각중에 있습니다. 견적을 어떻게 해야할지 감이 안와서 조언좀 얻고 싶어요
cpu도 적당하다고 생각되는데 과한건가 싶기도 하고요
jonsbo n1에다가 짭제온 넣고 운영하려다가 구매처가 애매해서 포기한상태기도 합니다.
현재 스토리지 구성은 nvme 1tb 2ea에 hdd 4tb x 2 생각중에 있습니다.
질문 요점은 아래정도 될듯하네요
1. 적정선의 견적 도움 받고 싶어요
2. 각각의 가상화에 nvme 로 시스템돌리고 저장소는 하드로 나누어 사용할수 있는걸까요?
3. 나스는 필수상태라고 생각중입니다. 헤놀로지로 하려는데 기존 시놀로지에서 사용하던 앱같은거나 제약받는 사항이 있을가요?
???
VMWARE는 WMVARE 호환되는 제품이 따로 존재합니다..
버젼에 따라 틀립니다..
어떤 ESXi 버젼을 돌릴 예정이신가요??
- LAN카드 인텔 LAN이긴 한데 정확칩으로 VMware Compatibility Guide 사이트에서 확인해 보세요. 호환되는 LAN 칩이야 깔릴수 있습니다.
호환이 안 되면 별도에 LAN카드를 장착하세요
- 메모리가 너무 적네요 물론 라이트하게 LINUX 깔면 겨우 돌라 갈듯한데요.
- 보드가 오버 스펙입니다. B550보드선에서...호환되는 LAN카드는 장터에서 2만원 내외로 가능할듯요
- 그래픽카드는 G710정도로 싸게 하는게 좋을듯합니다
2. 저장소는 당연히 나눠서 설치 가능합니다
저 사이트가 보는방법을 아직 이해 못해서 좀더 봐야겠어요
10코어짜리 CPU를 찾이면 인텔 10세대에 LAN카드만 따로 호환되는거 사서 해도 100%는 아니지만 된다고 보셔도 됩니다
랜카드만 달면 대부분의 보드가 호환됩니다 (벤더제처럼 BIOS 옵션이 없는게 아닌 이상 잘 타협하면 돌아갑니다)
P+E의 하이브리드도 부트 파라메터 1개만 주면 정상적으로 잘 돌아갑니다
https://www.vmware.com/resources/compatibility/search.php?deviceCategory=cpu&details=1&cpu_series=158&page=1&display_interval=10&sortColumn=Partner&sortOrder=Asc
CPU 항목 선택하고 그중에 EPYC 7001 씨리즈와 9004 씨리즈 선택해서 업데이트 뷰란으로 업데이트 된 상태를 확인하면 위의 링크와 같이 나옵니다..
VMWARE에 호환되는 하드웨어는 거의 대부분 서버 계열의 하드웨어 입니다..
손 될 수 도 없는 NIC/NVMe같은 PCIe쪽이 가장 큰 장애물이고, 이후는 보드입니다
케케묵은 센디를 쓰던 신형 13세대를 쓰던, 모바일 라이젠을 쓰던, 스레빠나 에픽을 쓰던 잘 돌아갑니다
32기가론 몇개나 돌리기엔 너무 적습니다 (7개면 128기가 채워도 모잘랄지도 모릅니다)
AMD라고 딱히 안 되는건 아니고, 라이젠 시리즈 흔하게 홈랩에서 쓰이는거니 문젠 안 됩니다
다만 위에도 적혀있듯이 온보드 칩셋 호환 안 될 가능성도 있으니 일단 예비로 1개 구매는 해주세요 (특히 신형 리비전경우 같은 칩셋이라도 호환 안 되는 경우 있습니다 (단 7.0 U3이상 사용시 Community Driver 병합되어서 거의 없어짐) )
NVMe같이 PCIe에 물리는 장치는 반드시 호환성 문제를 확인하셔야 합니다 (자체 컨트롤러 쓰는 회사제는 추천 안 합니다 (WD/Sandisk 제외) )
5950으로도 문제 없다는거네요 다시 알리서 제온쪽도 같이 보고있습니다.
기준을 낮춰서 현재는 i9-10900쪽도 같이 보고있어요
보드는 인텔랜꺼 사용하면 될거같아서 이쪽으로 보고있습니다.
온보드경우 미묘한 리비전이나 세대 차이만으로도 호환 안 되는 경우 흔합니다
다음에 어딘가 쓴다고 치고 무조건 랜 하나 사고나서 시작하는게 맘 편합니다
거기다 어차피 제대로 할려면 최저가 2개의 NIC가 필요합니다 (관리 네트워크 분리용)
CPU/메모리/스토리지를 어느 정도 사양으로 정해야할지 결정(사이징)할 때 근거가 되는 것은 워크로드의 실사용량입니다.
일단 가상화에 넣을건 nas, jenkins, git, web 2ea, db 2ea 구성으로 생각하고있습니다. (총 7개 + @) <- 이런 식으로는 정확히 이루어질 수 없구요.
예를 들어 NAS가 CPU/Memory를 평균 또는 피크타임 기준으로 어느 정도 사용하는지를 봐야합니다.
그래야 그것들을 다 합쳐서 총 용량을 산정할 수 있습니다.
* 호환성 관련해서
VMware사는 VCG라는 자료를 통해서 솔루션별 호환제품들 정보를 제공하고 있습니다. 그런데 이건 흔히 엔터프라이즈(IT 예산 많은 기업)이라 보시면 될 것 같구요.
일부 호환성 문제를 각오하고 일반 데스크탑 사용하는거죠. 그것도 LAN 카드 문제만 제외하면 사실 심각한 문제도 별로 없습니다.
제가 보기에는 LAN, NVMe SSD만 선택시 좀 주의하시면 될 것 같습니다.
전에 프로젝트를 진행하면서 개발서버 구성할 때 R620(R610일지도? 기억이 가물하네요) 중고로 2대 구매해 64MB, 1TB SSD 2개를 각각 800GB씩만 파티셔닝해서 레이드1(오버프로비저닝 부하를 낮추기위해 200GB씩을 할당하지 않았습니다) ESXi 올려서 사용했었습니다. CPU는 8C16T 2개씩으로 구성해 16C32T로 구성했던 것으로 기억해요. 그 상태에서 각각의 서버들은 VM을 5~6개 정도씩 운영했었고 게스트 OS들은 대부분 CentOS였고 2개만 Ubuntu Server 였었습니다. 저는 SVN을 사용했는데 Git도 큰 차이는 없을 것 같은데 형상관리와 CI/CD는 하나로 통합해 운영했고(Nexus도 함께 구성) WEB/WAS/DB들을 분산된 각각 서버들에 나누어 3티어로 구성해서 Prod로 썼지만 실제로는 고객 대상 PT용이라 Stg 성격이었습니다. 2번째 서버에 개발자들 공용의 WEB/WAS/DB들이 통합된 Test가 있었고 제가 시험하던 동일한 구성의 Test가 하나더 있었지요. 각 서버의 NIC1은 외부망에 연결되어 있었고 NIC2는 내부망으로 연결되는 구성이었으며 Prod 서버들은 NIC1을 통해 외부 연결도 하고 NIIC2로 폐쇄망으로도 붙였으나 다른 서버들은 NIC2로 폐쇄망만으로 운영했습니다. 별도의 VLAN 구성이나 하드웨어/소프트웨어 L4/L7 등은 구성하지 않았고요. 업무용 NAS는 별도로 QNAP 2베이를 사용했었고 서버들은 CIFS는 보안상 운영하지 않았기 때문에 동기화 프로그램을 만들어 썼습니다.
애초 이렇게 구성했던 이유가 업무가 아닌 인프라에 시간을 쓸 여력이 없어 좌충우돌할 시간을 최소화했어야 했던데다 사무실에 상면 공간이 부족했기 때문입니다. 전에는 타워형 HP 서버와 조립 PC들을 서버로 운영했었는데 더 많은 공간을 차지하더군요.그래서 그냥 중고 랙하나 들여서 서버들, NAS, 라우터, 허브 등등 다 쓸어담아서 사무실 구석 창고에 밀어 넣어버렸었습니다. 여차파면 IDC에 넣어버리면 된다는 요량도 있었지요.
완본체는 개인운영하기에 너무 고가긴하네요 ㅎㅎ
35W intel T 시리즈 CPU 사용하시면 그래픽 카드 없어도 됩니다.
RAM은 64GB 넉넉히
핵심은 부팅용 nvme 256GB는 pci 컨버터로 부팅
NVME 2TB * 2개
HDD는 큰거로 1~2개 원하는 만큼 달아 주시면
전기세 평달 8천원 / 누진세 적용때는 1만 2천원 정도 나갑니다.
저는 4년째 15개vm 돌리고 있습니다. 8400T + 64GB + 512Gb NVME *2 + 256SSD + 8TB HDD
이렇게 돌리고 있습니다. 동접이 많지 않아서 충분히 잘 사용하고 있습니다.
db: postgresql, ms-sql, my-sql
web: nginx * 6개
mgmt: ubuntu 20.04 / win10
app: confluence * 2 / sea-file *1 / mattermost *1 / plex *1
으허허... 장터서 제온 보고 있었는데 한번더 턴해서 알아봐야겠어요
해당 부품들로 구성된 시스템에서 VMWARE 제품 구동중 문제가 발생했고, 그 문제가 하드웨어 폴트로 인한 것이 아니라면 VMWARE 측에서 트러블슈팅을 해주겠다 하는 부분입니다.
호환목록에 없어도 작동 자체는 대부분 잘 됩니다.
CPU는 i9이나 ThreadRipper 같은 소비자 웍스테이션 제품을 피하면 됩니다. 그리고 논리 코어 수가 많은 제품을 사세요.
AMD는 X붙은 CPU는 전력 소모도 크고, 개인 홈서버 운영이면 CPU 100% 할 일이 없을 거 같습니다.
저는 그래픽 카드는 PCIex1으로 권합니다. NIC 설치 등에 PCIe 포트가 모자랄 수 있습니다.
ESXi 호환 NIC 하나 구매하셔야 합니다.
보드에 달린 M.2 두 포트가 있다면 한 포트는 NVMe 쓰고 하나는 저속으로 쓰는데 이 저속을 OS 부트로 쓰기를 권합니다. 일반 S-ATA 포트 디스크 여러개 붙혀서 쓰고요. 이러면 나중에 고속 M.2 NVMe를 캐시로 써서 여러대 묶는데 용이합니다. 요새는 두 포트 모두 NVMe 되나봐요? 그렇다면 다른 분 말씀처럼 PCIeㅀ 저용량 얹혀서 OS 쓰는게 좋겠지 싶네요.
M.2 NVMe 벤더는 산업용 하드웨어와 소비용 하드웨어 동신 생산하는 업체가 유리합니다. 요즘은 컨슈머 NVMe도 Flings 드라이버 설치하면됩니다. 삼성 소비자 제품은 안되고, 산업용으로 팔리는 제품은 보통 됩니다.
제 블로그 참조하셔요.
https://wp.netspheres.org/fow/archives/801
https://wp.netspheres.org/fow/archives/806
https://wp.netspheres.org/fow/archives/820
https://wp.netspheres.org/fow/archives/914
말씀하신부분들에 대해서도 새겨보고 블로그 잘보고갑니다