안녕하세요. 최근에 개인적으로 전 가상화 서버를 구성하기 위해 이리저리 머리를 쥐어짜는 중이라, 선생님들께 조언을 구하고자 이렇게 찾아오게 되었습니다(꾸벅)
보신 분들도 여럿 계시겠지만, 최근 pfSense+용 장비 질문글, SuperMicro H11DSi질문글 모두, 이를 위해 자료수집을 해왔습니다.
이전에 소규모로 서버를 구성하여 운영을 해본적이 있습니다. 그 때는 인텔 제온에 호환성표에 큰 문제없는 중고 서버를 직접 구매하여 운영을 했었는데요, 이번에는 상황이 조금 다릅니다.
먼저 상황을 설명드리기에 앞서, 구성하고자 하는 서버 스펙은 아래와 같습니다.
CPU : AMD Epyc 7742(64C, 128T) x2 (총 128C, 256T)
M/B: 2슬롯을 지원하는 보드라면 무엇이든지.
Storage: 주로 워크로드용 서버로 사용될 예정이라 데이터 IS 아카이브의 경우를 제외하고는 SSD로 구성할 것 같습니다.(용량은 결정된것이 없습니다.)
System Memory: 최소 1TB ~ 최대 2TB (해당 구성은 차후 확장을 위해 비싸더라도 1 Slot ECC/REG 3200Mhz 64GB메모리로 구매 하려 합니다.)
NIC: 10Gbps 2슬롯(최소) 차후 40Gbps확장도 계획중에 있습니다.
GPU: Tesla T4 (이건 선택지라,, 나중에 작업하다가 AI연산이 많이 필요하다 싶으면 구매해 확장할 생각입니다. Nvidia 라이센스 비용도 꽤 비싸서...)
OS: ESXi 8(8버전을 고집하려 하는데, 이유는 라이센스 구매(7버전 구매가 개인에게는 판매가 안된다는 이야기가 있더라구요) & GPU Passthrough & 신버전 써보고싶음(ㅎㅎ!)에 있습니다.)
지인들과 이야기 했을때는 개인이 사용하려 하는데 이런 고사양이 왜 필요하냐는 질문을 가장 많이 받았습니다. 이 질문이 여러분들도 궁금하실꺼라 생각하여 짧게 설명드리자면, 제 직업이 백엔드 개발자이다 보니 인프라, 아키텍처 설계를 조금 크게 잡아서 운용해보고싶은 욕심이 있습니다(욕심치고는 크긴 큽니다. 이번에 큰 투자 해놓고 오래 쓰려 합니다.). 물론 이 뿐만 아니라 여러 용도로 서버를 나누어 돌려둘까 하는 계획도 있습니다.
다만, 이렇게 계획은 크게 잡아둬도 막상 중고로 품목들을 이것저것 구해보려 하니 여러 난관을 만나 고생하고 있습니다.
1. 7002 SP3소켓에 ESXi 8을 지원하는 보드중, 중고로 구매가 가능한 보드가 없는 것 같습니다.
이 부분이 좀 마음에 가장 걸리는 부분인데, 공식 Community Guide에서는 7.0U3를 Full Support하는 보드중 대다수는 8버전을 지원한다는 글을 보기는 했으나.. 실제로 적용한 국내 사례를 찾을 수 없어서 가장 걱정되는 부분입니다.
게다가, vSphere라이센스 구매에 제약이 꽤 있는 편이라, 맘편하게 8버전으로 선택하고 싶습니다.
혹시 정말로 큰 문제가 없다면 7버전 지원보드를 구매해도 괜찮을까요? RAID카드나 NIC카드쪽 지원 문제라면, 지원하는 부품으로 구매해 장착하는 방식으로 해결할 생각 얼마든지 있습니다. 조언 부탁드립니다.
2. 인프라 관련되어서는 학생 때 따둔 자격증으로 얼핏 알고 있는 터라.. RAID의 문제점이 걱정입니다.
사실 이 부분은 구글링으로 하다가 잘 안될경우 자주 이곳에 들러 선생님들께 조언을 구하려 했습니다. 항상 소프트웨어 RAID로만 구성해봤던 사람이 하드웨어 RAID카드로 구성을 잘 할 수 있을지는 좀 고민이 되긴 합니다만, 이 부분은 머리 박치기 해서 배워보려 합니다.
3. 샤시 구매를 어디서 해야할지 감이 잘 잡히지 않습니다..
2U정도로 생각하고 있습니다. 좋은 제품 있다면 추천 부탁 드리겠습니다.(당장은 GPU계획 없음. CPU쿨러와 메모리, NIC, RAID카드정도만 고려하려 합니다.)
k8s(Kubernetes)를 활용해서 아주 큰 규모로 설계를 해보려 하는데, 이 때 언어나 프레임워크를 한 두어가지만 쓰는게 아닌 꽤 많은 종류의 언어와(프레임워크 없이) 프레임워크를 활용해서 아키텍처를 구성해보고 연구하고 싶은 욕구가 넘칩니다. 자기개발을 좋아하는 사람이라.. 투자를 마음먹고 하기로 결정했습니다. 응원 부탁드립니다.(지인들에게도 서버를 소분해서 대여해주는것도 생각 해보고 있습니다)
사실상 가장 큰건 보드쪽 문제가 가장 크겠네요... 이 질문을 하려다가 전체적으로 적어두면 더 좋은 의견이 나올까 하여 장문 줄줄 적어봅니다..!
혹은, ESXi보다 할만한 Hypervisor가 있을까요? 조금 편리한 관리를 원합니다.(Criteria Xen은 관리가 어렵다..고 들었습니다.) 사실, 제가 써본 하이퍼바이저가 ESXi뿐이여서 안전하게 ESXi 가고싶기는 하네요...
DELL 이나 HP 중에서 해당 ESXi 8을 공식적으로 지원하는 시스템을 찾아보시기 바랍니다..
인텔 스케일러블 1세대 부터 많은 부품들이 CPU에 전용화가 되어가다 보니 국내에서는 쿨러도 재대로 된 것 구하기 힘듭니다..
베어본이나 벤더사 시스템으로 한번에 턴키 구매 하는 것외 현재 방법이 없습니다..
그리고 코로나 문제 /반도체 대란 / 제조사 상황 악화 /환율문제 등으로 국내에 재고가 잘 없는 경우가 부지기수이며 보통 견적 받으면 몇개월 뒤에 수급 가능
정도인 경우가 많습니다.. 그리고 물건 인수 받을때 갑자기 가격이 올라서 돈을 더줘야 할 수도 있습니다.. 생산이 안되서 딜리버리 타임이 더 길어지는 경우도 많고요..
AMD EPYC 서버는 3세대나 흘러왔지만 아직 조립 서버가 없다라고 볼 수 있습니다..
전세계적으로 보면 AMD EPYC 이 3세대 부터 많이 팔린 듯한데 우리나라는 인텔만 최고라는 고집이 많이 강해서 실제 AMD EPYC 서버 사용하는 곳은 적다고
밖에 볼수 없으며 중고는 더 보기 힘듭니다..
AMD EPYC 서버 생각하시면 3세대 이후 버젼을 구하시기 바랍니다.. 그래야 성능이 대략 동시대 인켈 스케일러블과 맞붙을수 있습니다..
고생을 할 각오로 이번 서버를 준비하고 있습니다.
중고품목은 Ebay에서 구매하려 합니다.(적어둔 품목들은 전부 재고가 많은 품목들입니다.)
SP3의 경우, 쿨러가 꽤 많이 나와있어서 고민해본적 없었습니다. 제가 잘못 찾아본 것인지 확인 해봐야겠네요.
국내 재고는 고려사항에 없었는데, 국내에서도 구할 수 있는 다른 방법이 있었군요!
수정답변 감사합니다.
고장나면 AS보내야 하는데 그것도 운송비니 모니 만만치 않습니다.. 재대로 고쳐진다는 보장도 없고요..
CPU는 여기 장터의 풀로드님의 게시물을 찾아서 비교해보시기 바랍니다..
다만 이센셜 이나 파운데이션 라이선스는 모르겠네요.
이센셜 라이센스 구매하려 했는데, 이 부분 추가 조사 해보도록 하겠습니다. 감사합니다.
보드는 조심해야 하는게 보드 리비젼에 따라서 3세대 EPYC 지원이 되고 안되고 합니다..
바이오스는 보통 업데이트 하면 대략 다 먹히지만 TDP 크기가 3세대 와서 많이 바뀌어서 3세대를 재대로 지원하는 보드는 보통 CPU 전원부가 다릅니다..
국내 수요가 적어서 많이 팔리지 않기에 구입했는데도 1/2세대만 지원하는 보드를 구하는 경우도 있으니 제조사 홈페이지에서 잘 확인하시고 구입하시기 바랍니다..
너무 무리 하지 마세요..
---------------------------------------------
제 직업이 백엔드 개발자이다 보니 인프라, 아키텍처 설계를 조금 크게 잡아서 운용해보고싶은 욕심이 있습니다(욕심치고는 크긴 큽니다. 이번에 큰 투자 해놓고 오래 쓰려 합니다.
-----------------------------------------------
HP DL380p G8 - 3 대 정도 사서 연습 하세요.
중요한 프로젝트
중요한 서버 군단
중요한 서비스 군단.
거의다....다 DL380 G10 아니면 Dell R740, R750 이어요
AMD Epyc 않써요..
현실을 직시 하세요. !!
그리고,, ...지금 사시려는 서버 조립(슈마) 아닌 이상 델로치면, ..최소 견적만 2~4천 이상일거같은데 ....예상하고계신지 ..
견적 자체는 인지하고 있습니다
OS부분에서 커스텀 OS로 하드웨어 지원도 어느정도 되니까요
그리고 Tesla T4는 이제 단종이라 구하기 어렵지않을까요…
처리율도 요즘 카드에 비하면 떨어지는지 고객사에서 T4 2개에서 A4000 1개로 바꾸더군요.
좋은 정보 감사합니다. 고려 해보겠습니다.