안녕하세요. 즐거운 추석 보내셨나요.
2cpu 에 첫 글을 남기게 됐네요. 보스가 클러스터를 사라고 했는데 구체적으로 어떤 것을 사야 할지 고민입니다.
서버 둘 공간은 비좁습니다. 기존에 있는 서버실에 36U cabinet 하나정도 쓸 수 있어요.
작업은 그냥 코어/램만 많으면 됩니다. (바이오인포 랩/학교)
스토리지는 데이터 보관용으로 500 TB 정도, 작업공간용으로 300 TB, 그리고 스크래치 공간이 필요합니다.
예산을 물었더니, 그냥 사 그러고 마네요.
공간 때문에 Dell PowerEdge R7415 dual Epyc 7115 로 해서 총 5대(64*5)를 생각하고 있습니다. 그중 1대는 가상화서버로 쓸 것 같구요. 로긴/헤드 노드로 적당히 싼 것 구매하려고 합니다.
스토리지는 그냥 기존에 데이터 저장용으로 500 TB 정도 생각하고 있습니다. 엄청나게 큰 인클로저 하나 사서 Seagate Exos 12TB 를 한 60~90개 정도 넣고 RAID (6?) 구성을 하려고 합니다.
그리고 작업용 스토리지는 (I/O intensive) 200~300 TB SAS 하드로 찾아보고 있습니다. 스크래치 공간도 필요하구요. 이건 10TB SSD?
백업도 생각해야 하구요. 구글클라우드에 어느 정도는 올려놨는데 앞으로 계속 그게 가능할지는 모르겠습니다.
생각은 데이터 저장용 500 TB 는 그냥 서버에 직접 연결하고, 작업용/스크래치 공간은 SAN 으로 구성하려고 하는데 EMC 금액이 어마어마 하네요.
실제 사용하는 사람은 3~5명일 것 같습니다.
글에서 보셨겠지만 주구장창 클러스터 이용만 했지 구매 혹은 관리 쪽은 아는게 없습니다. 며칠째 공부중이지만 확실히 더디네요. 어떤 조언도 감사히 받겠습니다. 그리고 아예 내가 클러스터 하나 만든다 생각하시고 추천해주시면 그것도 큰 도움이 될 것 같습니다. 돈은 저희 보스가 내니까요.
참고로 해외에 있어서 업체의 도움을 받기는 힘들 것 같습니다.
델의 스토리지는 EMC만 있는게 아닙니다..
EqualLogic 제품군도 상당히 괜찮습니다..
그 외에 네트워크는 가능하다면 100G 인피니벤드를 사용하는게 좋겠죠??
그럼 비슷한 계열에서 사용하는 하드웨어를 참고해 보시는 것도 좋습니다
지금 사용하시는 클러스터 사양은 어떤가요
NIH인가요?
계산 속도면에서 코어, ram이 많은 시스템을 생각하실 수도 있지만 안정성도 문제가 됩니다
어차피 한번 구축하면 5년이상 혹은 10년이상까지도 사용하실 생각아니신가요
ryzen이 그 정도 안정성을 견뎌줄지 알 수 없습니다
검증된 시스템으로 가는 것이 나중에 혹시 생길 책임도 어느정도 커버되지 않을까 생각합니다
관리를 본인이 하신다고 했는데 복잡한 일이 많이 생길 수 있습니다
서버 관리하는 일이 간단할 수도 있지만 의외로 복잡한 일이 많습니다
혹시 서버 관리 경험이 있으신지 궁금하구요
서버 관리 경험이 없으시면 클러스터 관리가 가능한지는 부정적입니다
예전 opteron 같은 경우는 많이 사용들 했었죠
현재 ryzen도 비슷한 수준이라면 문제가 없지만 그렇지 못한거 같아서요
어디에서나 그곳에 많이 사용하는 시스템을 사용하는 것이 문제 해결도 편하고 해서요
예전에 KIAS/POSTECH등에 AMD 광팬들이 많이 있었습니다.
Scratch DISK는 일반적으로 개별 서버에 Local DISK를 많이 사용합니다. 어차피 공유하지 않는 데이터기 때문이죠.
Work Storage는 어떻게 해도 느립니다.
LUSTRE 추천하는데 관리 자신 없으시면 절대 사용하시면 않됩니다.
그냥 HEAD 노드에 MD-3000 (요즘 모델번호는 모르겠고요) JBOD 시리즈 줄창 달아서 NFS로 사용하시는것 추천합니다.
어차피 HEAD 노드나 NFS 서버나 하는일 거의 없기때문에 이방법 나쁘지 않습니다.
어차피 Bio쪽은 데이터 교환이 많은 MPI등을 사용하지 않기 때문에 IB등을 사용하진 않을것으로 보이구요
어차피 10G 저렴하니까 10G에 S4048 급의 스위치사용 추천합니다.
네 mpi 쓸 일은 여태까지 없었던가 같아요. Lustre 생각하고 있습니다. 서버 관리는 사람 고용할 수도 있을 것 같아요. 그 돈 나주면 열심히 할텐데 말이에요.
전에 근무하던 곳 관리자가 아리스타 스위치 쓴다고 추천해줬는데 검색해보니 가격에서 입이 딱 벌어지더라구요.
데이터 안정성 측면에서는 어떤 방법이 가격 대비 효율적일까요? 3-2-1 원칙을 게시판 어딘가에서 보긴 했습니다만 효율도 생각을 해야 하는 것 같아서요.
답변 검사드립니다.
관리할 사람을 먼저 만나서 시스템을 의논하는 것도 방법입니다
그러니까 시스템을 먼저 준비하는 것보다 사람을 먼저 찾는 것이지요
나머지 모든 관리는 그 사람에게 맡기고 버팔로윙님을 하시던 대로 사용만 하시면 되는 것입니다
물론 문제 생기면 관리자에게 물으면 되구요
시스템 상세 사항도 관리자에게 견적해서 올려 보라고 해서 맘에 드시는 것으로 하시면 되구요
모르는 분야는 아는 사람에게 맡기는 것이 지혜라고 2cpu에서 배웠습니다
그냥 인터넷 작당히 뒤져서 설치하고 튀닝해서 사용할 수 있는 시스템이 아납니다.
몇가지 테스트 해보셨으면 정말로 상용하고싶어지는 시스템입니다. 꼭 사용하시고 싶으시면 상용서비스 받을 수 있는곳 몇곳 있습니다. 꼭 상용서비스 받으세요.
Scratch나 work 공간으로는 가능할 수도 있겠네요.
10G Switch 가격은 벤더마다 거기가 거기입니다. 아리스타/HP/DELL 다 비슷비슷합니다. 어디서 어떻게 지원을 받느냐가 최종 가격을 결정합니다.
어차피 L2로 사용할꺼면 뭘 사도 차이가 없습니다.