안녕하세요. 2cpu는 가끔 필요한 내용을 검색하다 보면 좋은 답이 나와서 기억하고 있던 사이트인데
의견을 구하고 싶은 일이 생겨 가입까지 하게 되었습니다.
30명이 채 되지 않는 기술 중소기업 에 다니고 있고, 제 업무는 소프트웨어 연구개발입니다만,
서버 관리나 클라우드 기반 시스템 운영/개발 경험이 있어서 사내 서버/네트워크/인프라에 대한 일도 조금은 하고 있습니다.
현재 저희 회사에 서버라고 해야 딥러닝 학습을 위해 마련한 gpu 워크스테이션 2대와 시놀로지 NAS 정도인데요,
설계/시뮬레이션 같은 용도를 위해 신규로 서버 8대를 도입하기로 했습니다. 모두 AMD Epyc 7000 (?) 이 장착된 2U 서버입니다.
서버나 네트워크 관리를 전담할 인력이 없다 보니, 아마도 서버/네트워크 관련 문제가 생기면 저나 제 부사수에게 일이 떨어질 것 같아 부담스럽습니다.
게다가 현실적으로 서버실을 만들어 관리하는 것도 쉽지 않은 일일 것 같아
클라우드를 쓰거나 코로케이션을 하자고 의견을 드렸는데,
대표님은 이번에 새로운 사무실로 이전하면서 공간이 있으니, 서버실을 만드는게 좋지 않겠냐고 하십니다.
다른 동종업계 분들도 다들 그렇게 한다고 하더라면서요. 이로 인해 잡무가 늘어나면 인력을 충원해 주겠다고 합니다.
작은 회사든 큰 회사든 서버실을 만들어 둔 것은 봤지만 새로 만드는 것은 경험이 없어서 이게 가능한 시나리오인지 모르겠습니다.
일단 가장 마음에 걸리는 것은, 새 사무실 임대인이 24시간 냉방이 돌아가는 서버실을 두는 것에 대해 부정적이라는 점입니다.
(임대료에 전기요금이 포함되어 있어, 서버실을 만들면 별도 계량기를 따서 요금을 저희가 부담하기로 합의는 된 상황입니다.)
일단 지금은 GPU 워크스테이션만 서버실에 넣기로 하고, 퇴근시 서버실 에어컨은 끄겠다고 얘기해서 승락을 받았습니다.
그리고 2U 서버 8개 (그리고 앞으로 파일서버 같은 것도 추가해야 할 것 같습니다) 를 올리려면 적어도 하프랙은 필요한 것 같고,
하중이 상당할 것 같은데, 별도 바닥 공사 없이 가능할까요? 이미 인테리어 공사는 진행중인 상황입니다.
코로케이션 비용을 살짝 찾아보니 https://www.kt-idc.com/guide/sub3_1_3.jsp
하프랙에 65만원/월이고 네트워크 요금에 따라 결정이 되는 것 같은데,
저희 규모에서 이 정도로 충분할까요?
전력을 추가하면 비용이 더 나온다고 하는데, 이런 쪽에 경험이 없다 보니
2U 8개 서버의 전력 요구사항이 어느 정도나 될 지 감이 안 옵니다.
견적을 받은 서버의 파워서플라이는 1300W 짜리입니다.
대부분 커맨드 라인으로 설계/시뮬레이션을 돌리는 것이라 네트워크 대역폭 요구사항은 크지 않을 것 같습니다.
대표님은 어디서 들었는지, 연간 5천만원이나 든다고 하면서, 그 정도면 사람을 뽑을 수 있지 않냐고 합니다.
두서없이 긴 글 읽어주셔서 감사합니다.
신규 서버를 도입하신다고 하시면 컴퓨팅 파워가 부족하다는 것인데 작업을 24시간 돌려야 할 수도 있지 않을까요
이런 상태에서 에어컨을 꺼야 한다면 문제죠
일단 대표가 서버실 구축을 원하신다면 책임 소재는 걱정할 필요는 없어 보이구요
이렇게 시스템을 구축해서 오래 운영한다면 서버실 운영하는 것도 나쁘지 않지만
오래 운영할지 말지 잘 모른다면 IDC가 훨씬 나을 것이구요
경험 없는 분이 새로운 일을 하시게 되면 당분간은 기존에 하시던 일은 거의 할 수 없을 것입니다
사고도 있을 수 있구요
서버실 구축하게 되면 구축 업무는 외주 주시구요 하드웨어 유지/보수 계약하시구요
전담 직원 당연히 뽑으셔야 하구요
제가 생각할 수 있는 사항들은 이정도네요
GPU서버들은 사실 워크스테이션 급이라 켜 두더라도 에어컨 까지는 필요없다고 업체에서 확인을 받았습니다. 서큘레이터를 뒤에서 불어주고는 있습니다.
다만 랙서버가 들어오면 반드시 냉방을 해야할거 같고 이 경우에도 분리계량이니 임대인이 알아채지 못할거 아니냐는... 대표님이 당황스러운 답을 해서...
어쨌든 "구축 업무는 외주 주시고요"라고 하신 걸 보면, 그냥 랙 사서 일반 사무실 바닥에 올려놓고 하는 건 안되고 전산실 구축 업체에 의뢰해야 한다는 말씀이시죠? 가벽 세우고 전원공사하고 에어컨 따로 놓는 것 까진 생각한 것 같은데 액세스 플로어 같은 건 고려를 안 한 것 같습니다.
2. IDC에 장비를 놓게 되면 어떻게 접근할 것인지를 고민해 봐야 합니다. 상단에 네트워크 장비를 추가해야 할 것입니다. 그리고 시뮬레이션 데이터를 불러오고 저장할 스토리지가 별도로 필요하게 되구요
3. IDC에 상면을 한다 하여 장비 메인터넌스가 필요없어지는 것은 아닙니다. IDC는 OP가 24시간 상주하므로 서비스를 요청할 수는 있으나 가능한 일이 제한적이고 건당 돈을 받습니다
4. 네트워크 대역폭 요구사항은 주고받는 데이터의 크기에 바운드 될 것 같습니다. 시뮬레이션 데이터가 수십 테라바이트 쯤 된다면 문제가 될 수 있으나, 그렇지 않다면 굳이 신경쓸 필요는 없을 것입니다. 다만 Shared 대역폭이 낮으면 최대 전송 속도가 낮기 때문에 다소 답답할 수 있습니다
그리고 퇴근 시 서버를 내리고 퇴근하는 것이 아니라면 에어컨은 끄면 안 됩니다.
만약 사내 서버실을 만드신다면 설계 단계에서부터 컨설팅을 받아 보시는 것을 추천 드립니다. 생각보다 신경써야 할 것이 많습니다.
구동상의 안정성이 필요한 작업으로 보이는데 자체 서버룸보다는 이미 안정성이 확보된 곳을 이용하는게 나을거라 생각합니다.
자체 구성이든 IDC입고이든 2U * 8set 이면 16U이고 서버간 0.5U 간격 두게 되면 3.5U 추가 될테니(2대당 0.5U 잡더라도 1.5U 필요함) 20U 잡는게 좋아 보이는데 network switch나 백업용 머신까지 포함한다면 하프랙으로 부족할겁니다.
전담 관리인이 필요하기는 하나 그 정도 규모는 안되다보니 애매할 수 있습니다.
IDC의 비용이 비쌀수도 쌀수도 있는데요.
만약 서버실을 따로 두는쪽으로 가게 된다면(오너의 의중이 그런것 같고요) 다른분들이 언급하신 통신/통신 보안/냉방/보조 전력 장비 등을 구비하고 전담 관리인을 둔다면 IDC보다 비용이 비싸질 것 같습니다.
장비가 많아질수록 각종 비용이 1/n 처리 될테니 IDC와 비슷하다가 규모가 더 커지면 IDC보다 저렴해질 것 같습니다.
(어차피 최종 결정권은 오너에게 있다는 가정하에 소설)
오너가 무한 책임을 질것이라고 착각하면 안되고 충분한 보고서면을 통해 결재를 득하는게 좋을것 같습니다.
보고서면에는 오너의 의견이 들어가면 안되고 IDC 또는 자체 서버실중 편향된 결정을 할 소지가 개입되면 안되겠지요.
추가로 크리티컬한 문제가 발생되거나 장비가 추가 입고 되거나 하는 등의 경우의 수에 대해서도 고려하여야 할테고요.
1차로 객관적인 자료를 제출하여 오너가 충분히 판단할 수 있는 여건을 만들어주고 방향이 정해지면 전적으로 오너의 결정과 결재 방향에 맞게 2차로 사업 추진 결재를 받는게 좋겠습니다.
그래서 데이터센터나 코로케이션에 맏기지 못하고 서버실을 구축하려고 할지도 모릅니다..
서버실에서 에어콘을 껐다 켰다 한다고요 ?? ==> 자살 행위입니다..
왜 코로케이션은 항상 에어콘이 켜져 있나요?? 똑같이 해야 하는 것 아닌가요??
(코로케이션)데이터센터는 보통 전기를 엄청나게 사용하고 사고가 나면 크게 나기에 전기를 이중화하고 1차 절체 2차 UPS하고 3차로 발전기까지 놓습니다..
그리고 보통 에어콘 사고가 나면 데이터 센터의 온도가 올라가기 시작하고 하드가 온도를 견디지 못해 데이터가 날라가는 사고가 나기 시작합니다..
하드는 제조사에서 보통 50도 이상이 되면 동작이나 안에 들어가 있는 데이터를 보증하지 못합니다..
https://www.inews24.com/view/1405832
스마일서브 정전에 의한 데이터 망실 사고
우선 현재 사용하는 데이터는 어디까지 백업되어 있나요??
사무실(서버실) 전체가 초토화 되어도 데이터가 사무실(서버실) 외 다른데에 백업이 되어 있나요??
따로 서버실을 구축하면 네트워크도 네트워크지만 방화벽 구축이 더 문제가 됩니다..
코로케이션 같은 경우 방화벽 구축이 기본적으로 되어 있고 그 안에서 서비스 합니다만 서버실을 구축하면 네트워크를 타고 들어오는
온갖 바이러스 /렌섬웨어 등등을 막아 줄 방화벽이 필요합니다.. (방화벽이 100% 보안 문제를 다 막지는 못합니다만)
방화벽 구축할려면 얼마나 들어가는지 알아보세요.. 가격이 아마 상상을 초월할 수 있습니다..
그리고 서버실을 구축한다면 거기 상주시키고 관리할 직원을 뽑고 나서 일을 시작하세요..
요즘 그런 전문 노가다 인력 구할려면 구하기 아주 힘듭니다..
코로나나 반도체 대란으로 어디나 다 힘든 것으로 알고 있습니다만 제가 보기에는 사장님이 돈을 너무 아끼려는 생각이 있지 않나 합니다..
당해봐야 알기에 어쩔수 없고요..
제가 보기에는 현재 진행되는 일에 대한 책임은 서류화해서 사장님이 도장 찍어야 되지 않을까 생각합니다..
저런 일 빨리 빨리 하다가 (빨리 빨리 해야겠지만) 망합니다..
서버실 구축과 코로케이션 구축에 대해 장단점을 어디에 적어서 잘 따져보세요...
요근래 게시판에서 들은 말입니다만
머리가 아프면 돈을 써야 한다라는 이야기를 들었습니다..
명언이라 생각합니다..
https://www.2cpu.co.kr/freeboard_2011/1527132?&page=4
https://www.2cpu.co.kr/network/13400
https://namu.wiki/w/%EC%8A%A4%EB%A7%88%EC%9D%BC%EC%84%9C%EB%B8%8C
현재 서버 /네트워크 상황 보안 문제 등등을 파악하고 서버실 구축시 장단점 코로케이션 구축시 장단점
정리해서 서류화 하고 잘 따져 보세요..
제가 보기에 대기업이나 하는 돈많이 들어가는 그나마 편한 방법 중에 아마존 구글 같은 곳의 클라우드 서비스 구축하는 방법도 있기는 합니다..
저희는 처음에 자체 구축했습니다.
사장이 HW를 좋아하기도 하지만 HW 사양을 자주 변경해 가면서 테스트를 해야 하기 때문에 어쩔 수 없는 선택이었습니다.
지금 개발/테스트 서버가 물리 서버 30대 / VM 1200개 / HDD 400개 (8PB) 수준입니다.
그래서 지금은
1) 사무실에 VM 서버 5대 (64~96 Core / 800GB ~ 2TM Memory / 3.6TB SSD 24개 / Fusion IO 4TB / 25G NIC 2개)에 VMWARE로 운영하고
2) 지식산업센터에 9평짜리 사무실 1개 빌려서 나머지 큰 장비들을 넣어 장비실로 운영 합니다.
2개 사무실은 Site-to-Site VPN으로 운영합니다.
IDC에 넣는게 생각보다 비용이 많이 나갈 겁니다.
Dual EPYC 7xxx 서버 8대면 FULL RACK 2개 정도 필요할 겁니다. (전기때문에)
만약 GPU가 들어 간다면 RACK 3개 잡아야 할 수도 있습니다. (전기때문에)
대략 월 300정도 잡으면 되겠네요
운영하는데 HW 작업이 어느정도 있는지 모르겠지만 IDC에 있으면 이동 시간도 고려해야 합니다.
서비스 장비가 아니라 단순히 개발/테스트 장비라면 99.999% 운영이 필요하진 않을것 같습니다.
서비스 아니고 99.999% 가용성 필요 없으면 자체 구축해도 그리 어렵거나 복잡하지 않을겁니다
결론
주변에 지식산업센터.아파트형빌딩에 1) 가장 작은 사무실 1개 임대 하시고 , 2) 에어컨 + 제습기 + 선풍기 설치하시고, 3) Network 넣으시면
원하시는 기계실 구축 가능합니다. 비용은 대략 월 200정도 들겁니다.
운영하는데 필요한 인건비도 더 적게 들겁니다
여기서 말씀하시는 운영인력은 어떤 면이라고 생각해야 할까요? 일단 오에스 이상에서 하는 작업들은 코로케이션이든 서버실이든 클라우드든 큰 차이가 없어 보이는데, 서버실 구축이 잘 되었다는 가정하에 코로케이션으로 가지 않았을 때 어떤 것이 필요할까요?
EPYC이 랙마운트 서버로 맨처음 개발되었을때 싱글프로세서 제품으로 개발되었습니다.. (1세대 제품)
인기도 없었고 따라서 마니 팔리지는 않은 듯합니다..
그리고 EPYC CPU가 물리적인 크기 때문에 랙마운트 서버 규격에 CPU 2개와 충분한 메모리 슬롯(CPU당 메모리 슬롯 16개) 을 넣기에
공간이 부족한 문제도 있습니다..
시간이 흘러서 EPYC 2세대가 나왔습니다..
같은 CPU인데 1세대보다 코어 갯수가 2배가 올라갔습니다..
보드는 같은 보드를 사용하고 바이오스만 2세대가 지원하게 수정해서 넣으면 되었습니다..
CPU만 바꾸면 코어갯수가 2배가 되는 것이죠..
좀더 시간이 흘러서 DELL 에서 랙마운트에 EPYC 2개를 넣은 제품이 등장했습니다..
TYAN도 EPYC 2개를 넣은 제품이 나왔는데 처음에는 2U 제품만 나왔습니다..
이게 EPYC 3세대 제품도 2U 밖에 안나와서 1U로 만들게 되면 설계/개발시 전력 지원 문제나 열방출 문제가 있지 않았나 개인적으로 생각합니다..
나중에 DELL 이 먼저 1U 2CPU 제품을 내놓았습니다..
결과론 적으로는 이래저래 문제가 있어서 2U 시스템 제품이 먼저 만들어지고 주류가 되었지만 나중에 문제가 해결되면서 1U까지 만들지 않았나
생각합니다..
그리고 서버 제품 개발하는데는 시간과 돈이 엄청나게 들어가는데 만들어놓아도 고객이 구매하지 않으면 답이 없기에
1U 제품이 늦어지지 않았나 하는 생각도 있습니다..
EPYC 은 3세대 와서 성능이 제온보다 앞서 나갔기에 3세대 쓰셔야 합니다..
현재 고려중인 AMD EPYC 서버는 어느 회사 어떤 모델인가요??
실제 필요한 서버는 몇코어 CPU 파워와 몇 기가의 메모리 용량이 필요한가요??
요즘은 물리적인 서버의 CPU 갯수보다는 한 시스템의 코어 갯수가 더 중요한 시대라고 생각합니다..
코로나와 반도체 대란으로 인해 주문하고 기다려야 하지만 (최소 4개월 /6개월 /1년) 그나마 제품 공급이 되는 곳은
델과 HP 정도 입니다..
문제는 견적 받고 주문해서 기다리고 난후에 제조사의 사정으로 가격이 폭등하는 경우입니다..
어쩔수 없습니다..
DELL 과 HP 는 같은 사양으로 했을때 HP가 평균 30% 비싸다는 이야기를 들었습니다..
그리고 DELL 과 HP 어느 것이 좋냐 나쁘냐는 절대적인 것이 없고 취향의 차이입니다..
아직 서버를 구매하지 않았다면 확인하셔야 하는게 있는데
DELL의 경우 AMD 서버는 2CPU 장착이 필수 입니다. HP는 모르겠습니다.
1CPU만 넣으면 PCI 슬롯을 50%만 사용 가능하고, 그나마 RAID Controller, Network 카드 넣으면 가용 가능한 SLOT이 1~2개만 남을 가능성이 높습니다.
조립서버는 해달라는 대로 해주겠죠
그 운영인력이라는게 좀 애매합니다
개발용 장비라면 별거 없거든요. 그냥 단순하게 서버/PC 관리죠
저는 운영/관리 편리성 때문에 자체 운영을 선호합니다
랙 1개 정도에 서버가 죽었을때 영업손실이 크지 않다면, 가성비 에디션으로 사내에 구축하는 곳도 제법 있더라고요.
* 가성비 에디션 = 에어컨 + 제습기 + 선풍기/환풍기
단, 사무실 전기 용량이 임대인과 협의하여 가능한 범위일지...(전기공사 여부등)
서버 풀로드시 전기 사용량을 견적 업체를 통해 미리 파악해보셔야 할 것 같네요.
(글 내용상 임대인분이 서버 전기 사용량이 에어컨보다 크다는 걸 모르실 가능성도 우려되네요.)
전기 용량만 문제없다면...
리스크 감안하여 사내 구축후, 이슈 발생시 IDC 이전하는 방향도 가능해 보입니다. (무중단 운영이 아닌 경우)
서버실에 관한 부정적인 입장만 보여드리기에 죄송하지만
자유게시판에 등짝과지갑이라는 이름으로 검색해보면 찐한 이야기가 나옵니다..
서버실을 하시던 코로케이션을 하시던 절대적인 정답은 없습니다..
항온문제 / 전력문제 / 접지문제 /내부네트웍 구성 등이 두가지 다 동일 급이다라고 한다면
아무래도 차이나는 것은 네트워크 백본과 거기에 따른 보안 문제 (방화벽) 이겠죠..
자체 서버실은 자체 구축을 해야 하니까요..
현재 어느 정도의 인터넷을 사용하고 얼마나 더 인터넷 네트워크가 필요한지 모르겠지만
사무실로 끌어오는 전용선 그리고 IP의 가격은 상당히 비쌉니다..
보통 오피스넷이라고 불리는 그 중간단계 상품이 있습니만 이것도 일반적으로 생각하는 가정용 인터넷 라인 가격과 차이가 꽤 나죠..
그리고 잘 아시다시피 코로케이션은 계약에 따라 돈내고 사용하는 것인데
계약내용을 꼼꼼히 따지고 모르거나 문제 있는 것들은 문의 /상담 /검토를 통해 정리하셔야 합니다..
만일 사고가 나더라고 결론적으로는 그 계약서에 따라서 보상을 하게 되어 있으니까요..
제가 아는 대부분의 중소기업은 다 그냥 전산실? 만들어 운용합니다. 외부 서비스용은 IDC에 넣고 사용합니다.
골방에 에어컨 틀어주면 전산실 끝. 이라는 생각으로 말이죠. 바닥 공사 하는곳도 못봤습니다. 그냥 랙 넣고 서버 채우고...
전기공사는 필히 해야 합니다.