자주 사용하지 않는 대용량 DB 서버 문의

아마데우쓰   
   조회 3293   추천 0    

 제목이 좀 모순적이죠.

DB 서버인데, 자주 사용하지 않는..

그래서 고민입니다.

현재 DB용량은 14TB 정도입니다. 1년에 2TB정도씩 늘어납니다.
일단 5년을 기준으로 24TB정도의 디스크 용량이 필요합니다.

문제는, 자주 쓰지 않는다는 겁니다.

복잡한 DB연산을 하는 것도 아니고, 사용자가 필요로할 때, 데이터를 CSV로 뽑기만 하면 됩니다.
(이 때 꽤 많은 용량을 CSV로 뽑겠죠. 1TB 내외?)

그런데, 고객은 이 때 최대한 빨리 뽑기를 원합니다.

고객을 좀 밝혀보자면.. 일반적인 기업은 아니고, 연구소입니다.
이 DB서버는 항상 돌거나 하는 것은 아닐테고요, 말씀드린대로 데이터 저장해 놓았다가, 필요로 할 때 필요한 데이터를 빨리 다운받으면 됩니다.
현재 몇 일씩 걸려서 문제가 되는 것이니, 1TB 뽑아내는 데, 몇 시간 ~ 하루 정도면 괜찮을 것 같습니다.

현재 MySQL을 사용중이긴 한데.. 상황봐서 MSSQL로 제안할까 생각도 하고 있습니다.

예산이 문제가 되겠죠.
3000~5000만원 정도의 예산이라면.. SSD는 쳐다도 못 볼까요?

2.5" 서버가 나을까요? 3.5" 서버가 나을까요?


이런 서버를 구축한다고 했을 때, 조언해 주실 것이 있으면 말씀해 주십시오.

고맙습니다.
짧은글 일수록 신중하게.
김제연 2019-11
어떤식으로 저장되는지 모르지만 연관 관계가 없으면 따로 나눠서 병렬로 처리하는게 더빠르지 않을까요  수시로 작업해놓고 원할때는 그이후것만 작업하도록 하구요  데이터가 어떻게 구성되어있고 어떻게  뽑아내는지가 관건이겠네요
     
아마데우쓰 2019-11
네, DB는 파티셔닝 기능을 이용할 예정입니다.
다만, 지금 SSD로 가야하는지.. HDD로 가야하는지가 걱정입니다.
제갈기천 2019-11
24tb면... 향후 디스크 확장성을 위하여 3.5짜리로 가시는 것이 맞다고 생각 합니다. (3.5 디스크가 고용량이 많습니다...)
     
아마데우쓰 2019-11
네, 미처 생각못하고 있었는데..
고용량을 고려하면 3.5로 가야겠네요.
고맙습니다. ^^
박문형 2019-11
지금의 서버 하드웨어가 대략 어떠하고

어떤 소프트웨어를 돌리고

어떤 것이 부족하며 느끼며

어느 정도 예산의 새 서버를 생각하시는지 말씀해주시면 감사하겠습니다..
박문형 2019-11
http://www.2cpu.co.kr/sell/335741?&sfl=wr_subject&stx=%BD%B4%C6%DB&sop=and

이 제품은 중고이지만 메모리 확대를 극대화 할 수 있는 제품입니다..

일반적으로 벤더서버는 2.5인치 하드를 넣는 추세이고 3.5인치는 좀 빼는 추세입니다.. (보통 하드 변화에 따른 두가지 모델 다 있습니다..)

그리고 조립서버는 아직은 3.5인치 하드 추세입니다.. (SSD로 발려진 서버는 제외)

보통 기업용 하드라도 2.5인치 보다는 3.5인치가 오래 갑니다..
     
아마데우쓰 2019-11
네, 조언 고맙습니다.
그런데 아마 브랜드 서버로 가게 될 것 같습니다.
3.5"가 빼는 추세라는 것은 참고하겠습니다~
술이 2019-11
1TB를 CSV로 뽑을수가 있나요? 불가능할거 같은데...
자 봐봐요. 1TB를 바로 로컬로 떨어뜨린다고 해도 빠른 속도가 필요합니다. 이걸 DB에 붙어서 전송한다면 네트워크 속도에 영향을 받습니다. 10G망을 벌크로 받는다고 가정하면 초당 800MB 나올거고(1G망이면 80-90MB) CSV로 저장되도 그걸 그대로 열건지 아니면 별도로 솔루션을 사용한 어플리케이션에 마운트를 할건지도 고민을 해봐야 합니다.
위 시나리오는 DW를 사용하라는 시나리오고 하드웨어가 고민이 아닐겁니다. 하드웨어는 백날 빨라봐야 네트워크 이슈도 해결해야되고...
저건 별도로 DB구성을 따로 해야됩니다. 히스토리성 데이터에 원하는 데이터를 미리 지정하고 스케쥴을 걸고 레포팅 해야되는 구조로 가야할겁니다.
100G도 CSV로 받기 힘든데 1TB...
저도 DB MSSQL 테라바이트 넘어가는거 구축관리하고 있지만 일단 100G기가가 넘어가면 서비스 DB들은 엄청 민감합니다. 긁어가는 순간 난리를 칩니다. 이런거 때무에 AlwaysON 구성으로 복제된 서버에걸 그대로 긁어가게 하는데 위 서버는 원할때만 가져간다고 하니 데이터를 가공하는 솔루션을 먼저 선택하는것이 우선순위를 둬야합니다.데이터를 풀스캔으로 끌어간다면 하드웨어 속도에 영향이 가지만 원하는 데이터만 골라간다면 파티션과 인덱스에 중점을 둬야합니다.
     
아마데우쓰 2019-11
별도로 DB구성을 따로 할 필요가 없습니다.
저 DB가 평소에 사용하지 않는 DB이거든요.
분기에 한 번 정도 데이터 업로드하고..
한 달에 몇 번 정도 데이터 다운로드 합니다. (필요한 부분만)
그러니까 '서비스DB'라고 할 수가 없는 거죠.

그리고 제 설명이 좀 잘못된 부분이 있는데.. 1TB짜리 CSV 하나로 다운로드 받는다는 의미는 아니고요..
필요하다면 분할해서 다운로드 할 수도 있습니다.

지금 궁금한 것은 SSD가 필요한지의 여부입니다.
          
술이 2019-11
별도의 DB를 구성한다는 말은 DW가 필요하다는 말인데요...
그냥 노가다로 범위지정해서 뽑아간다고 해도 SSD로 풀 도배해도 글쎄요 수동작업 하는데만 시간 엄청 걸릴거 같은데요?
하드웨어가 문제거리가 아닙니다. 데이터 가공이 되지 않은 데이터를 뽑아가는게 얼마나 무의미한지 고생해보면 압니다. 시간이 남아돈다면 상관없지만...
씨형 2019-11
최종 추출데이터의 용량 대비 전 후 I/O이슈(네트워크 포함)가 있기 때문에
ssd, hdd 는 의미 없지 않나 생각합니다.
ssd를 도입한다고 해서 원하는 시간대비 결과물의 편차는 느끼기 어려울거란 얘기죠
관점을 좀 다른곳으로 돌려야하지 않나 싶네요.
1) 분할해서 다운로드 받을건데 어떤식으로 얼마만큼 불할해서 문제를 최소화 시킬건가 (이게 1순위일테고)
2) 두번째는, 1)번이 해결된 후에 그것을 얼마나 더 원활하게 물리적인 하드웨어의 도움을 받아 여유롭게 할꺼냐
이런 수순으로 가야하지 않나 싶습니다.

적고 또 댓글을 봐도, 원하시는 답이 아니어서 죄송합니다만, 여튼 댓글 중 비슷한 류의 내용을 진지하게 받아드리실 필요는 있다고 봅니다.
로그인 하시면 댓글을 남길 수 있습니다


QnA
쓰기
제목Page 1195/5724
2015-12   1763155   1  백메가
2014-05   5237460   1 정은준1
2019-11   2337   1 LINKINPARK
2019-11   4010   1 Risingdream
2019-11   3261   1 Th2n
2019-11   3589   1  블루영상
2019-11   3214   1 김제연
2019-11   3023   1 세상탈출
2019-11   2337   1  방o효o문
2019-11   3863   1 박문형
2019-11   2585   1  블루영상
2019-11   3765   1 청춘
2019-11   5159   1 수퍼싸이언
2019-11   2467   1 없어용
2019-11   6745   1 구형활용가
2019-11   2300   1  현진
2019-11   4673   1 프로시아
2019-11   6625   1 네이쳐
2019-11   3444   1 푸른하늘아래
2019-11   3068   1 키가180
2019-11   3294   1 아마데우쓰
2019-11   2567   1 명랑
목록
쓰기