안녕하세요.
이번에 스토리지 서버를 구성하려고 하는데, 이와 관련해서 궁금증이 생겨서 질문 남깁니다.
1. 최초 구성 시 200 TB 를 구성하고, 이후에 분기별로 100~200 TB 의 용량을 증설하고자 합니다. 이럴 경우에 스토리지 서버는 어떤 절차를 거쳐야 하나요?
(1) 최초 200 TB 로 레이드를 구성하고, 이후에 용량을 증설할 경우 기존 데이터 백업 -> 레이드 재구성 -> 서비스 형식으로 진행하나요?
(2) 최초 200 TB 로 레이드를 구성하고, 이후에 용량을 증설할 경우 레이드 어레이 컨트롤러에 따라 기존 데이터 백업, 레이드 재구성 없이 서비스가 가능한가요?
(3) RAID6, RAID10 등에 따라 다른건가요?
2. 다음의 용도로 사용하고자 할 경우 어떤 구성이 더 좋을까요?
- 용도 : 원본 데이터 저장 후에 분석에 필요한 데이터를 읽고, 분석시에 생성되는 데이터를 일부를 스토리지 서버에 저장.
분석시 생성된 데이터는 필요 여부에 따라 삭제, 보존을 결정함.
원본 데이터는 재난 등에 대비되어야 함.
스토리지 용량의 확장이 용이해야함.
1번이 주요한 궁금증이며, 2번은 부차적인 궁금증입니다.
2. 하드웨어쪽이라고 보긴 힘들고 소프트웨어가 지원해 줘야 하는 문제이고 재난 방지시스템 정도까지 생각하면 일반 조립 스토리지 서버나 중소형급에서는
꿈도 못 꿉니다.. 전체적인 솔류션을 가진 업체에 견적 받아 보세요..
업체에 견적을 알아보기 전에 사전지식이 있어야 될 것 같아서 공부하고 있습니다. 업체를 알아볼 때 전체적인 솔루션을 가진 업체를 통해 견적을 받아보도록 하겠습니다.
스토리지 서버의 특정 소프트웨어도 여러 제품군이 나뉘는건가요? 스토리지 서버 관련해서는 하드웨어 내용만 검색해봐서 소프트웨어는 어떤 키워드로 검색해봐야 할지 모르겠습니다.
가격이 천문학적인지라 거의 불가능할 확률이 높습니다..
스토리지 서버의 구성 형태에 따라 SAN, DAS 로 나뉘는 것이 아닌가요? 분석 시스템과 직접 연결일 경우 DAS, 분석 시스템 - 스위치(SAN 스위치?) - 스토리지 서버(병렬)로 알았습니다. SAN 시스템의 가격이 천문학적이라는 것은 스토리지 서버 뿐만 아니라 SAN 시스템을 구성하는 장치들이 다양하기 때문인건가요?
스토리지 시스템이 비싸기에 싸게 만들수 없나 해서 만들어진게 서버에 다가 레이드 카드를 이용한 스토리지 서버입니다..
컴퓨터가 한대 있고 여기에 HBA 카드 (SCSI /SAS/FC CARD)를 꼽고 거기에 완전 독립형 외장 스토리지를 붙이면 DAS 입니다..
NAS는 스토리지 서버랑 거의 비슷합니다 네트워크를 통해 데이터가 왔다갔다 하는 스토지지입니다..
차이라고 하면 스토리지 서버는 CPU + 서버보드+ 범용OS를 사용하고
NAS 시스템은 전용 시스템에 전용 OS를 사용하는 정도 의 차이입니다..
SAN은 SAN SW(스위치)를 통해 여러 FC 스토리지와 컴퓨터를 네트웍 묶듯이 묶고 가상화 스토리지 프로그램으로 여러가지 스토리지를 하나의 덩어리로 묶고
권한을 줘서 사용하는 것입니다..
제가 잘못 이해하고 있었던 부분이 많았습니다.
용도는 다수의 사용자가 대용량의 원본 데이터에 접근해서 읽고, 생성된 데이터를 쓸 수 있는 형태를 구성하고자 하면, 완벽히 이해는 안되지만 분산 파일 시스템이 더 적합할까요? 이해한 내용으로 본다면 SAN 과 NAS 의 중간쯤이 분산 파일 시스템 같습니다.
이것은 데이터가 콘트롤서버를 통하여 여러 스토리지 서버에 랜덤하게 분산되어 저장됩니다..
스토리지 서버가 한두대 죽어도 동작하고 죽은 스토리지 서버의 데이터는 날려 버립니다..
스토리지의 증축은 돈만 있으면 가능하지만 원하시는 원본데이터 절대적 보관은 힘듭니다..
원본 데이터의 절대적 보관과 읽기가 중요한데 여러가지로 문제네요. 그렇다고 돈을 한 번에 많이 투입할 수 있는 것도 아니고요..
여러가지로 많이 귀찮게 해드리는 것 같습니다. 박문형 님께서 답변해주신 내용을 바탕으로 회의해보고 좀 더 공부해봐야겠습니다. 단시간에 많은 것을 알기에는 어렵겠지만, 많은 도움이 되었습니다. 감사합니다.
다만 사내에 이러한 솔루션을 구축하고 운용할 수 있는 사람이 있어야 하겠지만요..
그리고 분산 파일 시스템을 적용한다고 할 때, 데이터의 특성을 반드시 고려해야 합니다. 전용 네트워크로 구성되지도 않고, 범용 서버에 올라가기에.. 분산 처리 과정에서 레이턴시가 늘어지거나 하는 문제가 발생할 수 있습니다.
특정 크기의 블록으로 파일을 나눠서 저장하기 때문에 청크 단위의 대용량 파일을 읽고 쓰는 것에 더 유리하기도 하고.. 장단점을 확실히 체크하시고 결정하셔야 할 겁니다.
이 분야의 갑은 EMC이긴 한데.. 스토리지 용량이 계속 늘어나야 한다면 분산 파일 시스템을 통한 스케일 아웃이 낫지 얺을까 생각합니다.
NAS는 Netapp
http://www.2cpu.co.kr/hardware_2014/36560?&sfl=wr_name%2C1&stx=%B9%DA%B9%AE%C7%FC&sop=and
http://www.2cpu.co.kr/hardware_2014/36546?&sfl=wr_name%2C1&stx=%B9%DA%B9%AE%C7%FC&sop=and
보통 말하는 조립부품으로 만든 스토리지 서버
SAN 시스템에 대한 이해가 좀 더 많이 되었습니다.
이것은 영상 장비 전용 스토리지 입니다..
그냥 절차에 따라 디스크를 꽂고, 관리도구에서 이것저것 해 주면 시스템 중단없이 잘 증설이 완료 되었었습니다.
증설과정중에 온라인 상태에서 레이드, 볼륨 (재)구성을 해야하니 이 시간동안 스토리지 성능이 좀 느려지는거 말고는 별 문제 없었습니다.
Dell 스토리지가 아니더라도 요즘 벤더 스토리지들은 이런것들을 잘 구현해 놓은거 같습니다.
이런 벤더 스토리지가 아니라면, 파일시스템단에서 용량 증설을 하는것이 저렴할듯 합니다.
아마 도입하게 된다면 DELL, HPE 등이 될 것 같습니다. 지금 운영하고 계신 스토리지가 무중단 증설이 된다면 레이드 구성이 RAID 5 또는 6으로 되어 있는건지 궁금합니다.
그리고 두번째 질문관련해서는,,
델 스토리지의 경우 SSD와 하드디스크를 동시에 탑재하여 빈번한 IO가 발생하는것은 SSD에 저장하고, IO빈도가 떨어지면 HDD쪽으로 저장하는 기능이 있다고 합니다. 저희 회사에서도 이 기능을 탑재한 스토리지를 구축했는데, 회사에서는 실제로 이 기능을 쓸일이 없어서 얼마나 정확하게 동작하는지는 모르겠습니다.
벤더사 영업사원한테 요구사항을 이것저것 얘기하면 어느정도 근접한 (비싼)스펙을 제시할 것입니다. 그렇게 해서 스펙이 나오면 그 스펙을 다시한번 질문하시면 2CPU의 전문가들이 스펙을 분석해 주실거 같습니다.
보통 SAS 베이스에서는 120개나 240개의 하드를 연결이 가능합니다만 JBOD박스까지 운용중에 퍽퍽 끼워서 동작 보증하는 제품은 잘 없을 것이며
레이드 콘트롤러도 한계가 있기에 한개의 레이드 볼륨을 만들수 있는 최대 디스크 갯수나 한개의 볼륨의 최대 용량이 제조사별로 정해져 있습니다..
보통은 그렇게 레이드 볼륨을 증설한 후 가상화 스토리지 소프트웨어로 큰 가상화 볼륨을 만들어 사용합니다..
그리고 어떤 파티션이 들어 있는 레이드 볼륨을 증설하였다 하더라도 그 파티션도 자동으로 확장 되는 것이 아닙니다..
다른 파티션을 만들수 있는 공간이 늘어나는 것이며 사용 파티션을 확장하고 싶으면 데이터 백업 하고 날리고 다시 파티션을 잡아야 합니다..
최초 200TB 레이드 단일 드라이브
추가 200TB 레이드- 다른 드라이브
차후 추가 200TB 레이드- 다른 드라이브
이러면 편하겠지요..
추가 드라이브까지 모든 드라이브를 단일 드라이브로 잡아야 한다면..
많이 복잡해 집니다.
대략 방식은 서버+HDD (Raid는 선택)을 OSD라 칭하고, 필요한 수만큼의 OSD를 네트워크에 붇이기만 하면 1개의 볼륨으로 보입니다.
예를들어서 OSD에 8TB HDD를 10개 설치하면 80TB짜리 OSD가 생성됩니다.
이런 OSD를 5대 (Ethernet) 네트워크로 연결하면 5x80TB = 400TB짜리 NAS 저장장치가 만들어 집니다.
OSD는 운영중에 추가해도 됩니다.
너무 간단하게 설명 드렸네요. 현실은 좀더 복잡하지만 기본은 같습니다.
공개SW로는 Glustre, CEPH등이 있습니다.
상용도 몇개 있는데 좀 비쌉니다. 그만한 이유는 있구요.