하드웨어 분야에 대해 아는 것이 별로 없어서 그간 글들을 읽으며 많은 정보를 얻어가던 학생입니다.
사실 제가 최근 개발하려는 시스템에서 고속으로 데이터 저장을 해야 하는데.. 여러가지 궁금한 것이 많아서 질문을 드립니다.
제가 구성하려는 시스템은 아래와 같습니다.
10G 이더넷 스위치에, 1G 이더넷 포트가 달린 작은 시스템 모듈들이 여러 개가 연결되어 있습니다.
이 때 약 10~16개 정도의 작은 시스템 모듈들이 10G 스위치에 연결되어, 모두 1G 이더넷 포트에서 보낼수 있는 maximum에 가까운 용량의 data를 UDP로 보내올 것이라고 예상하고 있습니다.
저는 이 시스템들이 보내올 data를 순서에 상관없이 일단 HDD에 저장만 하면 되는데요..
실제 data의 수집시간은 고작 몇 분 정도가 될 것 같고, 저장후에 다른쪽에서 data를 읽어갈 때에는 저속으로 천천히 가져가도 됩니다.
아직 연구실 레벨의 실험이라, DB서버처럼 data의 안정성이라던가 하는것은 그다지 중요하지 않습니다.
심할 경우 10G 이더넷 스위치 용량의 max에 가까운 data가 네트워크를 통해 날아올텐데,
PCI express 타입의 6G SAS raid controller로 대응이 가능할까요?
여러 HDD를 raid0로 연결하면 각각 포트가 6G에 가까운 속도로 저장될 수 있어서, 10G 이상의 data를 저장할 수 있는 것인지..
아니면 6G SAS raid controller에 HDD를 여러개를 연결하더라도, 최대 6G만 저장할 수 있는 것인지 궁금합니다.
그래서 필요할 경우 12G SAS raid controller를 생각하고 있는데요..
점점 큰 용량을 찾다보니, 작은 연구실에서 구성할 시스템치고는 너무 가격이 커지고 있는것이 아닌가 싶기도 합니다.
훈훈하신 분들의 조언을 좀 부탁드립니다.
레이드카드에 하드를 많이 달아서 전체로 묶을수록 그 볼륨의 속도는 커집니다.
10G허브가 있더라도 10G랜카드로 연결하지 않는 이상 최대 10G로 데이터가 움직이지 않습니다.
12G카드는 이제 시장에 나왔습니다.
예약주문하고 많이 기다려야 하며 비싸기도 하고 안정화도 안되어 있습니다.
데이터의 양이 크지 않다면 SSD로도 10G 데이터는 받을수 있을 것 같아 보입니다.
-> 약 120MB/S * 10~16
초당 데이터량이 약 1기가바이트~2기가바이트 정도 되겠네요.
10Gbit 또는 그 이상의 스위치가 필요하실것 같고
서버의 랜장비도 그 속도를 받을수 있는 장비여야 할 것 같습니다.
랜장비가 해결이 되었다면, 이제 저장장치의 속도를 보셔야 되는데,
일반 하드디스크를 8개 정도 Raid0로 묶었을때 예상되는
기대속도가 1기가바이트~2기가바이트 수준이라고 하면 이정도에서 해결이 가능하거나(실제 이정도 속도가 안나오실 겁니다...)
또는 SSD를 4개 정도 Raid0로 연결하여 사용하는 방법도 있겠네요.
하지만 데이터 양이 아주 많다면.. 하드를 많이 붙이셔서(20개) Raid 10으로 가는것이 가장 좋아보입니다..
하드디스크와의 각 연결 포트가 6G 이고 PCI-E 포트의 대역폭은 그것보다 훨씬 높습니다.
들어오는 데이터를 하드디스크의 숫자만큼 쪼개어서 동시에 저장하는것으로
아시다시피 속도가 굉장히 빠를 것입니다..(예를들어 1번하드는 앞부분 2번하드는 뒷부분을 동시에 저장)
하드속도 * 갯수만큼의 속도가 나옵니다.
정말 감사드립니다.
여긴 정말 훈훈하신 분들이 많은 것 같네요.
큰 도움 주신 분들께 다시한번 감사의 인사를 드립니다.
1gbit 이더넷포트 여러대 를 10g 스위치 허브를 쓴다는것이
동작은 어짜피 1gbit 동작 하는거 아닌가요
단지 여러대에서 들어올경우는 대역폭의 문제이구요.
아 박문형 이분이 설명해주셨네요..