안녕하세요? 내부망 조성 중에 정보를 얻고자 글을 쓰게 되었습니다.
기가비트 인터넷에 물려있는 스토리지 서버 4대와 메인서버 1대가 있습니다.
우분투 18.04와 페도라 33을 사용합니다.
추가로 10기가비트 랜카드 5개와 10기가비트 스위칭 허브를 이용하여 내부망을 구성하려 합니다.
게시물을 열심히 찾아봤지만, 대부분 라우터까지 이용하여 외부 인터넷과 내부망을 같이 사용할 수 있도록 조성한 내용이었습니다.
찾는 정보가 너무 당연한 거라 없는 건지, 조성에 문제가 있는 건지 질문 드립니다.
1. 서버 5대에 기본 기가비트 랜포트에 기존의 외부 ip를 직결하여 사용하고
2. 추가로 부착한 10기가비트 랜카드의 포트와 10기가비트 허브 5포트를 모두 연결하고
3. 내부 아이피를 직접 설정해주고(ex. 168.xxx.xxx.1~5)
4. 하나의 메인 서버에 그 내부 아이피를 이용하여 공유 폴더를 모아두어 10기가비트 속도로 5개의 서버를 하나처럼 사용하고 싶습니다.
사용 용도는
각각 서버는 150TB 정도 하드가 레이드로 묶여있고, 옮기거나 사용 해야 될 데이터가 매일 수 TB 씩 생성됩니다.
1번 서버에 생성된 로우 데이터를 후 처리하여 2번서버에 저장하고 3번 서버에 로우 데이터를 백업하고 1번 서버의 용량을 비워주는 식으로
계속 데이터를 옮겨야 되는데, 기가비트로도 시간이 너무 지체 되어 업그레이드를 하려 합니다.
스토리지 서버는 dell r730xd 이고, Intel(R) Xeon(R) CPU E5-2660 v3 @ 2.60GHz 가 2개씩 달려있습니다.
메인 서버는 쓰레드리퍼 3990x 입니다.
랜카드는 X540-bt2 칩셋을 쓰는
NETmate PCI-Express 듀얼 10GbE 서버 랜카드/NM-SWG2/인텔 칩셋/무소음 방열판 장착/LP브라켓 포함/LACP 지원/9.5K 점보 프레임 지원
제품을 보고있고,
허브는
티피링크 10G 5포트 스위칭허브 TL-SX105 를 보고있습니다.
가능하다면, 내부 아이피는 위와 같이 직접 정해주고 공유는 cifs를 이용하여 마운트하면 될까요?
질문 드리고 보니 내용이 많네요.
먼저 가신분들의 고견을 기다립니다.
감사합니다.
NETmate PCI-Express 듀얼 10GbE 서버 랜카드/NM-SWG2/인텔 칩셋/무소음 방열판 장착/LP브라켓 포함/LACP 지원/9.5K 점보 프레임 지원
제품을 보고있고,
===> 인텔 짝퉁입니다.. 오리지날 인텔 알아보세요.. 그리고 벤더서버는 그 벤더용 10G 랜카드가 따로 있습니다..
허브는
티피링크 10G 5포트 스위칭허브 TL-SX105 를 보고있습니다.
===> 서버용으로 쓰기는 너무 저가형입니다 일종의 소호용입니다..
최소 넷기어 제품 정도 아니면 DELL /HPE 제품 중에서 알아보세요..
그리고
개인적으로는 10G 네트워크는 광이 기본이라는 신념(주관)이 있고
10G 랜카드부터는 인텔보다는 맬라녹스다 라는 생각이 있습니다..
이베이 가능하시면 멜라녹스 CX311A 카드 알아보세요..
개인적으로 장난치기에는 가성비 최고라고 생각합니다..
회사에서도 충분히 쓸만은 합니다.. (회사는 매입 매출 그리고 기술지원 문제등이 확실해야 하는데 위 카드는 좀 힘들죠..)
광은 포트부터 공부해야되겠네요.
허브도...
해외 결제는 절차가 조금 복잡해서 국내 수입제품을 보니 다 품절이군요 ㅠㅠ.
개인 장난에는 꼭 써먹어 봐야겠습니다.
국내 수입제품으로 추천해주실만한 제품이 있을까요?
국내 재고들이 잘 없습니다.. 가격은 계속 올라간다고 보셔야 합니다..
https://www.intel.co.kr/content/www/kr/ko/products/details/ethernet.html
머 그럼 인텔 밖에 없죠.. 링크에서 맞는 모델 찾아보시고 다나와나 컴퓨존 / 조이젠 같은 곳에서
인텔 정품 인텔 랜카드 찾아보세요..
가격은 어쩔수 없지만 품질 보증은 합니다..
알아볼수록 그냥 기가비트로 열심히 돌리면서 외장하드로도 옮기고 있는 제 미래가 보이는 듯 하네요...
SMB 공유로 공유하시려는 것 같은데...
여기서 문제점이 스토리지간 파일 전송이 메인서버를 통하게 되면
스토리지에서 메인서버로 일단 데이터가 넘어온 다음에 다시 메인서버에서 타 스토리지로 데이터가 나가는 형태가 되기 때문에
10G 라인 1개로는 실제 최대 전송가능한 대역폭은 절반으로 줄어들게 욉니다.
스토리지A - 메인서버 - 스토리지B 로 파일이 전송되면서
스토리지A의 데이터가 메인서버로 들어왔다가 다시 같은 라인을 타고 메인서버에서 스토리지 B로 넘어가면서 대역폭이 효율이 줄어들게 되죠.
그리고 HDD RAID로는 구성에 따라 다르지만 최대 5~6G 정도 기대할 수 있는데
위 특성으로 반으로 줄어들면 2.5~3Gbps 정도 나올겁니다.
기존 대비 약 2.5배~3배가 최대 효율이라고 보시면 됩니다.
사실 이정도라도 개선된다면 소요 시간은 많이 줄어들겁니다.
그리고 파일전송을 메인서버를 찍고 가는 형태보다는
스토리지간에 바로바로 이루어지도록 하는게 효율이 더 좋습니다.
메인서버를 통해서 스토리지 서버간 데이터를 COPY & Paste 형태로 파일을 동시키면
관리는 편하지만, 네트워크 효율성은 좋지 않습니다.
티밍 등을 이용해서 메인서버와 스위치간 대역폭을 늘려준다면 위 문제는 어느정도 도움이 될 수 있구요.
대신 스위치는 매니지먼트 기능이 있어야 하는데, 비용이....
메인서버도 스토리지 처럼 사용해야겠군요!
감사합니다 !!
중고라도 이용해서 작은 규모로 구성을 해보시고...
충분한 전송속도가 나오는지 검증하신다음에
그 다음에 안정적인 장비를 전체 도입하시는게 좋습니다.
현재 판매되는 적당한 10G NIC과 스위치를 이용하시면 네트워크 대역폭은 대충해도 8~9G 확보됩니다.
쉽게구할 수 있는 구형 중고 장비를 이용해도 가능합니다.
문제는 사용하시는 스토리지 서버 구성(디스크, I/O 카드)에 따라서 원하는 속도가 안나오는 경우가 있습니다.
얼마전 비슷한 형태로 구성한 경우가 있었는데..
결국 스토리지 구성문제로 인해서
네트워크 전송속도는 7~9G 정도 확보했는데
막상 실데이터 전송속도는 최대 2.5G~3G에 그친 경우도 있었습니다.
스토리지 I/O가 발목을 잡은거죠...
스토리지와 테스트PC간 10G로 1:1 직결하신뒤, 어느정도 전송속도가 나오는지 확인해보세요.
네트워크 대역폭이 아닌, 실제 파일전송속도를 확인하시면 감을 잡으실 것 같습니다.
말씀하신대로 1:1 직결부터 진행해보고, 10G를 포기하고 2.5G정도 네트워크를 구성하는걸 목표해봐야겠습니다!
2.5G 제품은 아직 8포트가 최대입니다..
개인적으로 스위치는 최소 24포트는 되어야 한다는 생각이 있습니다..
이 사이트가 거진 20년이 되어서 잘 검색만 하면 원하는 답 거의 다 나옵니다..
위 링크는 솔류션 개념의 글이니 읽어보세요..