안녕하세요 요즘 네트워크 관련해서 열심히 공부 중인 소규모 그래픽스튜디오 사장입니다
근데 네트워크의 세계는 정말 파면팔수록 너무 방대해서 이곳에 이렇게 고수님들께 질문을 드립니다ㅠ
저희는 현재 4대의 pc로 그냥 좀 좋다 하는정도의 공유기에 물려서 1기가 이더넷망을 사용중이구요 (현재 1:1 평균적인 전송속도 100mb)
사용중인 프로그램은 애팩 프리미어 시포디 기타 등등 영상cg 프로그램들이고
사이즈 크고 많은 이미지 시퀀스와 영상푸티지를 스크래칭 하는 일이 많습니다
근데 각각의 pc에 소스를 따로 복붙하거나 네트워크로 끌어쓰다보니 시간적으로나 하드용량 비용등등 손실이 정말 큽니다
지금 생각중인건 한개의 pc 겸 스토리지에 4대의 pc가 동시에 접속해 작업하는 10기가 이더넷 망을 생각중인데요 (이게 가능한가요? 구현되는 모습은 본적이 없고 promax를 쓰면 된다는데 가격이 장난 아니네요)
인터넷은 빠르면 좋지만 지금쓰는 기가인터넷만으로도 충분한것 같아서 그냥 지금처럼 공유기에 랜을 물려서 사용하려하고 나스는 보안상 까다로워 사용하지 않으려합니다
찾다찾다 보니 dac케이블로 연결해서 전송 속도 1기가가 나오는 방법이 있더군요
Part 1 - Introduction | https://youtu.be/MgNpI6VAAhI
Part 2 - Peer-to-Peer | https://youtu.be/KHiucyRYX_w
Part 3 - Build A Switch | https://youtu.be/p39mFz7ORco
이방법으로 내부망을 구성해보려는데 여기서 여러가지 질문 드립니다
1. 위와같은 방법으로 했을때 4대의 pc 가 1개의 자작 스위치에 하드를 동시에 스크래칭하면 그 스위치하드는 무리가 많이 가나요? 속도저하나 버틀넥이 많이 발생하려나요? (각 pc는 싱글포트 어댑터를 사용하고 자작스위치에는 듀얼포트 어댑터를 2개 꽂는걸 생각중입니다)
2. 위와같이(각 pc는 싱글포트 어댑터를 사용하고 자작스위치에 듀얼포트 어댑터를 2개) 한대의 스토리지 pc에 4대의 pc를 물린다하면 (랜케이블은 공유기에서 따로) 이게 여전히 p2p 스위치로써의 기능을 하는건가요?
3. 위와 같이 DIY 스위치를 만들 메모리램의 속도와 용량은 어떤 역할을 하며 그냥 높을수록 좋은거라면 메인보드 지원여부에 따라 128기가도 가능한가요?
4. 현재 놀고있는 i7 5960x가 있는데 DIY스위치에 쓴다할 제온(비슷한 가격대?)과 성능차이가 많이 날까요?
5. 읽기 속도가 초당 2000메가인 nvme pcie ssd를 사용한다고 했을때 4대의 컴퓨터가 동시에 읽으면 각각 초당 500메가가 나오는건가요?
6. 꼭 dac케이블을 써야 하나요? 현재 cat7 sstp 를 사용중인데 10기가 랜카드로 연결하면 그속도가 dac만큼 않나오나요?
7. 윈도우 환경이지만 썬더볼트3를 사용해도 초당 1000메가 살짝 웃도는 속도가 나오던데( https://youtu.be/fcNT8p-MNko ) 썬더볼트는 4대의 PC를 동시에 연결하는 스토리지를 만들기 힘든가요? 아니면 속도저하가나 대역폭이 부족한가요?
8. 이더넷 어뎁터 카드를 보다보니 10기가는 우스운 40/50/200기가 카드까지 있고 케이블도 QSFP28를 사용하면 100기가 이더넷이라는데
그러면 이거 사용하면 속도가 진짜로 초당 12.5기가 나오나요?
9. pcie gen4 메인보드도 올해 나오는거 같던데 그때까지 기다리는게 현명할까요?
뭐 제가 워낙 이쪽에 초짜라 어디서 부터 여쭤봐야할지 제대로 여쭤보고있는건지 모르겠네요
고수님들의 가르침을 부탁드립니다ㅠ 감사합니다
어도비툴들에서 이야기하는 그 스크래치라면 각각의 작업PC자체에서 하는것이 좋을듯합니다.
분산가능하다면 일부러 분산시키기도 하는데 스크래치디스크를 모아서 얻는장점이 별로 없을듯합니다.
디스크IO(특히IOPS)가 성능향상의 발목을 잡는 주범중 하나였는데 SSD가 나오면서 많이 극복되었습니다.
필요하다면 스크래치디스크로 저렴한 SSD 하나 더 추가하시는 방법도 있습니다.
2. 아마도 저 자작스위치는 스위치가 아니라 허브역할을 할듯합니다.
브릿지로 연결한듯한데, 네대가 풀로 네트웍을 다 쓸 수는 없고 1/4(2.5G)를 쓸 수 있습니다.
그런데 워낙 광대역이라 4대정도라면 서로 좀 나눠써도 충분하리라 봅니다.
3. 브릿지연결이라 CPU만 조금 사용되고 나머지는 거의 상관없습니다. 랜카드 사이에 PCIE버스를 타고 데이터가 흐르는데 그 대역폭도 10G의 그것보다 월등히 크니 하드웨어에 대해서는 안정성말고는 크게 신경 쓰실일이 없다고봅니다.
4. 기 설명드렸다시피 스위치역할에는 리소스가 그리 많이 안들어갑니다. 듀얼코어정도만해도 될듯합니다.
다만 스토리지가 문젠데, 어떤방식으로 스토리지를 구성하시느냐에 따라 약간의 CPU사용, 그리고 메모리가 관건이 됩니다.
메모리도 스토리지의 캐시로 쓸 수 있을때 좋은것이고, 아니라면 크게 필요치않습니다.
5960X는 매우 아까워요. ^^
5. 이론상으로는 맞습니다. 하드디스크 보다는 덜하지만 입출력스트림이 많아질수록 IO는 떨어지게됩니다.
큰 파일들이면 거의 500M가까이 나올꺼구요, 작은파일들이 많아질수록 속도는 떨어집니다.
6. 연결방식(케이블도)이 달라요. 랜카드를 잘 보시길...
7. 불가능한것으로 알고있습니다.
8. 네
9. 저는 그닥...
사업하신다했고, 또 업무에 쓰실것들인데 안정성이 중요하지않겠습니까?
처음나온제품을 쓸때는 베타테스터라는 생각으로 쓴다고도 볼 수 있는지라..
덧.
말씀하신구성을 저도 몇년전부터 상상해왔습니다.
10G스위치의 가격이 넘사벽이라..
하지만 이제 스위치가 100만원대까지 떨어졌고, 랜카드도 30만원대가 나오더군요.
10G가 확산되는 느낌이 100ㅡ> 1G로 바뀔때의 그것과 비슷하네요.
확장성과 안정성을 생각한다면 더 고민할 필요가 없다고봅니다.
8포트 10G 스위치
http://shopping.naver.com/search/all.nhn?query=xs708t&pagingIndex=1&pagingSize=40&productSet=total&viewType=list&sort=price_asc&frm=NVSHATC
10G 랜카드
http://shopping.naver.com/detail/detail.nhn?nv_mid=10536303950&cat_id=50003153&frm=NVSCMOD&query=10g+%EB%9E%9C%EC%B9%B4%EB%93%9C
185 + 34*4 = 321만원
네트웍고민은 이걸로 날려버리시고, 파일서버에만 집중하면 좋지않을까요 ^^
또 스위치는 소음이 크다 전기 많이 먹는다 등등 말이 많아서
스위치와 스토리지를 합치는 하드웨어가 생기면 어떨까에서 이런 방법을 생각하게 되었네요 근데 말씀하신대로 허브와 스토리지를 합치는게 되겠네요
스크래치 디스크는 각각의 컴퓨터에 ssd를 놓긴 할겁니다 헌데 그 스크래치 디스크에 입력을 줄 하드도 결국엔 메인스토리지에 있는 하나의 소스를 읽어드리게 하려는게 목적입니다
이번에 애팩에 베타로 팀프로젝트라고 하나의 프로젝트를 여러명이 동시(어느정도)에 작업하는 서비스가 있더라구요 정확히 말하면 이기능을 사용하려고 준비중입니다
이놈의 5960은 작업용으로도 별로고 서버용으로도 별로고 게임용으로나 써야겠네요ㅠ
답변 감사드립니다!!
보통 임베디드 리눅스 쪽인지라 메모리는 그리 크게 사용하지 않습니다.
10G케이블은 광케이블을 기본으로 합니다.
DAC케이블은 아마 10미터 이상 나오지 않는데 10미터 이상 전송하지 못합니다.
DAC케이블은 시장에서 그냥 덥석덥석 살 수 있는 물건은 아닙니다. 그리고 케이블 품질에 따라 성능이 많이 차이나며
보통 1개의 랙 안에서 간편하게 잇기 위하여 사용합니다.
10G를 구축해도 좋지만 화일이 꾸준하게 움직이지 않는 이상 속도는 생각보다 적게 나올 것입니다.
대역폭만 10G로 늘린 것이지 모든 데이터가 10G의 속도로 움직이는 것이 아닙니다.
10G UTP버젼은 퍼포먼스가 광케이블 보다 좀 떨어진다고 알고 있습니다.
모든 10G카드는 열이 상당히 나기에 슬롯 사이에 쿨링펜이 필수 입니다.
40G 솔류션 대략 시작된지 2년쯤 된것 같고 100G솔류션은 내년이나 시작할 것입니다.
인텔이 해당 랜카드를 제품으로 내고 언제 판매하느냐가 그 솔류션의 시작 시기입니다..
아무튼 이런시스템을 준비하려면 OS와 발열 잡을 걱정이 커지겠네요ㅠ
답변 감사합니다!!
메니지먼트가 되는 기가비트 24포트 허브를 구해서 그 허브를 통해 데이터를 움직여 보시기 바랍니다.
거기서 네트웍 퍼포먼스가 떨어진다면 기가비트 포트 24포트 정도 10G포트 4개 정도 되는 스윗치를 생각해보시기 바랍니다.
10G포트는 화일서버에 직결하는 것입니다.
재대로 된 10G 24포트 급은 아직 돈천만원 단위이며 광모듈이 없이 나오기에 광모듈도 다 10G를 구해야 합니다.
그리고 오리지날 인텔 10G 듀얼포트 랜카드도 싸게 사도 아직은 개당 7-80만원대입니다.
물론 10Gbps 듀얼 포트랜카드는 엄청 비싸더라고요 ㄷ..
promax같은 영상용 서버는 3~4천 하는것 같더라구요ㅠㅠ
그나저나 여기는 박씨가 많나보네요ㅋ 위에서부터 박님과 박문형님과 컴박님까지ㅋ
가장 저렴한 방법은 말씀하신 것 처럼 서버에 랜카드 잔뜩 넣어두고 각 클라이언트에 1포트짜리 꼽아서 접속하는 것입니다. 서버겸 스위치가 되는 것이지요. 하지만 각각의 클라이언트는 그 서버를 통해서 서로 통신할 필요가 없는 상황이고요. 문제는 광케이블이 아니면 케이블링도 문제가 되고 랜카드도 문제가 됩니다. 구하기도 어렵고 비싸거든요.
문제는.... 10G로 간다고해서 모든게 1G의 10배가 되지는 않습니다.
요즘 인터페이스는 DMA나 오프로딩(자체연산)을 기본으로 하기 때문에 CPU자원을 그렇게 많이 먹진 않습니다만 10G 카드 4개 이상 장착할 슬롯을 갖추고 있는 보드도 만만치 않은 가격이 되겠네요.
물건 구하는거야 제가 해외구매대행을 생활화 하는편이라 여기저기서 잘 구합니다ㅎㅎ
답변 감사드립니다!!
10G 인터페이스가 몇가지 있는데요, 이베이라면 매물이 많으니 골라서 구성하실 수도 있어요.
네트웍에서 스위치는 필수라고 보셔야합니다.
말씀하신대로 구성시 잘 돌아가면 다행인데, 구축 후 문제발생시 애로사항이 꽃을피울수있어요.
시스템은 되도록 단순하게, 분산해서 구성해야 확장, 유지보수, 트러블슈팅이 쉽습니다.