네트워크 브리지를 이용한 10기가 스위치 허브를 만들어 보려고 합니다.
예비로 보유중인 Z210을 사용해 보려고 하는데요, 이 아이가 일단 켜 놔도 조용해서... 입니다.
보드 레이아웃을 보시면 16X, 8X 슬롯이 총 3개 있습니다.
10기가 듀얼랜 카드를 끼우면 3개, 즉 6포트 스위치허브가 되는거죠. 1x 슬롯 2개에 1기가 랜 카드를 설치하고 같이 묶으면
1기가비트 2포트가 추가된 10G+1G 겸용 스위치허브가 됩니다.
그리고 기왕에 이 컴퓨터가 상시 켜지는 컴퓨터가 될 예정이다보니,
상시 공유되는 라이브러리 디스크를 장착해놓고 작은 NAS의 역할도 시켜보려고 합니다.
4포트까지는 전용 허브를 사면 무팬 모델도 있고 가격도 저렴한데, 그 이상의 포트를 하려고 하면 좀 비싸지더라구요.
그렇다고 4포트라도 2대를 사게 되면 또 그만큼 비싸지는지라... 4포트 스위치허브 2대 값보다 저렴하기만 하면 오케이! 라고 생각했습니다.
슬롯을 아끼기 위해서 내장 그래픽 코어가 들어간 CPU를 사용해야 할 텐데요, 여기에서 궁금한 것이 있습니다.
슬롯을 풀로 사용하는 것이므로 대역폭.. 에 관해 생각하지 않을 수 없는데.
대역폭 제한을 안 받으려면 역시 코어 i나 셀러론류보다 제온을 쓰는 것이 맞겠지요? E3-1225 같은 것 말이죠.
예전에 어딘가에서 본 내용인데
제온 CPU의 최대 장점이 슬롯별 대역폭을 최대한으로 사용 가능하게 해 준다는 것이었습니다.
이것이 맞는 정보인지, 제가 잘못 이해하고 있는 것인지에 관해 궁금합니다.
시피유점유율이높으면 시끄러울수도 있고
딱 스위치만이다라고 하면 상관없는데 라우터처럼 쓰실려면 최신시피유같은거에 포함된 명령어가 특정기능에서 가속화 까지해주니
라우터선정하실려면 최신 지원명령어 확인도해보세요~
제가 Z210을 열심히 돌리고 있는데 대부분 팬 소음은 거의 없고 거의 하드디스크 소음만 납니다.
근데 이 물건은 하드디스크 일단 안 달거나 2.5인치 하나 정도 달 것 같아서요.
부하 줬을때 어떤 방법으로든 뒤에서 바람불어주지 않으면 못버팁니다.
혹시 서버 블로우 방식 채택하고 잇는거 아닌가요?
보드에 10g달린것들보면 전원분들이랑 같이 방열판 공유방식이던데
조그맣게라도 팬을 달아줘야 되는지 알아보세요.
열이 많이 나는 것 맞죠. 그래서 많은 분들이 쿨링을 해야 한다고 하셨고,
슬롯 위쪽에 140mm 저소음 팬을 달았습니다. 케이스 닫으면 거의 소음이 느겨지지 않을 정도입니다.
이것 하나만 달아줘도 온도 크게 문제 없더라구요. 슬롯의 다른 장비들도 필요하다면 식히구요.
제기 지난 몇 달간 사용해 보니 장시간 부하가 큰 작업을 해도 방열판을 만져보면 그냥 미지근한 정도로 유지됩니다.
장착시키고 나서 사용중 프리징이 예상되고
잦은 다운과 랜카드가 몇달 못가서 열때문에 죽어나갈것이 예상 됩니다
10G 스위치가 가격도 가격이지만
시끄러운데는 다 이유가 있죠
저희 서버가 이상한건진 모르겠지만
실제 런닝전 테스트 구축하는데
한겨울 6시간만에 에어콘 돌리고도 실내온도 38도에서 떨어질줄 모르더라고요
사용상 아무 문제 없는 중입니다! 옆에 슬롯 쿨링용으로 조용한 팬 하나 달아놓고 쓰면 온도도 착하고 소음도 없어요.
일반적인 24포트/48포트 10G 스위치가 발열이 많다는 의미입니다.
그래서 기본적으로 팬이 쎄게 돌고요.
그래서 10G 환경 일반환경에 세팅해놓고 사용하기가 부담스럽다는 그런~
그래서 한번 만들어보려고 했지요. Z210이 그냥 켜 놓으면 굉장히 조용하거든요.
여기에 붙일 NIC이 있으시면 그냥 연결하길 원하시는 장비에 붙이시고요, 스위치 하나 사서 케이블만 후딱 깔고 쓰세요.
시스템들이 다 1366 시스템들이라 10G NIC 달면 CPU 점유율 찔끔찔끔 움직일 듯..
그리고 굳이 10G 스위치도 필요 없어 보입니다. Z400 몇대 연결 하는게 전부일텐데 그냥 2포트 짜리 사서 1대 1로 연결 하고 쓰세요.
여러가지 실험해보고 있는 것도 맞고 그게 전문가 입장에서는 엉뚱할 수도 있는거 아는데
저는 시스템이나 네트워크 전문가도 아니고, 그냥 컴퓨터 조립 조금 해볼 줄 아는 사람이고 그래서 여기에서 배우고 있는거구요.
돈을 왕창 들여서 좋은 것 사서 쓰면 좋다는 것 저도 압니다.
하지만 저는 컴퓨터만 쓰는 사람이 아니고 사진을 찍는 사람이라 가장 중요한 예산은 카메라 장비나 스튜디오 장비, 운영비나 작품 제작 예산으로 써야 합니다. 매주 중요하지만 일단 가장 우선순위는 낮은 컴퓨터를 최소한으로 쓰면서도 적은 예산으로 여러가지 해 보고
그것이 중요해지면 그때는 예산을 크게 들여서 좋은 것을 사서 쓰는 방식으로 틈 날때마다 조금씩 늘 뭔가를 하고 있습니다.
지금 해보는 방식이 전문가 입장에서 보면 허접하고 효율이 꽝인 것 같아도
일단 제가 쓰는데 아예 안 되는 것보다는 적은 예산으로 큰 지장 없이 돌아가면 그건 그거대로 괜찮은 것이라고 생각하고 있고
그 <좋은 것>을 사는 비용이 몇 배 이상의 예산이 들어간다고 하면 저는 그 돈으로 더 중요한 다른 우선순위의 일을 할 수밖에 없습니다.
제가 당장 쓰레기통에 처박아도 될 고물 컴퓨터나 사 모아서 비효율적이고 엉뚱한 뭔가를 만들고 있는 엉터리 취미인으로 보이시는거죠?
이쪽 분야에서 전문가이셔서 제가 하는 일이 한심해 보이실 수 있을거고 저도 포토그래퍼 입장에서는 같은 입장이라 처음 시작하는 이들에게
여러가지 조언들을 늘 해주곤 합니다만 누구에게나 자기만의 배워가는 방식이 있을 수 있고 저는 그 방식을 존중합니다.
창작이라는건 정해진 정답을 바탕으로만 이루어지는게 아니기 때문이예요.
사진을 업으로 하고 그 업을 위해 컴퓨터와 주변 시스템을 세팅 하시는 것 같은데..
솔직히 생산성이 떨어지는 구형 장비들을 가지고 뭔가 하시는걸 보니 참 매번 안타깝다는 생각만 들더군요.
물론 구형 장비들에 대해 어떤 생각을 하고 계신지 잘 모르겠고.. 니가 눈이 너무 높은거 아니냐고 생각 하실 수도 있는데요.
컴퓨터는 어느정도 정해진 정답이 있고 그걸 바탕으로 충분히 예측 가능한 분야입니다. 지금 맨 처음부터 10G 스위치를 창작하는건가요?
미리 예측 할 수 없었으면 지금 게시글처럼 10G 스위치를 만들지 말지 고민 해 볼 수도 없었겠죠??
배움이라는 미명 하에 굳이 구형 시스템에 10G NIC 장착하고 자작 스위치 만들어 볼 필요는 없습니다. 물론 재미있는 경험은 되겠지만요.
이미 어느정도 정해진 답에 의해 예측 가능합니다. 뜨겁습니다. 이상적인 10G 속도도 안 나옵니다. PCIe 배속조차 확보가 안 됩니다.
그냥 10G 스위치 구매 하고 10G NIC 장착해서 10G 세팅 하는 것 만으로 충분한 배움과 경험이라고 생각 합니다.
애초에 이 정도도 2cpu 안에서나 흔해 보이지 일반적인 시선에서는 아주 특이한 경험과 배움에 속한다고 생각 합니다.
제 주변에도 애초에 10기가 랜이라는것 모르는 사람이 더 많구요.
창작의 분야가 아니기에 말씀하신 것처럼 예측 가능한 분야라서, 많이 쓰는 표현으로 <한 방에 가라>고 하시는 점 압니다.
그러가 제가 10기가 랜을 깔았다고는 해도 애초에 제가 슬 수 있는 대역폭은 한껏 써 봐야 2.5G 잘 해야 아주 가끔씩 3G 정도인데
제가 10기가 랜을 쓴 첫 이유이자 가장 중요한 이유는 기존에 쓰던 메인 편집 컴퓨터가 터져나갈 듯 해서,
네트워크로 연결된 저장공간이 내부 저장공간 대비 같은 속도만 나와주면 충분하다라고 생각한거죠. 기가비트로는 그게 안되니까요.
그리고 제가 가진 내부 저장공간이라는게 굉장한 속도가 나오는 엔터프라이즈급 장비들도 아니구요.
이상적인 10G속도가 애초에 날 필요가 없지요.
이런 상황에서 10G를 까는게 돈이 매우 많이 드는 일이라면 그것도 삽질이겠지만
그냘 깔기만 하는 데는 깜짝 놀라게도 돈 얼마 안 들더라구요.
이런 환경에서 값비싼 전문 장비들은 오히려 저에게는 예산 대비 비효율이 됩니다.
구형 장비들도 어디까지나 파일 담아두는 용도가 대부분인 서브시스템들이 그렇지 가장 중요한 메인은 말슴하신대로 v3 이상 제온이거나
코어 i 9세대 이상을 씁니다. 당연하죠 저는 제 분야에선 전문적인 일을 하는 사람이고 그 정도 성능이 필요한걸요.
고물 장비로 보여지시지만 그 서브시스템들을 구성해서 써 보니 매우매우 싼 비용으로 이전의 전용 NAS장비들보다 더 나은 성능으로
작동이 잘 되고 있고(병목 제거는 해결) 트러블도 제가 새롭게 뭘 하는 과정에서 생기는 정도에 불과합니다. 아, 물론 전기는 더 많이 먹습니다만.. 다행히 제가 전기를 쓰는 환경이 그 부분에선 큰 문제는 안 되고 있습니다.
제가 자료 저장 컴퓨터를 10기가 랜 사용 가능한 고성능 NAS로 바꾼다고 하면 장비 구성은 단촐하고 세련되어지겠지만
제가 지금까지 소소하게(?) 쓴 돈들보다 몇 배 이상의 큰 돈을 같은 일을 하는 장비에 써야 합니다.
근데 잘 되는 것 놔두고 제가 왜 그렇게 해야 하죠? 그 돈이면 촬영 장비나 프로젝트 제작비용으로 쓸 데가 훨씬 많은데요.
물론 낡은 장비니 지금 잘 굴러가는게 언젠가 잘 안될 게 뻔히 예상되어서 그렇게 말씀하시는 것도 충분히 이해하지만
가장 중요한 것은 늘 2중으로 갖추고 있기 때문에 기본적인 대비는 되어 있습니다.
그리고 돈 별로 안 들인 게 고장나면 미련 없이 버리고 다른 걸로 바꾸면 됩니다. 대비가 있기에 한 부분이 고장난다고 해도
장애 문제도 거의 없구요.
저는 제 개인을 위해서 소규모지만 나름의 고성능 시스템이 필요한 사람인데
적은 예산으로 그렇게 해보고자 집적도를 낮추고 부피를 늘려서 해결하고 있습니다. 다행히 둘 곳이 아직 있어서요.
그리고 사용 과정에서 꼭 필요하다고 느끼면 해당 부분을 예산을 들여 세련된 장비로 교체합니다.
그러나 쓰는 범위가 제한적이라 그럴 일이 아직은 그렇게 많지 않습니다.
이렇게 되는 이유가 있죠. 저같은 사람을 위한 저렴하고 적당한 고성능 장비가 이쪽 영역에 많지 않아서요.
그래서 엉터리같아도 만들어서 써보니 나름 나쁘지 않았다 입니다.
촬영장비>=스튜디오 장비>= 창작 프로젝트 제작비 >> 편집 컴퓨터 >>>>>> 서브시스템 컴퓨터
이렇게 되는 거고, 제가 2cpu에서 시도해보고 있는 건 제일 마지막인 서브시스템 컴퓨터입니다.
그리고 이 모든 단계가 단지 우선순위가 낮을 뿐 어느 하나도 중요하지 않은 것은 아닙니다.
제가 이 부분을 글로 여러 번 설명했는데 좀더 명확한 토폴로지가 이와 같음을 다시한번 설명 드릴께요.
이러한 구조에서 제일 하단의 서브시스템이 일단 좀 엉터리라도 목적에 맞게 굴러는 가는데
같은 일을 하는 형태지만 좀더 효율이 높고 세련되게 하기 위해서 상단 레벨의 예산을 끌어올 수는 없지 않을까요.
게다가 그 장비들이 전문 장비라 가격이 상단 레벨의 장비들 클라스라면요.
인사이드 더 로프 액세스(펜스 안 취재)는 세계에서 저 포함 사진기자 7명 뿐이었어요.
그 대회 기간 때 필드에 비가 많이 내렸고 카메라와 렌즈에 레인커버(방수 커버)를 씌우고 사용해야 했는데
방수 천 쪼가리가 개당 30여만원짜리인 렌즈 전용 방수커버를 씌우면 보통 대포렌즈라고 보통 불리는 400mm 장초점 망원렌즈를 쓰기가 매우 힘들어집니다.그런 장비 보통 써본 사람이 별로 없기에 잘 모르실 테지만 모든 대형 렌즈들은 커버를 씌우면 조작도 조작이고 구도 변화도 힘들고 통풍이 안되어 내부에 습기가 차서 파인더 들여다보기가 힘들어지죠. 그리고 그걸 해결하려면 보통 커버를 반쯤 열고 사용하는데 필드에서 불어오는 강풍에 많이 펄럭거려서 사용이나 들고 아동하기가 매우 불편합니다.
그래서 저는 비슷한 검정색 우비를 잘라서 개퍼 테이프로 해당 문제들을 모두 해결한 제 전용 방수 커버를 만들었고
커버를 제작하는 비용은 몇 푼 안 들었습니다 단점이 있다면 모양이 흉한 정도까진 아니지만 세련되진 않았죠.
연합뉴스 애들이나 일본인인 로이터 기자가 저한테 방수 커버가 이상하다고 비아냥거렸는데
그 대회에서 제가 찍은 사진이 대회 사이트 메인에 걸렸었고 연합뉴스나 일본인 기자 사진은 못 걸렸죠.
분야나 경우가 다른 것은 맞지만, 누군가가 뭔가 삽질을 하는 것처럼 보이는 것 같아도 때때로 이유가 있을 수 있습니다.
제가 10G를 쓰는 건 기가비트만으로는 느린데 10G를 쓰면 일단 속도가 다 안 나와도 병목은 없어지기에 쓰는겁니다!
10G를 소규모로 부품 몇 개 구해서 쓰는데는 돈도 별로 안 들고, 그냥 컴퓨터에 꽂기만 하면 되어서 기술도 그닥 필요하지 않구요...
ipTIME PX2500 랜카드 2.5만원, ipTIME HG25008 8포트 스위치 허브 20만원 입니다.
단점으로는
랜카드가 열이 많이 난다..
의외로 전기만 처묵처묵할 수 있다
정도일 듯합니다..
그리고 10G듀얼랜 3개의 발열을 Z210케이스에선 절대 해소 못합니다.
근데 굳이 10G 랜이 필요한가요?
스토리지가 SSD로 구성되어 있다면 고려해볼만하지만 하드디스크라면 의미가 없어요.
어차피 그 정도만 되어도 저는 충분하기 때문에 아무 문제가 없습니다.
10기가 스위치 하나 사면 그만이지만 4포트짜리만 저렴한 것 같아서, 좀더 연결성을 높여보고자 했습니다!
혹시나 리눅스를 활용하실 수 있으면 한번 도전해 보세요.
대부분 공유기도 리눅스나 BSD 계열 OS를 커스텀해서 사용하니까요.
잘 된다고 하시니 다시 해볼까 했던 것이었구요.
리눅스는 제가 전혀 다룰 지 몰라서... 그것까지 갈 정도면 그냥 스위치 허브 사는 게 낫겠지요!
제가 사실 컴퓨터를 그렇게 잘은 다루지 못합니다. 두들겨 맞추다가 되면 된다고 아는 것 정도지요.
10G로 연결되어야 하는 컴퓨터들을 4대 이하로 유지하심이 어떨까 싶습니다.
그리고 상시 소음이 나면 안 되기에 이 고민을 하고 있는 거지요.
위에 많이들 언급되었지만 모든 포트가 10G는 안나오더라도,
원하시는 구성은 될 것 같습니다.
i5 i7과 칩을 공유하는 E3에게는 해당사항이 없습니다
하지만 기대가 잔뜩 됩니다.... 응원중!!
단순 연산....
ASIC >> FPGA >> X86칩
어차피 대단히 전기를 많이 쓸 것도 아니고... 예상한 속도만 나와주고 작동만 멈추지 않고 잘 되기만 하면....
여러개의 10G NIC 를 구입하여 준비 했었는데...
결국 10G 카드를 다 파라네요... 돈이 급하여...
사실 업으로 쓰는거든 뭐든
그 시스템의 100%를 항상 유지하면서 성능 다 이끌어내서 쓰는게 얼마나 될까요
집에 두는게 아니라면 전기세나 소음도 크게 문제가 되지 않을꺼고...
제가 보기엔 라우터 자작으로 접근하시는거보다 업무 메인과 보조 장비간 직결로만 해도 충분할듯하고,
문제는 스토리지들도 적당한 스펙이 되야 그 네트워크들도 어느정도 속도가 당연하게 나와줍니다
일반 기가비트보단 빠른 네트워크를 구축하고자 하심이 궁극적인 목적이신거 같은데
10g 말고도 여러가지 대안을 고려해보심이 좋을거 같습니다
이미 업무 메인과 서스시스템간 직결은 되어있고 최근 선로 정비를 해서 더 효율적으로 만들었습니다.
스토리지 스펙도 그저 그래서, 말슴하신 대고 기가비트보다 빠르기만 하면 되는게 (내부 장비 속도만 나오면 되는게) 근본적 목표였죠.
2cpu에서 10G가 의외로 구하기 쉽고 가격이 쌌거든요. 듀얼 10기가 랜카드가 제가 처음 이곳에 왔을때 처음 본 인텔 듀얼 기가빗 랜카드보다도 싸요.
그리고 광케이블이 가늘어서 매우 편하기도 하더라구요.
저 보드 pcie 슬롯이 어떻게 분배되어 있는지 모르겠는데 일단 PCH쪽에서 나오는 x4카드는 10g카드 하나만 물려야 할겁니다.
10g쪽 대역폭이 숫자상으로는 1/4 더 많을거예요.
기성품을 그냥 사면 된다는거 모르는 것이 아닙니다. 그게 크기도 작고 효율도 좋겠죠.
다만 저에게는 일단 소음이 적은 게 제일 중요합니다.
일단 제가 하려는 건 그닥 돈 안 들이고 갖고 있는 부품들을 조금 활용하면 바로 해 볼 수 있는거라서...
부품 꽂고 윈도우 깔고 선만 연결하면 끝납니다. 써 보고 아니면 해체하면 될 것이구요...
제가 동일 시리즈 4포트 모델인 CRS305를 쓰고 있는데 이것도 팬이 없어 무소음입니다. 성능도 만족스럽고요.
한번 해 보시고 아니다 싶으면 구매 고려해 보셔도 괜찮을 것 같네요 ^^
기성품 스위치허브를 사더라도 어차피 10기가 랜카드 한두 장 추가 구매는 필요합니다. 감사합니다!
혹 보셨는지 모르겠네요 https://www.youtube.com/watch?v=p39mFz7ORco
소위 <야매>라고 해서 쓸모없는건 아니더라구요.
기성품이 아니니 그닥 보기에 세련되진 않지만요.
일단 가능은 하고 요즘은 좋은 툴들도 많아서 크게 어렵지 않을 겁니다.
문제는 LAG이 너무 심했습니다. latency가 너무 오락가락해서 제가 사용하기에는 불가능했었습니다.
BW도 동일 NIC에 다른 포트에서 작동하는것과 각각 다른 CPU의 PCIe에 있는 NIC간의 속도차이가 너무 컸습니다.
QPI의 성능 한계도 보았고 Offloading이 외 중요한지도 보았습니다.
요즘은 zero-copy로 forwarding 하는 기술들도 있어서 좀 좋아졌을 수도 있겠지만 어째든 예전에는 그런 문제들이 있었습니다.
다른 한가지 추천해드리는것은 InfiniBand 스위치를 해보시면 어떨까 합니다.
구조적으로 엄청쉽고 SW도 단순해서 원하시는 많은걸 해줄겁니다.
비용도 10g 대비 더 저렴할 거구요. Cable 길이만 문제가 안되면 추천합니다.
인피니밴드에 관해서는 이미 오래 전에 찾아봤는데,
10G 대비 부품 구하기가 훨신 어렵고, 요즘 광컨버터 제외한 듀얼랜 카드 본체가 3만원 남짓한 걸 생각해보면..
그보다 싸진 않더라구요....
가격 대비 높은 대역폭을 제공하기는 하나,
케이블/스위치 구하시기가 골치아프고 저렴하지도 않습니다.
지금 현재 하시려는 PCIe 레인이 부족으로 인해서 Full 대역폭이 안나오는 상황에서는 더욱더 의미 없다 봅니다.
Infiniband 구조를 아신다면 PCIe 레인이 부족해도 Ethernet 대비 문제가 덜 되는걸 확인할 수 있을겁니다.
Ethernet은 BUS를 타야하지만 Infiniband는 HCA들 간에 Channel을 사용하기 때문에 CPU에서의 처리, 메모리카피 등 많은 차이가 있습니다.
지금 생각하시는 Ethernet은 CPU가 대부분을 처리해야 하지만 Infiniband는 대부분의 처리를 HCA에서 하게됩니다.
결과적으로 CPU의 부하도 훨신적고 더 안정적인 성능을 (latency 및 B/W 모두) 제공할 겁니다.
그냥 의견입니다
근데 부품 구하기가 너무 어려워요...예전에 구해보려다 포기했고 마침 10기가 부품들이 싸게 나오기 시작해서 그걸 쓰기 시작했었지요.
그러나 지금 VSPress님이 원하는 것은 적정솔루션이 아닌가 싶습니다.
현실적으로는 케이블 가격이 일단 걸릴겁니다.
10G에 코퍼라는 것이 함정입니다..
그리고 많이 시끄럽습니다..
레이턴시가 아주 짧아.. 슈퍼컴퓨터나 클러스터에서...
많이 사용합니다...
그 쪽은 신속성이 너무 중요해서요....
중고로 나오면... 사용자 층이 적어서... 아주
저렴합니다...