안녕하세요.
네트워크의 '네'자도 잘 모르는 조그만 회사의 담당자 입니다.
모르는 주제에 일을 벌려 버려서 대 핀치에 몰렸습니다. ㅠㅠ
고수분들의 도움 간절합니다.
영상 제작하는 회사이고,
2~3명이 컨텐츠 생산을 하는데 협업의 중요성이 나날이 커져 NAS를 구매하게 되었습니다.
영상데이터를 다루는 특성상 데이터 레이트가 높을수록 좋아서
시놀로지 DS1515+의 4포트 기가랜 링크어그리게이션 기능을 활용해보자는 생각에
구매하게 되었습니다.
사실 맨 처음에는 10기가 랜 시스템 구축을 알아봤는데
업체의 이천만원 견적에 바로 포기했네요. ^^;;
회사 영세합니다.. ㅠㅠ
머릿속에 그린 계획은 아래와 같으며 장비들은 모두 구매한 상태입니다.
----------------------
ㅁ계획
시놀로지 ds1515+
넷기어 GS724T 라우터
윈도우 10 운영체제의 PC 3대
모든 피씨에는 Broadcom netxtream bcm5709c 기가비트 2포트 랜카드 x 2개 (4포트)가 들어있다.
ㅁ목표
각 작업자의 PC는 최대 400MB/s 속도로 nas에 저장된 영상 데이터를 읽어올 수 있다.
(당연하지만 접속자 숫자대로 속도 저하 발생 감수)
----------------------
네트워킹에 대해 아는게 적어 검색에만 벌써 일주일을 쓴듯 싶습니다.
일반적으로 어느 업계던 고수님들의 의견은 대략적으로 통일되는데
NAS관련 인터넷 글들은 너무나도 다 다른 의견들이 난무해 놀랍네요.
1. 네이버에 소기업 네트워크로 바이럴 마케팅 한창인 영업맨과 통화
아니 아니 저기요 저기요 고객님 제말 먼저 들어보세요.
ds1515+로는 절대로 120메가 바이트 이상 못얻습니다.
링크어그리게이션이고 뭐고 그거 다 소용 없는거에요.
10gb으로 연결하셔야 하는거에요. 네네 텐지 네트워크 견적 회의해보시고 다시 연락주세요.
뚜. 뚜...
2. 클리앙 nas당 댓글 여러개
링크 어그리게이션은 부하 분산만 하지 접속자의 대역폭 최대치를 늘리는 기능은 아닙니다.
잘못알고 계시는겁니다.
3. 2cpu 댓글 여러개
ds1515 링크 어그리게이션으로는 여러 접속자에게 대역폭을 나눌 수 있을뿐이지
한 pc의 최대 속도가 올라가진 않는거에요.
글 쓰고 있는 제 생각 :
에엥?!!
최대 4기가 비트면 이론상 최대 500메가 바이트
실질적으론 300~400MB/s 근처의 최대 읽어오기 속도를 기대하는것은 불가능한건가요?
시놀로지 dsm 6.1 부터 가능한 smb 3.0 multi channel 기능을 활성화 시키면 되지 않나요?
윈도우 10에서 기가랜 4포트 본딩하고
허브에 cat6케이블로 4개 연결하고
허브에서 nas로 역시 cat6 4개 연결되고
nas 운영체제인 dsm 6.1에서 smb 3.0 multi channel 활성화 하면 되는거 아닌가요??
=======================================
외주 업체에게 시스템구성을 맡길만한 회사 자금사정이 아니지만
공동작업을 위한 nas시스템 필요성이 큰지라 과감히 회사돈으로 질렀는데
모르면 용감하다고 쉽게 가능하겠지 라고 생각했던 착각이 후회스럽네요.
일단 시놀로지 DSM 6.1 운영체제에 포함된 SMB 3.0 multi channel 기능의 활성화에서
도대체 몇일을 해메고 있는지 모르겠네요.
애초에 윈도우서버 2012로 파일서버를 꾸리지 않은 이유또한
완성된 시놀로지 시스템으로 쉽게쉽게 가보자라는 생각이었는데 말입니다... ㅠㅠ
인터넷에 키워드를 검색해 수십페이지를 읽어보아도
해결되지 않아 결국 고수분들게 도움을 청하는 글을 쓰게 되었습니다.
----------------------
위의 글을 참고로 작업하고 있습니다.
SMB 3.0 multi channel 기능의 활성화하려면
winscp 프로그램을 이용해 root 계정으로 시놀로지 nas에 접속해 smb.conf 를 수정해야 하고
수정해야 하는 내용은 아래와 같다고 합니다.
server multi channel support = yes
aio read size = 1
aio write size = 1
dsm 6.1버전은 winscp프로그램의 root계정 접속이 제한되어 있어서
먼저 putty 프로그램으로 root 계정으로 접속 가능하도록 바꿔주는 것을 수행해야 한다고
이해 했습니다.
그런데 당장 여기서 막혀 넘어가 지질 않네요.
[글 최상단 이미지 첨부]
타이프 잘못쳤나 수십번 확인했습니다만 오타는 없습니다.
sudoers 파일을 web 폴더로 복사해야 하는데 일단 그게 안되고
복사한들 치더라도 web 폴더에 어떻게 접속해서
파일을 수정해야 할지 모르겠습니다.
정말 초보이고 아는게 적습니다.
어떻게 하면 제가 막힌 부분을 해결하고 smb 3.0 multi channel을 활성화 해
높은 단일 기기 최대 대역폭을 얻을 수 있을까요?
혹시 putty에선 root 계정으로 접속된 상태인듯 한데
여기서 명령어 몇줄을 타이프해서 간단히 smb3.0 multi channel을 활성화 할 수 있을까요?
아는게 별로 없어 정확한 질문을 하기조차 어렵네요.
-------------------
링크어그리게이션으로는
4기가비트 최대 대역폭을 각 pc가 사용할수 없다는 말씀이 많은데
그 말씀대로 저는 헛짓하고 있는걸까요?
으억 ㅠㅠ
--------------------
혹시 회사의 케이블링과 네트워크 설정 작업을 해 주실 분 계실까요?
회사는 부천역 근방에 위치하고 있습니다.
응당의 금전적 사례를 하고라도 이 답답함을 해결하고 싶습니다.
전화주셔도 좋겠고 댓글도 간절히 기다리겠습니다. 감사합니다.
PDB 미디어 오명우
010 2094 사삼삼일
카카오톡 : omw2002
724t 스위치가 속도 1Gbps 이니 결국 1Gbps 입니다.
아무래도 대역폭하고 속도하고 혼돈 하시는듯 합니다.
10G스위치 구하시고 10G랜 카드 구하셔야 할것 같습니다.
8년전 모 방송사에서 가편칠때 200~300메가 나오는것도 웍스마다 쿼드포트달고 썼거든요
위의 말은 기가링크 PC 4대가 동시에 1GBit/sec씩 사용 가능하다는 이야기 입니다.
그럼 PC에서 스위치까지 대역폭을 늘리면 이론상 PC와 NAS간 4GBit/sec의 연결이 가능 합니다.
하지만 PC의 랜카드가 4 port를 묶을 수 있는 랜카드도 드물고 드라이버 특성 많이 탑니다.
따라서 별탈 없는 Intel 2 port NIC를 확보 하셔서...
PC와 스위치간 2GBit/sec 스위치와 NAS간 4GBit/sec를 구성하시는게 제일 간편하실 것 같습니다.
"1개 세션에서 1Gbps 이상을 쓰려면 결국 10Gbps NIC 꽂으세요"
Windows 서버에서 제공하는 SMB 3.0 Multichannel 도 결국 서로다른 subnet 으로 연결하여 최대 n Gbps 의 대역폭을 확보한다이지, 1개 세션은 wirespeed 를 못 넘어섭니다.
윈8 이상의 PC에 쿼드랜카드 꼽으면 별다른 설정이 없이도 내부내트웍 전송률(이 경우는 전송률 = 대역폭) 400MB/s 만들 수 있습니다. 물론 HDD성능은 논외로하고요.
만일 시놀로지에 문의를 해서 제대로 된 답변을 못 얻는다면 제 생각엔 처분하시고 HP나 Dell 비지니스급 PC에 쿼드랜카드 꼽고(듀얼랜카드 2개 가격도 $30도 안합니다) 공유폴더 셋팅하는게 나을 듯 합니다. 아니면 확실히 지원되는 QNAP 모델로 가시던가요.
듀얼포트 기가비트 NIC는 브로드컴 5709c 모델도 있고 dell이나 HP oem으로 많이 풀려있는 pro1000ET나 i340도 좋습니다. 모두 방열판조차 없는 저전력이고 이것들은 현재 제가 SMB3.0 멀티채널로 구성하여 잘 사용중입니다. RSS도 4큐 또는 그 이상 지원하고요.
리눅스에서는 SMB 프로토콜을 Samba란 프로그램을 통해 지원하는데, 위의 페이지에 따르면 Samba 4.4.0 이상부터 SMB 멀티채널을 지원한다고 합니다.
셸에서 한 번 smbd --version을 입력하셔셔 버전이 4.4.0 이상인지 확인해보시는게 좋겠네요.
다만 주의하실 점이 Samba에서는 아직 SMB 멀티채널은 완전히 안정 단계로 접어들지는 않은 걸로 알고 있습니다.
그리고 멀티채널을 활성화시키시려면 smb.conf 파일에 아래 내용을 업데이트해주면 된다고 하네요.
server multi channel support = yes
aio read size = 1
aio write size = 1
그리고 참고로 1Gbps 연결을 n개 묶는다고 해서 하나의 커넥션 속도가 최대 nGbps로 늘어나는게 아니라, n개의 1Gbps 연결을 보장할 수 있는게 됩니다. SMB 멀티채널은 프로토콜 자체에서 커넥션을 여럿 만들어 전송 속도를 늘리는 방식이기 때문에 속도가 1Gbps 이상으로 증가할 수 있습니다.
프로덕션 환경에서는 권장하지 않는다고 쓰여져 있네요.
EXPERIMENTAL FEATURES
=====================
SMB3 Multi-Channel
------------------
Samba 4.4.0 adds *experimental* support for SMB3 Multi-Channel.
Multi-Channel is an SMB3 protocol feature that allows the client
to bind multiple transport connections into one authenticated
SMB session. This allows for increased fault tolerance and
throughput. The client chooses transport connections as reported
by the server and also chooses over which of the bound transport
connections to send traffic. I/O operations for a given file
handle can span multiple network connections this way.
An SMB multi-channel session will be valid as long as at least
one of its channels are up.
In Samba, multi-channel can be enabled by setting the new
smb.conf option "server multi channel support" to "yes".
It is disabled by default.
Samba has to report interface speeds and some capabilities to
the client. On Linux, Samba can auto-detect the speed of an
interface. But to support other platforms, and in order to be
able to manually override the detected values, the "interfaces"
smb.conf option has been given an extended syntax, by which an
interface specification can additionally carry speed and
capability information. The extended syntax looks like this
for setting the speed to 1 gigabit per second:
interfaces = 192.168.1.42;speed=1000000000
This extension should be used with care and are mainly intended
for testing. See the smb.conf manual page for details.
CAVEAT: While this should be working without problems mostly,
there are still corner cases in the treatment of channel failures
that may result in DATA CORRUPTION when these race conditions hit.
It is hence
NOT RECOMMENDED TO USE MULTI-CHANNEL IN PRODUCTION
at this stage. This situation can be expected to improve during
the life-time of the 4.4 release. Feed-back from test-setups is
highly welcome.
뭐 전체를 설명하기가 긴 이야기가 될거 같습니다 쉽게 설명 드리자면 네트워크는 수도관 이라 생각하시고 NAS의 디스크 io를 물 저장소의 펌프라 생각하시면 이해가 쉬울 듯 합니다 네트웍이 1G는 1cm 수도관이고10G는 10cm 수도관이라 가정 했을 때 펌프 성능이 초당 1cm이면 10cm 수도관을 적용한들 의미가 없습니다 반대로 10cm 성능을 가진 펌프가 있는데 수도관은 1cm 라면 어차피 고성능 펌프는 놀고 있겠죠 일단 네트웍은 지나가는 통로라 생각하시면 되고 저런 트래픽 들이 한개가 아닌 다수의 트래픽이 있다면 그만큼 늘려야 합니다. 그래서 10G로 확장 하시라는 것이고 디스크의 io도 함께 늘려야 말씀하신 속도가 함께 나옵니다 일반적으로 10G 네트워크 보다 디스크 IO 올리는게 더 비쌉니다 대부분이 실무에서 일하다보면 다 저런 소리 합니다 서버는 빠른데 네트워크가 느려서 병목이 걸린다고 대부분이 디스크 IO에서 병목이나 속도가 나지 않아 발생합니다 1G로 케이블이라 해도 초당 600메가 이상 나옵니다 3기가 파일 1분 안 걸립니다 그런데 일반 디스크 초당 40메가 나오기가 쉽지 않죠물론 디스크가 SSD로 바뀐다면 이제 네트워크도 같이 10G 쓰셔야 겠지만요
아 그리고 LACP는 설명하자면 너무나 긴 이야기가 될거 같네요 그래서 생략합니다 다만 LACP 쓰시면 2배의 증가폭은 아니지맘 소폭의 증가 폭은 있습니다 경우에 따라 2배 나올 수 있습니다 이론상 속도 대략 1.5배 전후로 나온다 보십 됩니다
아 그리고 받는 쪽 PC의 디스크 io도 늘리셔야 합니다 보내는 쪽에서는 빨리 보내나 받는 쪽에서 그 속도를 지원하지 못하면 결국 받는 쪽 IO 속도 만큼 병목이 걸립니다
대한민국에서 네트워크 설계에 대해서 고민 좀 하셨던 분들이라면 금방 이해가 되실 듯 합니다
그리고 저는 참조해서 구성하시라는 예기 였습니다. 예산과 성능을 비례한다 정도를 설명드린 것이고 대안책은 IO 속도 부분을 잘 고려하시라고 작성한 것 입니다.
참고로 말씀 하신 연속전송률이 150MB/s 넘는거 많은 것 알고 있습니다. 이부분에서 비용이 많이 발생하겠지요. 하지만 상기 글에서 계획이 ds1515+ 로 도입하시니 거기에 부착할 수 있는 디스크가 SATA3로 RAID를 걸더라도 IO속도와 병목 등으로 IO 속도가 나지 않을 거라고 했던 부분입니다.
당연히 비용과 성능은 주관의 판단에 따라 선택하시라는 말씀 전해 드린 것이니 고깝게 듣지 마세요.
전반적인 부분을 잘 파악하시고 적용하시란 참고의 글입니다.
말씀하신대로 많은 분들이 간과하는 부분이 디스크I/O이고 이건 뭐 돈으로 바르지 않으면 답이 없긴 하지요. 물론 그걸 조금이나마 회피할 수 있는 구성도 있긴 하고요. 켜켜~~