발단은 이렇습니다.
윈도우 10 프로 for 워크스테이션 으로 업그레이드 했습니다.
추가된 기능들중에 이런내용이 있더군요
RDMA 기능이 있는 네트워크 어댑터를 이용시 SMB Direct 를 사용할 수 있고 이로인해 로컬저장소처럼 사용할 수 있다.
NAS를 주로 활용하기때문에 혹했는데요.
제 환경은 이렇습니다.
------------------------------------------------------------------
[ 시놀로지 NAS - asus공유기 - PC ] 가 1기가비트로 연결되어있습니다.
물론 현재 PC에 사용하는 네트워크 어댑터는 내장이구요.
시놀로지는 링크어그리게이션을 지원하는 1기가비트 랜포트가 2개 달려있습니다.
NAS에는 사진파일이 수십만장 있고 이걸 네트워크 드라이브로 연결하여 사용하고 있는데요.
파일의 크기가 jpg들은 1mb 정도, raw는 30mb 정도입니다. 폴더하나에 이런파일들이 2~4천장 정도 들어있어서 보기도 하고 변환해서 내보내기도 하죠
------------------------------------------------------------------
이런환경에서 저 SMB Direct 기능을 사용하면 성능향상이 있을까요?
사진 둘러보는 정도는 네트워크드라이브에서 바로 봐줄만한데,
nas에 있는 일천장 이상의 파일을 바로 라이트룸으로 불러와서 변환->내보내기 같은 작업은 할 수 없을 정도로 느립니다.
pc로 복사해와서 변환하고 다시 집어넣는게 훨씬빠르죠...
이쪽으로 성능향상이 있다면 시도해보고 싶습니다.
그러나 NAS의 성능이 얽혀있어서 별 효과가 없을지 모른단 생각도 드네요.
NAS 는 DS916+ 입니다.
여러 고수님들의 고견을 여쭙니다
7200rpm 하드 4개를 레이드5로 묶어놨어요. 큰파일 하나를 나스에서 하드로 복사해오면 110MB/s 정도 나오네요
전 이정도면 충분한데 작은파일 여러개인 환경이 좀 아쉬워요
지금 사양 보니 .. USB 3.0 3개나 있는데 ... 시놀로지가 USB 3.0 으로 되면 더 좋겠다는 생각을 해보게 되네요 .
USB 3.0 이 더 빠를텐데...
시놀로지에 겸용인 제품은 없는것같아요..
그리고 현시점에서 SMB Direct라는게 뭔가 엄청나게 달라지는게 아닙니다. SMB3의 멀티채널 지원시 시스템 점유율을 줄이려는데 가장 큰 목적이 있어서 전송 속도면에서는 기가비트 정도로는 의미가 없습니다.
RDMA를 본격적으로 사용하는 인피니밴드급으로 대약폭과 레이턴시가 향상되면 모르겠지만, 그런식으로 가면 SMB를 쓸 필요가 있을지도 문제고요.
NAS에서 작은 파일 전송이 문제시라면 iSCSI나 NFS를 한번 테스트 해보시는건 어떨까요?
몇가지 궁금한게 있는데요,
1. samba 와 smb 는 다른건가요? 리눅스계열에서 윈도우의 smb와 통신하기 위한 '리눅스의 기능'이라고 이해하면 될까요?
2. 결국 SMB direct 의 조건은 서버와 클라이언트 모두 RMDA 지원 어댑터와 윈도우 운영체제다. 라고 말씀이시죠?
그조차도 의미가 있는지 모르겠다는 말씀이시구요.
그럼 이제 iSCSI 에 대해 알아봐야겠습니다.. 전혀 모르는 부분이라 공부좀 해야겠네요
SMB는 윈도우에서 파일이나 프린터 공유를 위해 사용하는 프로토콜이고, SAMBA는 리눅스나 유닉스에서 SMB를 써서 윈도우와 파일 공유를 할 수 있도록 해주는 프로그램 입니다. 뭐 사실 윈도우의 네트워크 기능이 발전함에 맞춰서 SAMBA의 기능도 방대해져서 SMB 지원은 극히 일부 기능에 지나지 않게 되었지만요.
2. 현 시점에서는 말씀하신 조건이 필요합니다.
하지만 RDMA 지원 NIC의 가격을 생각하면 투자 대비 효용성이 있을지도 모르겠고, 이미 갖추어진 환경이라면 굳이 SMB가 필요할지도 의문입니다.
윤탱이님이 설명하신 것처럼 기존의 RDMA를 사용한 환경에서의 성능향상이 있는건 확실한데, 그게 SMB3에서 얼마나 반영이 되는지 사용례가 별로 없는 것 같습니다.
있는 포트나 묶어볼까하고 찾아보니 말씀하신것처럼 시놀로지의 samba로는 smb 멀티채널도 신뢰하기 힘들다고 하더군요..
대용량 파일전송에서만 묶어서 이용하고 일상시는 만족하고 살아야겠습니다
자세한 답변 정말 감사합니다.
보통 일반 스토리지는상관없지만 연결을 인피니밴드로 하게될경우, TCP 통신시 CPU 점유율이 생각보다 많이 소모됩니다.
이경우에 그냥 연결이아닌 RDMA프로토콜로 할경우, CPU를 타지않기때문에 그만큼 점유율에대해서 이득분이 있습니다.
추가적으로 RDMA로 연결할경우 레이턴시에 효과적이라, 랜덤 엑세스부분이 많이 향상되기는 합니다.
다만, RDMA를 지원하는 프로토콜이 SRP , iSER , 등등있으나, 일반 리눅스에서 지원하는 SMB 4.5버전에서는 SMB over RDMA 를 지원하지않고, 설정을하시려면 이니시에이터가 윈도우 서버여야합니다. 아니면 별도의 SRP 등을 NAS프로토콜에서 지원해야합니다. 단지, 윈도우의경우 2008 이후 SRP이니시에이터가 없어졌기때문에, 클라이언트에서 못받아줄 문제가 많습니다.
추가적으로 7.2K 에서 레이드 5시라면, 크게 속도증가분은 없을것같습니다.
NAS 기능을 확인하시려면 DCB (Datacenter Bridging) 기능부분을 찾아보시면 됩니다.
감사합니다.
제 나스는 시퓨로드가 10프로를 넘지않더군요..ㅎㅎ
제가 쓰라고 있는기능이 아닌것같군요. 만족하며 살아야겠습니다.
Infiniband, RoCE 모두 SMB Direct 이용이 가능하지만 모든 시스템이 Windows 8, Windows Server 2012 이상이어야 하고
Linux의 경우 RDMA over NFS, iSER, SRP의 이용이 가능합니다만 상상 이상으로 설정이 까다롭습니다.
일반적으로 사용하는 NAS 제품군의 경우 현재 QNAP만 RoCE를 이용하여 iSER Block Storage Target을 지원합니다만
Mellanox ConnectX-3 Pro 이상의 카드를 장착해야 합니다.
한가지 중요한점은 Infiniband, RoCE 모두 RDMA 지원 스위치가 필수입니다.
가끔 해외에서도 Back-to-Back 연결을 문의하는 경우가 자주 있지만 테스트가 가능한 것과 실제 운영하는 것은 전혀 다른 문제입니다.
RoCE의 경우 직접 연결이 가능하지만 매우 불편합니다.
OS 통일까진 생각해봤는데 서버 os가 걸리네요. 간편한 시놀로지 쓰다가 윈도우서버를 셋팅하자니..
hp나 dell 미니서버들은 항상 염두에 두고있었지만 쉽게 제게는 시도하지 못하는 부분이었습니다
링크어그리게이션으로 대용량 파일 복사시에만 속도를 올리는정도로 만족해야할것같습니다.
실사용으로 쌓으신 소중한 답변 정말 감사합니다