제온프로 2023-01

마이크로소포트에 좋은 내용이 있어 가져 왔습니다.

참고하세요.

SMB 다이렉트
적용 대상: Windows Server 2022, Windows Server 2019, Windows Server 2016, Windows Server 2012 R2,
                Windows Server 2012, Azure Stack HCI, 버전 21H2

Windows Server에는 RDMA(원격 직접 메모리 액세스) 기능이 있는 네트워크 어댑터의 사용을 지원하는 SMB Direct라는 기능이 포함되어 있습니다. RDMA 기능이 있는 네트워크 어댑터는 대기 시간이 매우 짧으면서 최대 속도로 작동할 수 있는 동시에 CPU 사용량은 매우 적습니다. Hyper-V 또는 Microsoft SQL Server 등의 워크로드에 이 기능을 사용하면 원격 파일 서버가 로컬 스토리지와 비슷한 역할을 할 수 있습니다. SMB 다이렉트의 기능은 다음과 같습니다.

향상된 처리량: 네트워크 어댑터가 회선 속도로 대량의 데이터 전송을 조정하는 고속 네트워크의 최대 처리량을 활용합니다.
낮은 대기 시간: 네트워크 요청에 대해 매우 빠른 응답을 제공하므로 원격 파일 스토리지가 직접 연결된 블록 스토리지처럼 느껴집니다.
낮은 CPU 사용률: 네트워크를 통해 데이터를 전송할 때 적은 CPU 주기를 사용하므로 서버 애플리케이션에서 더 많은 전원을 사용할 수 있습니다.
SMB Direct는 Windows Server에서 자동으로 구성됩니다.

SMB 다중 채널 및 SMB 다이렉트
SMB 다중 채널은 네트워크 어댑터의 RDMA 기능을 검색하여 SMB 다이렉트를 사용할 수 있도록 하는 기능입니다. SMB 다중 채널이 없는 경우 SMB는 RDMA 가능 네트워크 어댑터와 일반 TCP/IP를 사용합니다(모든 네트워크 어댑터는 새로운 RDMA 스택과 함께 TCP/IP 스택을 제공함).

SMB 다중 채널이 있는 경우 SMB는 네트워크 어댑터에 RDMA 기능이 있는지를 검색한 다음, 해당 단일 세션에 대해 여러 RDMA 연결을 만듭니다(인터페이스당 두 개). 이를 통해 SMB는 RDMA 가능 네트워크 어댑터에서 제공하는 높은 처리량, 짧은 대기 시간 및 낮은 CPU 사용률을 사용할 수 있습니다. 또한 여러 RDMA 인터페이스를 사용 중인 경우 SMB는 결함 허용을 제공합니다.

WINDOWS SERVER 2016 시작하는 SET(Switch Embedded Teaming)를 사용하여 RDMA 지원 네트워크 어댑터를 팀화할 수 있습니다. 하나 이상의 RDMA 네트워크 연결을 만들고 나면 원래 프로토콜 협상에 사용된 TCP/IP 연결은 더 이상 사용되지 않습니다. 그러나 RDMA 네트워크 연결이 실패할 경우를 대비하여 TCP/IP 연결은 보존됩니다.

SMB 다이렉트를 통한 SMB 암호화
Windows Server 2022 및 Windows 11부터 SMB 다이렉트는 이제 암호화를 지원합니다. 이전에는 SMB 암호화를 사용하도록 설정하면 직접 데이터 배치가 비활성화되어 RDMA 성능이 TCP만큼 느려졌습니다. 이제 데이터가 배치 전에 암호화되어 AES-128 및 AES-256 보호 패킷 개인 정보를 추가하는 동안 상대적으로 성능이 약간 저하됩니다. SMB 암호화 구성에 대한 자세한 내용은 SMB 보안 강화를 검토하세요.

또한 Windows Server 장애 조치(failover) 클러스터는 이제 CSV(클러스터 공유 볼륨) 및 SBL(스토리지 버스 계층)에 대한 노드 내 스토리지 통신을 암호화하는 세분화된 제어를 지원합니다. 즉, 스토리지 공간 다이렉트 및 SMB 다이렉트를 사용하는 경우 보안 강화를 위해 클러스터 자체 내에서 동-서 통신을 암호화하도록 결정할 수 있습니다.

요구 사항
SMB 다이렉트에는 다음이 필요합니다.

Windows Server 2012 이상 실행 중인 두 대 이상의 컴퓨터
RDMA 기능이 있는 하나 이상의 네트워크 어댑터
SMB 다이렉트 사용 시 고려 사항
장애 조치(failover) 클러스터에서 SMB 다이렉트를 사용할 수는 있지만 클라이언트 액세스에 사용되는 클러스터 네트워크가 SMB 다이렉트에 적절한지 확인해야 합니다. 장애 조치(failover) 클러스터링은 RSS(수신측 배율) 가능 및 RDMA 가능인 네트워크 어댑터와 함께 클라이언트 액세스에 여러 네트워크를 사용하는 것을 지원합니다.
Hyper-V 관리 운영 체제에서 SMB 다이렉트를 사용하여 SMB를 통한 Hyper-V 사용을 지원하고, Hyper-V 스토리지 스택을 사용하는 가상 머신에 스토리지를 제공할 수 있습니다. 그러나 RDMA 가능 네트워크 어댑터는 Hyper-V 클라이언트에 직접 표시되지 않습니다. RDMA 가능 네트워크 어댑터를 가상 스위치에 연결하는 경우 해당 스위치의 가상 네트워크 어댑터는 RDMA 가능이 아닙니다.
SMB 다중 채널을 사용하지 않도록 설정하면 SMB 다이렉트도 사용하지 않도록 설정됩니다. SMB 다중 채널은 네트워크 어댑터 기능을 검색하여 네트워크 어댑터가 RDMA 가능인지를 확인하므로 SMB 다중 채널이 사용하지 않도록 설정된 경우 클라이언트가 SMB 다이렉트를 사용할 수 없습니다.
SMB 다이렉트는 Windows RT에서 지원되지 않습니다. SMB Direct에는 RDMA 지원 네트워크 어댑터를 지원해야 하며 Windows Server 2012 시작해서 사용할 수 있습니다.
SMB 다이렉트는 버전이 낮은 Windows Server에서는 지원되지 않습니다. Windows Server 2012 시작해서 지원됩니다.
SMB 다이렉트 사용 및 사용 안 함
SMB Direct는 기본적으로 Windows Server 2012 시작합니다. 적절한 구성이 식별된 경우 SMB 클라이언트는 자동으로 여러 네트워크 연결을 검색하고 사용합니다.

SMB 다이렉트 사용 안 함
일반적으로 SMB 다이렉트를 사용하지 않도록 설정할 필요는 없지만 다음 Windows PowerShell 스크립트 중 하나를 실행하여 SMB 다이렉트를 사용하지 않도록 설정할 수 있습니다.

특정 인터페이스에 대해 RDMA를 사용하지 않도록 설정하려면 다음을 입력합니다.

PowerShell

복사
Disable-NetAdapterRdma <name>
모든 인터페이스에 대해 RDMA를 사용하지 않도록 설정하려면 다음을 입력합니다.

PowerShell

복사
Set-NetOffloadGlobalSetting -NetworkDirect Disabled
클라이언트나 서버 어느 한쪽에서 RDMA를 사용하지 않도록 설정하면 시스템에서 RDMA를 사용할 수 없습니다. 네트워크 다이렉트는 RDMA 인터페이스에 대한 Windows Server 기본 네트워킹 지원의 내부 이름입니다.

SMB 다이렉트 다시 사용
RDMA를 사용하지 않도록 설정한 후 다음 Windows PowerShell 스크립트 중 하나를 실행하여 RDMA를 다시 사용하도록 설정할 수 있습니다.

특정 인터페이스에 대해 RDMA를 다시 사용하도록 설정하려면 다음을 입력합니다.

PowerShell

복사
Enable-NetAdapterRDMA <name>
모든 인터페이스에 대해 RDMA를 다시 사용하도록 설정하려면 다음을 입력합니다.

PowerShell

복사
Set-NetOffloadGlobalSetting -NetworkDirect Enabled
RDMA를 다시 사용하려면 클라이언트와 서버 둘 다에서 RDMA를 사용하도록 설정해야 합니다.

SMB 다이렉트의 성능 테스트
다음 절차 중 하나를 사용하여 성능을 테스트할 수 있습니다.

SMB 다이렉트를 사용한 경우와 사용하지 않은 경우의 파일 복사 비교
SMB 다이렉트의 향상된 처리량을 측정하는 방법은 다음과 같습니다.

SMB 다이렉트를 구성합니다.
SMB 다이렉트를 사용하여 큰 파일 복사를 실행하는 데 걸리는 시간을 측정합니다.
네트워크 어댑터에서 RDMA를 사용하지 않도록 설정하려면 Enabling and disabling SMB Direct을 참조하세요.
SMB 다이렉트를 사용하지 않고 큰 파일 복사를 실행하는 데 걸리는 시간을 측정합니다.
네트워크 어댑터에서 RDMA를 다시 사용하도록 설정한 다음 두 결과를 비교합니다.
캐싱의 영향을 방지하려면 다음을 수행해야 합니다.
많은 양의 데이터(메모리가 처리할 수 있는 양 이상의 데이터)를 복사합니다.
데이터를 두 번 복사합니다. 첫 번째 복사는 연습으로 수행하고 두 번째 복사를 수행합니다.
각 테스트 전에 서버와 클라이언트를 둘 다 다시 시작하여 서버와 클라이언트가 유사한 조건에서 작동하도록 합니다.
SMB 다이렉트를 사용하여 파일 복사를 수행하는 동안 여러 네트워크 어댑터 중 하나에서 오류 발생
SMB 다이렉트의 장애 조치(failover) 기능을 확인하는 방법은 다음과 같습니다.

SMB 다이렉트가 여러 네트워크 어댑터 구성에서 작동하고 있는지 확인합니다.
큰 파일 복사를 실행합니다. 복사가 실행되고 있는 동안 케이블 중 하나를 분리하거나 네트워크 어댑터 중 하나를 사용하지 않도록 설정하여 네트워크 경로 중 하나에서 오류를 시뮬레이트합니다.
나머지 네트워크 어댑터 중 하나를 사용하여 파일 복사가 계속되는지 확인하고 파일 복사 오류가 없는지 확인합니다.
 참고

SMB 다이렉트를 사용하지 않는 워크로드의 오류를 방지하려면 연결이 끊어진 네트워크 경로를 사용하는 다른 워크로드가 없는지 확인합니다.

https://learn.microsoft.com/ko-kr/windows-server/storage/file-server/smb-direct

tritob 2023-01

저도 이 내용을 보기는 했는데, Win 10 Pro for Workstation에서 가능하다고 내용이 나와있는데, 막상 연결해보면 어댑터는 장치 관리자에 보이는데, 공유폴더로 파일을 보내도 SMB2로만 전송되고 SMB Direct로 전송되지 않는게 문제입니다

제온프로 2023-01

방법이 있는 것 같습니다.
PC에서는 별 효용성은 없는 것 같은데.
주로 서버에서 MPIO 나 클러스터 서버들의 고속 데이터 입출력과
시스템 부하를 적게 하도록 설계된 고급 방식 같에요..
두 서버의 메모리를 집접 Access 한다고 하니까..  거의 인피니벤드 방식인데요.
광이더넷에서 빛을 발할 것으로 보입니다.  레이턴시가 중요해지니까요.


How Do I Enable Smb Direct on Windows 10

Disabling SMB Direct on Windows 10 prevents it from using advanced networking features such as RDMA. You can do this on both the server and client. This option must be enabled after the server restarts. Disabling SMB Direct is not recommended if you’re using an older operating system. Read on to learn how to enable SMB Direct in Windows 10.

First, let’s talk about what SMB is and how it can help you. SMB is a standard protocol for file sharing and Windows 10 now supports SMB 2.0 and SMB 3.1.1. Neither of these versions is a true replacement for the earlier protocols. Windows 10 users should understand the differences in the two and enable them accordingly. Listed below are some steps to enable SMB on your Windows 10 computer.

SMB is a client-server protocol. To access a network share, you must first establish a connection between the client and server. Windows computers have two services: LanmanServer and LanmanWorkstation. You can check the status of these services with the Get-Service Lanman* PowerShell command. After the WannaCry attack, people were told to disable this service. However, the Windows 10 operating system includes an option to disable LanmanServer and LanmanWorkstation services.


https://droidrant.com/how-do-i-enable-smb-direct-on-windows-10/


What is Windows 10 SMB Direct?
What is Windows 10 SMB Direct? This feature is built-in to Windows 10 and allows you to access files stored on other systems, such as a networked hard drive or external hard drive. It allows you to transfer large amounts of data with very little CPU intervention. You can enable this feature with the help of an appropriate hardware adapter such as a Chelsio T5 Series iWARP adapter.

READ ALSO:  Does Ring Doorbell Work with Windows 7?
The Windows Server 2012 introduced SMB Direct, a feature that improves access to SMB storage and overall performance. This technology makes use of RDMA (Remote Direct Memory Access) technology, which enables network data to be transferred directly from the network to application memory. To enable SMB in Windows 10, you must have administrative rights. Navigate to Control Panel and look for the SMB entry. Then click Enable and select the radio button next to SMB.

Disabling SMB Direct in Windows Server prevents Windows 10 from using advanced networking features such as RDMA. This can be done on both the server and the client, but you need to restart the server before you can use SMB Direct. The feature should not be enabled unless you’re sure that you can connect to it. This feature is not supported on Windows RT. If you’re using SMB Direct to share files between servers, you need to enable RDMA on the server to make it work.

제온프로 2023-01

SMB Direct 에서 Chelsio T5 Series iWARP adapter
이 장비를 요구하네요.
https://www.chelsio.com/nic/rdma-iwarp/

아무래도 RDMA 라.. 다른 Bus 로 가지 않고 메모리에서 상대 서버 메모리로 바로 가는 것 같습니다.
심박하네요.
클러스터링 이나 실시간 이중화 서버나 아주 중요하겠네요.

술이 2023-01

40G 썼을때 큰데이터 넘겨보면 네트워크 사용율은 하나도 안변하던데요?
FC 스토리지 넘기는것처럼 TCP/UDP 통신을 아예 안하고 메모리 to 메모리로 넘어가는거 같았습니다.

tritob 2023-01

혹시 서버 운영체제에서 운영하신건가요?? Win 10이 지원하는지 여부를 알고 계신가요??

술이 2023-01

40G 멜라녹스는 서버OS 아닌데는 블루스크린 뜨거나 안잡히는걸로 알고 있습니다. 리눅스계열은 아마 될거 같은데...
멜라녹스도 Pro 버젼이 아니면 안되는거 같더라구요.
막상 써보면 딱히 큰차이는 못느낍니다. 어느정도 속도 뽑아주면 그정도로 만족하고 쓰는편입니다.