쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
안녕하세요
스토리지 엔지니어인데 NAS 성능이 안 나와서 궁금한게 있어서 문의 드려요
간단히 적어보네요
1. 장비
DELL PowerScale ALL NVME
2. 네트워크 연결
NAS to L2 : 100G 연결
L2 to MAC 스튜디오 : 10G
L2 to Windows PC(10버전) : 10G
3. 성능 확인
대용량 파일(10~50GB)을 NAS에 있는 파일을 MAC으로 받으면 거의 800MB/s 1GB/s 속도 나옵니다(Windows PC동일)
대용량 파일(10~50GB)을 MAC 또는 Windwos PC에서 올리면 처음에는 1GB/s 잠깐 나왔다가 3-400MB/s 떨어집니다
크리스탈 디스크로 벤치 해보니 읽기 800MB/s이상 쓰기 350MB/s 선 나오더라구
* 어떤 문제인지 확인인데 아직 찾지 못 하였습니다
* 2대를 동시 연결해도 2대다 업로드는 3-400MB/s.....NAS 에서 총 700MB/s이상을 받아주고요 설계상 훨씬 많이 받아주는 스펙입니다
4. 문의 내용
- SMB 2.0과 SMB 3.0에 로직상 SMB 2.0으로 연결이 되면 업로드시 속도 저하 부분이 있을 수 있을까요?(x% 단위가 아닌 xx%단위)
* SMB 프로토콜 부분을 이해 못 하는 부분도 있어서
- 네트워크에 MTU값을 기존 1500에서 9000(점보 프레임)으로 변경시 업로드에서 유의미한 성능향상이 있을 수 있을까요?
* 업로드 700MB/s이상에 성능을 고객이 요구하는데.......의미가 있을려나
추가로 PC 또는 MAC 설정을 건들께 있을까요?
감사합니다
반토막은 조금 이상해서요........
레이드는 아니고 Erasure Code로 되는데요 레이드랑 비슷하긴..한데.....이거때문인가.....모르겠네요
그럼 그룹노드끼리 데이터 동기화때문에 쓰기속도가 떨어지는건 맞을거 같기도...(노드끼리는 100G 정도로 붙여줘야 쓰기속도 안느리긴 할겁니다)
보통 NAS는 쓰기속도에 목숨걸지 않는데(블럭스토리지면 모를까)
EMC의 하이엔드 NAS죠.. 구성은 걱정할게 아닙니다..
스토리지 성능도 중요하지만 용량도 중요하기에 RAID 5/6는 거의 기본일겁니다..
그리고 정확한 스토리지 모델이 없지만 그냥 플래쉬 스토리지에 100G 하나 연결되어 있다라고 생각할 수 밖에 없네요..
SMB 특성에서 개선할게 있나 문의한 내용입니다.
용량이 페타 단위라.....
DELL PowerScale ALL NVME 장비에 어떤 모델의 NVME가 들어가 있는지 확인해보았습니다..
INTEL (솔리다임) P5316 NVME를 사용하는 것으로 보여집니다..
https://www.storagereview.com/review/intel-p5316-ssd-review-30-72tb
INTEL P5316 NVME 를 검색해보았습니다..
개인적인 의견입니다..
리뷰에서는 읽기쪽에 좀더 최적화한 NVME 로 나오고 있으며 스팩에서 읽기는 7000MB/s 쓰기는 3200~3600MB/S 로 나오고 있기에
NVME의 한계로 인해 읽기는 쓰기의 반토막이 날 수 밖에 없을 것 같습니다..
아무래도..
경험상 저런 경우는 네트워크 설정 / SMB 구성 문제인 경우가 대부분이었습니다.
속도가 유지 안 되고 0 찍는 현상이 있어서
패킷 보니깐 Windows 사이즈가 떨어지는 현상을 문의 했더니, 알려진 버그라고 별도로 패치 한적 있었습니다.
새 장비로 최신 버전으로 납품 되었는데도요.
점보는 연결을 L2일 때만 하세요. 양쪽과 스위치 모두 9000설정되어야 합니다
중간에 스위치가 1500이면, 패킷 드롭 또는 디프레그로 스위치 과부하 걸립니다.
무지 많습니다.
- 네트워크에 MTU값을 기존 1500에서 9000(점보 프레임)으로 변경시 업로드에서 유의미한 성능향상이 있을 수 있을까요?
거의 없습니다.
-Erasure Code
성능과 거의 관련 없습니다.
문제는 MAC의 SMB가 후저서 그렇습니다.
아래와 같이 해보세요
1. PowerScale SMB 옵션에 OPLOCK1,2,3 가 있으면 모두 enable
2, PowerScale SMB 옵션에 sendfile 사용 옵션이 있으면 enable
3. AFP를 사용할 수 있으면 그거 사용. 즉, Win은 SMB3, MAC은 AFP. 주의할 건 동일 1개의 DIR에 2개의 SHARE에서 접근이 가능토록 설정해야 함
Erasure code 라는 게 쓰기 작업시에 패리티 연산과 블록 기록에 자원이 많이 소모되서 속도가 안나오는지 검증 하는 게 관건 같습니다.
위 박문형님이 알려주신 P5316 NVME 의 스펙대로라면 단일 NVME 하나로도 읽기 7GB, 쓰기 3.2 ~ 3.6GB 라서, 장비 2대가 동시에 쓰기를 해도
속도가 보장이 되어야 할 것 같습니다. 따로 이런 부분이 확인이 가능하면 테스트 할 여지도 있을 것 같고요
일단 EC 자체가 레이턴시 영향을 많이 받습니다. Dell Powerscale 에 10Gbe면 CPU 성능 문제는 아닐테고 노드간 구성이 어떻게 되어있는지부터 살펴봐야 하지 않을까 싶습니다.
점보프레임은 특별한 경우가 아니라면 손대지 않는걸 권장합니다.