1901;팔리면 1656;문Ȣ16;1648; 맙시다. 소1473;한 NJ13;변 댓글1012; 삭1228;Ȣ16;lj16;,148; ǥ12;-124;러운 1068; 1077;니다 
안녕Ȣ16;세요. 감기가 유행1077;니다. 모.160;들 1312;심Ȣ16;시기 0148;랍니다.
내용1012; 요약해서 Ǹ16;/140;고 했lj16;데 1096; 안 .104;서, 그냥 포기Ȣ16;고 길,172; 씁니다.
현1116;, 사내ኖ1; 1473; 서버 사용 환ᅆ1;1060; 
1200;1109;1109;치 -- 10Gbit L3 * 2 --+- 연산서버 1, 2, 3, ... 
                                +- 1064;1613;서버, 기타መ1;መ1;
와 같습니다. 
문1228;lj16;, 1200;1109;1109;치를 프/196;1229;트 1652;행할ǐ12;마다 늘/140;놨더니, 초기에lj16; 문1228;가 .104;1648; 않았Nj12; I / O 1901; 1060;야기가 나왔습니다. 
1200;1109;1109;치1901;1060; lj12;/140;서 연산 결과가 늦,172; 나온다lj16; ,144;1424;.
1060;래1200;래 대처 0169;법에 대한 1060;야기가 나왔lj16;데, 그 1473; Ȣ16;나가 1200;1109;1109;치를 Controller 포함 구매 Ȣ16;lj16; ,161;니다.
현1116; 1200;1109;1109;치lj16; Dell Unity XT 를 사용1473;1077;니다. 
1060; 1109;비1032; 구성1008;, 크,172; Controller + Enclosure /196; 구성.121;니다. 
controller lj16; 2.51064;치 SAS SSD(ᕬ1;1008;HDD) 1032; I/O를 NJ12;NJ17;Ȣ16;고, 
Enclosure lj16; 1200;1109;1109;치 용량1012; 늘리기 위한 케1060;스 역할1012; 합니다.
1593;, 초기에 controller 만 사용Ȣ16;다가, 추가가 필요Ȣ16;면 Enclosure + HDD(SSD)를 추가해서 용량1012; 늘리lj16;,144;1424;.
회1032;에서lj16;, 
I/O 가 몰리lj16; ,144; 같1004;니, Enclosure 만 사1648; 말고 Controller 도 같1060; 사1088;. 그래야 I/O 병목1060; 해소.108;다. 
라lj16; 1060;야기가 나왔습니다.
그런데, 내용1012; 1221;리Ȣ16;다 보니 아래와 같1008; 1032;문1060; 들더라고요.
1. L3 lj16; 안 사도 .104;나?
트래픽1060; 몰리lj16; = lj12;/140;1648;lj16; 곳 원1064;1008; , 현1116; ǥ16;석1004;/196;lj16; DISK I/O /196; 보1077;니다. 그래서 대책도 "1200;1109;1109;치용 IO Controller 를 Ȣ16;나 더 사1088;" 라lj16; 대1025;1064;데. 그와 별개/196; ᇼ1;1068; L3 에 1200;1109;1109;치도 늘Ǻ12;나고, 연산서버도 늘Ǻ12;나면 트래픽1060; 늘Ǻ12;DŽ16; ,148;데... 늘Ǻ12;DŽ12; 트래픽1012; 감NJ17;Ȣ16;기 위해서 L3를 더 안 사도 .104;나?
라lj16; 생각1060; Ǐ17;니다. 
2. 현1116;1032; 병목 현상1012; 측1221;할 수 1080;lj16; 0169;법1060; 없1012;까?
I/O 에 병목현상1060; 생긴다lj16; ,148; 프/196;그ǖ16; 실행 시 0156;생Ȣ16;lj16; 값들1012; 보고 추1221;한 ,161;니다.
그런데 그와 별개/196; Network , IO መ1;1012; 따/196; "편Ȣ16;,172;" 측1221;할 수 1080;lj16; 0169;법1060; 1080;1012;까요?
현1116; 사용1473;1064; 서버lj16; DELL 1064;데, DELL 1032; IDRAC 에lj16;  IO ᕬ1;1008; 네트워크 트래픽1012; 그래프/196; 볼 수 1080;습니다.
그런데...뭔가 불편해요. console /196; 값들1012; 확1064;할 수 1080;1004;면 1328; 더 낫,191;다lj16; 생각도 들고.
3. 트래픽1012; 1124; 수 1080;lj16; 1068;0152;1201;1064; 솔루션?
근본1201;1004;/196; , 보통 시스템에서 IO 와 NETWORK 1901; ǥ12;Ȣ16;를 볼 ǐ12; Ǻ12;떻,172; 보나요?
1060;상1077;니다. 모.160;들 1600;,144;운 Ȣ16;루 .104;시기 0148;랍니다. 감사합니다. 
10Gbit이면 1.25GBps인데, 레이드를 어떻게 구성하셨을진 모르지만 네트워크단에서 병목 걸리는것도 배제 못 합니다.
SATA SSD 3개만 레이드0으로 물려도 시퀀셜 스피드는 10gbe로는 감당 못 합니다.
또는 대량의 자잘한 파일이 주로 오가는 구조라면 단순 이더넷을 통한 통신은 오버헤드가 상당합니다.
Dell Unity XT 검색해보니 여러가지 모델이 존재하네요..
어떤 모델을 사용하는지 그리고 네트워크에 어떤 속도로 몇포트가 어떻게 셋팅되어 있는지 어떤 스위치를 사용하는지 정도의 스펙은
있어야 할 듯합니다..
어떤 프로그램(서버가)이 어떻게 부하를 주는지는 모르지만 은근히 요즘은 40G 스위치나 100G 스위치도 사용합니다..
특히나 딥러닝 같은 것 들어가 버리면 100G 까지 가버리는 듯합니다..
디스크라면 queue length, latency, iops, disk i/o
네트워크라면 Bytes Send, Total 등등...
병목이 어디인지 확인하시려면 cpu, memory, disk, network 모두 baseline 에서 벗어나는 놈을 찾으시면 됩니다.
트래픽을 보시려면 mrtg만한게 없지요
좀 수고스럽죠.
시스템 설계만 봐도 알수는 있습니다.
시스템 아키텍쳐 영역이네요..
연산 노드가 여러대이고.. 스토리지 사용량이 연산중 계속 사용하는지..
연산 준비와 연산 끝에서만 사용하는지 따라 많이 다른데..
10G Ethernet은 무조건 병목이겠네요..
보통은 40G 나 100G로 하는데요..
저장장치는 Dell Unity 480 모델입니다. 이 모델은 포트가 8개 있고, 10G 선이 물려있으니 총 10G * 4회선 = 40Gb 일 거고요.
L3 모델이 DELL Networking S4128T-ON 이고, RJ45 포트 하나당 10Gbit 입니다. 포트는 24 + 2 + 4개가 있고, 전체 처리 용량은 대당 960Gbps 입니다..
QSFP 포트 ( QSFP+ 인지는 모르겠습니다. ) 가 있어서, L3 두 대는 QSFP( 혹은 QSFP+ ) 케이블 40G 짜리로 묶여 있습니다.
저장장치 Unity XT 와는 10G UTP * 4 개 * 이중화 로 묶여 있습니다. = 저장장치 컨트롤러에 랜카드가 10G * 4 로 A B 두개 총 8개가 있는데, 이것도 L3에 다 물려 있는거죠.
연산서버 <-> L3 * 2 <-> 저장장치 구조에서, 저장장치와 L3 가 10G * 4(4회선) * 2( A B 이중화 ) 로 연결되어 있습니다. 그래서 네트워크 부하는 이야기 안 나온거로 보이긴 합니다.
그리고 근본적으로 연산서버는 OS 만 들고 있고 모든 작업결과는 저장장치 unity 에 저장되니, 각 연산서버 간 파일이 오고 갈 일은 많이 적긴 합니다. 없다고는 말 못합니다만...
적어주신 내용들로 다시 검토든 확인이든 해 보고, 모르는 내용이 있으면 다시 찾아보던가 질문드리던가 하겠습니다.
이상입니다. 모두들 답변 감사드립니다.