안녕하세요 저번에도 글을 올렸던 사람입니다.
저희 회사는 디자인 회사구요. 매일매일 JPG를 찾는 작업을 하는 회사입니다.
저희 회사 서버는 윈도우 2019 입니다.
파일 서버로 쓰고 있습니다.
저희 회사 서버에 연결되어 있는 워크스테이션은 열다섯대입니다.
디자인 파일이 굉장히 많습니다 (jpg, psd etc...)
인덱싱 서비도 돌리고 있습니다.
워크 스테이션이 윈도우 7쓸때는 파일 익스플로우에서 서치 하면 빨리 뜨고 문제가 없었습니다.
이번에 dell xps 8950 I9 12900k 64G ddr 5 memory, 삼성 980 1 TERAPRO로 윈도우 11 프로로 바꾸었습니다.
그래픽 카드는 NVIDA 3060 TI 를 사용하고 있습니다. 2.5G 랜카드와 2.5G 스위치를 쓰고있습니다.
그리고 나서 네트워크가 너무 느려지고 서치하면 썸네일이 빠르게 뜨지 않고 썸네일도 정말 느리게 뜹니다.
READ SPEED가 500-600 MEGA BPS로 나오고 WRIGHT SPEED는 400-500 MBPS로 나옵니다.
어떻게 하면 네트워크 스피드를 더 빠르게 쓸수있을까요?
이밑에 리스트들이 우리 회사 안에서만 쓰는 공유 서버입니다. (인터넷으로 쓰지 않아도 공유 가능합니다.)
제발 좀 도와주세요. 정말 답답해서 죽겠습니다.....
많은 조언 부탁드립니다... 아! 윈도우 10으로 바꿨는데도 스피드가 똑같습니다.
안칠현님 저희가 여기에 테그를 검색해서 쓰고 있습니다.
이명식
우선 테스트로 한대만 OS를 윈도우 10으로 바꿔보셨으면 합니다..
그리고 아직까지 2.5G 스위치 허브는 논메니지먼트 8포트에 머물러 있습니다..
24포트 2.5G 스위치 허브는 없습니다..
만일 놀고 있는 1G 메니지먼트급 스위치가 있다면 교환해보세요.. (대략 24포트에 30~40만원 정도 하는 제품)
전체적인 속도는 느려질 수 있지만 끊긴다던가 멈춘다던가 하는 비율은 적어질 수 있습니다..
그 외 데이터 파일을 저장하는 파일 서버 사양이 궁금합니다..
자잘자잘한 파일이 많고 여러 사람이 공유해서 사용하면 일반적인 SATA HDD로만 사용하면 느릴 수 있습니다..
(레이드로 묶은 것 같긴 한데 어떻게 묶었는지도 모르겠고 하나의 파티션에 데이터가 너무 많이 몰려 있는 것도 문제 같아 보입니다..)
디스크 I/O를 높일 수 있는 방안이 필요할 듯합니다..
전 질문에서 아이티 담당자와 의견 충돌이 있다고 말씀 하신 듯한데 제가 볼 때는 디자이너가 짤리는게 아니라 아이티 담당자가 짤려야 할 것 같은데요??
그리고 지금의 질문에서도 모가 문제인지 짐작할 만한 정보는 여전히 부족합니다..
네 저는 디자이너구요 지금 아이티 하시는분에게 그때 달아주신 답글에 대한것들을 알려드리니 글을 써달라고 하셔서 제가 대신 받어 적어드렸습니다.
2.5g management switch qnap managed switch 입니다. 아마존에서 구입한겁니다.
위에 사진 첨부 하였습니다.
서버는 intel I7 12700k 32g ddr 5, OS samsung 980pro 1T , data samsung 980 pro 2t m.2 에 저장합니다.
위에 첨부된 두번째 사진을 보시면 파일 갯수랑 폴더 수, 데이타 양을 보실수 있습니다.
레이어로 묶인것들 없습니다. 하나의 파티션에 저만큼(첨부된 두번째 사진) 있습니다.
2.5G 랜에 대해서는 이 사이트 어느 게시판에 보면 온보드 된 인텔 2.5G 랜칩은 3번이나 리버젼을 하였지만 퍼포먼스도 재대로 안나오고
이것저것 문제가 많다라는 글이 있고요..
아마존에서 구입했다면 기술지원 문의나 AS 같은 것이 국내총판에서 아마 해주지 않을 겁니다..
제조사 본사하고 이야기 해야 합니다..
전체적인 네트워크 망도에서 몇대의 컴퓨터가 어떤 파일서버에서 어떤 프로그램으로 작업하는데 이런 저런 문제가 된다라는 좀 더 세밀한 정보가 필요합니다..
지금의 정보로는 파일 서버 컴퓨터에서 2.5G 스위치 허브로 연결해서 사용하다가 OS 바꾸니까 갑자기 느려졌어요..
라는 것 정도 밖에 파악이 안됩니다..
파일서버 컴퓨터에 몇대의 컴퓨터가 접속해서 어떤 부하를 주는지 파일 서버 컴퓨터에서 뿜어져 나오는 데이터 속도가 얼마나 되는지 모릅니다..
컴퓨터 문제인지 네트워크 문제인지부터 채크 해보셔야 할 듯합니다..
https://namu.wiki/w/10%EA%B8%B0%EA%B0%80%EB%B9%84%ED%8A%B8%20%EC%9D%B4%EB%8D%94%EB%84%B7
10기가 이더넷 이야기지만 상용화현황 보면 2.5G 이더넷 이야기도 들어 있습니다..
https://www.2cpu.co.kr/freeboard_2011/1576307
오늘 올라온 인텔 2.5G 불만 글입니다..
썸네일 느리고 빠르고, 서치되고 안되고를 떠나서..
네트워크 속도가 정상인지 확인해서, 네트워크를 문제에서 제외할지 안할지 결정해야 합니다.
그냥 큰 파일(최소 1G 이상, 가능하면 수기가 정도되는)을
클라이언트 --> 서버로 카피할때 속도
서버 --> 클라이언트 복사속도를 체크해보시고
속도가 1Gbps 이상나오면 네트워크를 정상입니다.
이경우 랜카드/스위치/SMB 이슈는 문제에서 제외할 수 있죠..
속도가 1Gbps 안나오고 100M ~ 200M 수준에 머물러 있으면
네트워크 문제입니다.
먼약 파일 카피할때 속도가 느리긴 한데..
SMB 버그 이슈인지 아닌지 확인하려면 SMB 아닌 다른 프로토콜을 이용하는
네트워크 벤치 프로그램을 이용해서
속도테스트를 하는 것도 방법입니다. ( 예: iperf 등 )
다른 프로그램으로는 정상이라면 SMB 이슈가 원인일 수 있구요.
랜카드/스위치가 이슈라면
1Gbps 랜카드 하나 끼우고, 스위치고 1Gbps 되는것 하나 설치해서
둘사이 속도테스트해보면, 2.5G 랜카드/스위치 문제인지 확인가능하구요.
하나씩 하나씩 문제가아닌 부분은 제외하거나 다른 것으로 대체하면서 나가야지
그냥 전체적으로 느리다 문제다 하면 진도를 못나갑니다.
인덱싱 서비스가 영향인지 아닌지 확인하시려면
서버와 클라이언트 두곳모두 윈도우즈 인덱싱 서비스 끄시고 테스트해보시구요.
프로세스 상태 보시면 인덱싱 서비스가 남은자원 열심히 먹고 있을 수 있는데
사실 처음한번 인덱싱이 마무리되면 이후로는 크게 영향을 미치지 않습니다.
클라이언트PC가 아무리 좋아봤자 네트워크는 좀 달라요.
저희는 사무실 전체 네트워크와 PC가 Full 10Gbps 로 되어있어도
SMB가 문제가 아니라 윈도우10 자체의 네트워크드라이브 물고있는 유지상태가 왔다갔다해서
그냥 레이드라이브로 webdev 로 사용합니다.
PC도 전부다 NVME라서 평균 전송속도 초당 800MB~1GB 찍어줘도 서칭이랑은 별개인것 같네요.
윈도우 설정에서 SMB1.0 끄셔야하구요. 3.0만 켜두세요.
jpg 검색이 주라면.. 어도비 파이어웍스 나 ACDSEE 쓰셔도 좋으실텐데요?
저희도 비슷한 고민 하다가 지금은 내부 데이터베이스 구축해서
파일에 태그도 달아서 웹상에서도 로컬 이미지,영상을 쉽고 빠르게 찾을수있게 구축은 했습니다만..
psd 까지 검색하려면 파이어웍스가 젤 낫지 않을까 싶네요
홀릭님께서 쓰신
(저희도 비슷한 고민 하다가 지금은 내부 데이터베이스 구축해서
파일에 태그도 달아서 웹상에서도 로컬 이미지,영상을 쉽고 빠르게 찾을수있게 구축은 했습니다만..)
에 대해서 어떻게 하신건지 알려주시면 너무 도움이 될것같습니다.
==> 지금은 어떤식으로 파일을 서치하고 썸네일을 보는지?
7에서 잘 돌아가던 파일익스플로우(?) 라는 프로그램이 10이나 11에서는 문제가 있을 수도 있기에...
다른 이미지 서치/썸네일 확인 프로그램으로 테스트해보시구요.
윈도우11은 아직까지 여러가지로 문제들이 많습니다.
네트워크는 10G로 바꾸는게 나은 선택일겁니다.
물론 돈 많이 깨지겠지만..
모든 컴퓨터가 SMB 3.X.X 프로토콜로 잘 동작하고 있는지도 확인해보세요.
그리고 나머지는 튜닝 및 정책의 문제이겠네요.
파일을을 찾는건 어쨌든 느립니다. 데이터가 증가할수록 더욱더 느려집니다.
소규모 데이터베이스에 이름이라도 넣고 인덱싱처리해서 검색해야 빠르죠.
종류별로 1차 분류라도 해놓는게 나을테고요.
데이터와 업무량이 늘어나면 한계는 금방 찾아옵니다.
회사업무에 맞는 별도의 서비스를 개발해야 될겁니다.
2. 서버컴이나 네트웍 작업pc의 문제인지 테스트하는건 서버컴에서 십수기가짜리 영상파일 하나 복사 붙여넣기해서 평균속보도면 네트워크단 문제인지 pc단 문제인지 아님 아무문제없는지 금방체크가능합니다.
2.1 아마도 (2)를 해봐도 별 문제 없는데? 하고 의아한 결과가 나올겁니다. 말씀하신것만 봐서는 총 트래픽 문제보단 작은 수백수십수천 혹은 수십만 파일을 매번 스캔하니 네트워크파일을 요청할 때마다 통으로 스캔하는 네트워크 공유 프로토콜의 동작구조 특성상 오버헤드(작동과부하)로 서버와 작업pc 둘다에 과부하가 생겼을거라 봅니다.
2.2 (2.1)의 문제가 맞다면 아무리 자잘하게 돈을 부어봐야 하드웨어 증설로의 접근을 통한 해결책은 안나옵니다. 그 순간 뿐입니다. 그렇지만 그래도 가장 단순하게 효과볼 수 있는 방법은 그냥 사내 모든 pc와 서버의 pci슬롯에 랜카드를 추가로 꼿고 스위치 포트에 선꼿는 겁니다.. 소규모트래픽 다중간섭으로 느려지는건 이거이상 없습니다.
3. 장기적으로 간다면 s/w접근으로 가야 이깁니다. 윗댓에 말씀하신분들처럼 그냥 파일서버에사 구축해도 상관없는 수준이고, 아무 dbms깔고 테이블단위 인덱싱하되, 인덱싱자체는 db에 이미지 썸네일 바이너리를 붙이고 파일경로를 필드정보에 담아서 레코드로 저장하면 서버가 최초에 파일 저장할 때나 약간 느려질뿐 거의 몇백만개 파일까진 평균 1~3초컷 검색 속도가 나옵니다. 사실구현도 그닥 어렵진 않습니다. (코드 몇줄) 다만 이런저런 설계에 시간이 좀 걸립니다. (복사해서 가져올 때도 파일 많으면 묶어서 압축해서 덩어리로 보낸다는 등)
4. 좀 많이 고급(?)의 접근방식은 hdfs체제로 바꾸는건데.. 배보다 배꼽이 더 클것같아 요건 생략합니다.
5. 몇명의 직원이 몇 대의 컴터로 일하는 회사인지 몰라도 사람이 작다면 싸구려컴터를 중간중간 여러대 놓고 업무 외 시간에 해당컴터와 파일서버간 폴더 동기화를 돌리고 접근하는 파일서버를 각각 나눠서 쓰는법도 있습니다. 참고로 2.2보단 빠르고 3보다는 느립니다.
네트워크 속도 이슈보단 디스크 동시성 랜덤IO가 못받쳐줘서 느려진게 아닐까 싶네요. 자잘한 그림파일들은 메모리/SSD 캐싱을 이용해야 하는데 아마 순수하게 디스크 IO로만 파일공유를 하기 때문에 네트워크 대역폭보단 서버 성능이 느려진게 아닐까 싶네요. 클라이언트단이 느릴때는 딱히 문제점이 안보이는데 서버보다 클라이언트가 빠를때는 한두대면 상관없지만 여러대가 붙었을때는 엄청 버벅거립니다.
#1 하나의 파티션(디스크)에 너무 많은 파일을 넣어서
#2 다중 랜덤 부하에 파일서버의 디스크 I/O 가 견디지 못해서
A1 : 작고 억세스가 빠른 SATA SSD를 여러개 설치해서 각 디랙토리별로 각 SSD에 파일을 분산하여 파티션의 파일 갯수를 줄인다..
A2 : 프리모 캐쉬(유료)를 올려 본다..
A3 : 캐쉬 달린 레이드 카드와 용량 작고 억세스 빠른 SAS HDD 여러개로 레이드 볼륨을 묶어서 사용..
어떤 것이 적합할까요??
PS : 작업데이터는 백업을 원활히 하고 있나요??
어떤 스토리지든 백업 재대로 안하다가 고장나거나 작살나면 데이터 망실됩니다..
가능하면 독립된 장비에 3차 백업까지 해두는 것이 좋습니다..
데이터 풀은 data samsung 980 pro 2t m.2 ==> TLC 인데 너무 신뢰 하는 것은 아닌지..
일단.
서버 자체도 문제고
NTFS 로 되어있는 것도 문제고.
Windows 11 인것도 문제고
Ethernet 2.5Gbps (intel or RealTek) 이것도 문제고.
2.5G 스위치는 모르겠고.
전문가가 없는 것도 문제고..
위의 회사는
안정적인 고속 파일서버가 필요한 곳이군요.
네트워크 아니면 SSD 문제인데..
SSD 쪽을 보면 입출력문제.. 누가 방해 하나 ??
금융보안프로그램 아니면 백신등이 조사한다고 입출력을 검사.... => 이런쪽도 검사 하기 바랍니다.
SSD가 너무 뜨거워 죽을라고 하는 것은 아닌지... ==> 이것도 검사..