안녕하세요!
고수님들의 조언과 방법을 듣고 싶어서 이렇게 글을 써봅니다.
저는 영상을 만드는 회사(CG업체)에서 일을 하고 있습니다.
이번에 어떤작업을 하나 하게 되었는데. 프로젝트가 많이 무거워요. 한 씬당 모아보면 3~5기가 정도.
예전 작업은 쓰는 프로그램이 달라서 그런지 많아봤자 1기가 정도 였습니다.
또 렌더링을 거는 PC도 그닥 많지 않아 한번 돌때는 최대가 10~12대 정도면 괜찮았거든요.
그러나 최근 쓰는 프로그램을 바꾸면서 렌더를 거는 PC가 많아지고(약 30대가 돌아갑니다.)...
네트워크에 부하가 많이 걸리는지 작업을 할때 많이 느려지네요..
저희 회사의 네트웍을 이미지로 표현하면 위의 그림과 같습니다.
기본적으로 저희는 내부에서 "작업"만 하므로 서버는 파일서버에 국한됩니다.
그리고 빨간선은 랜선 1개로 연결되어있고 파란선은 랜선 2개로 연결이 되어있네요.
서버는 2012를 쓰고있으며 랜선 티밍은 server 2번에 테스트중입니다.
그리고
server1은 SAS 하드로 Raid 0번으로 하드1:1로 쓰고있습니다.
server2는 SAS 하드로 Raid 1번으로 하드5개를 하나로 쓰고있습니다.
server에 들어가는 하드는 10000 Rpm이라고 알고 있습니다
현재 server1에서 작업을 하고 있는데 렌더링PC를 돌리며 작업을 하니 부하가 많이 걸리는지 파일을 읽어들이는데 시간이 많이 걸리네요.
작업할때는 3기가를 한번에 읽어들여 작업을하며 부분부분 저장을 하구요.
렌더링은 렌더PC 한대당 평균 2~30분마다 3기가 정도를 읽어내고 200mb의 결과물을 저장합니다.
현재 네트워크가 부하가 걸리지 않을때
작업PC -> server로 2기가의 파일을 전송할땐 108~115MB/초 정도의 속도이고
작업PC <- server로 2기가의 파일을 전송할땐 80~90MB/초 정도의 속도입니다.
부하가 걸릴시는 기본 5~60% 퍼포먼스를 내내요.
여기서 제가 어떤일을 해야 네트워크 부하가 줄어들수 있을까요?
하드 1개로 저런 짓하면 하드 빨리 죽으라고 하는 것입니다.
현재 예전에 기기를 담당하시던 분이 그렇게 해놓으셨어요. ㅠ_ㅠ; RAiD를 별로 않 좋아하셔서..
저런 하드가 8개 총 4개드라이브로 되어있구요 이번 프로젝트가 끝나면 RAID 10으로 합칠 예정입니다.
말씀하신 하드는 SAS와 SATA중 일반 SATA하드를 말씀하시는거지요?
레이드카드들에는 보통 하타치나 도시바 하드가 재일 특성을 덜 탑니다..
7200rpm으로 히타치 NAS 하드 알아보세요..
현재 SAS 용 RAID카드가
LSI사 SR-BR10i 인데 이 카드는 퍼포먼스가 많이 떨어지나요?
자꾸 죄송해요.. ㅜ_ㅜ
제가 이런쪽에 지식이나 취미도 없어놔서..
갑자기 하려하니 너무 힘들어서요..
캐쉬있는 레이드카드가 비싸기는 합니다만 부하가 많이 걸리는 작업에 는 최고입니다.
네트웍은 가능하시면 두개의 허브를 4포트 정도로 트렁킹해서 묶어버리세요..
이번 프로젝트가 끝나면 말씀해주신 사항 하나하나 다 해보겠습니다.
혹시 아답텍외에 레이드카드 추천해 주실만한게 있으신가요?
가끔 장터에 올라오는 물품들 잠복해보려구요.. ^__^;
물론 4포트 랜카드가 필요하구요.
작업PC도 2포트 랜카드로 교체하고 티밍을 하면 좋겠지만, 허브의 포트수가 부족할지도?
RAID 카드를 좀더 캐쉬램이 큰걸로 교체하시기 바랍니다.
캐쉬램이 2GByte 정도 되면 성능항샹이 꽤 있을겁니다.
돈을 투자할 여력이 좀 더 된다면 대용량 SSD 를 쓰는 것도 방법입니다.
다만 SSD는 RAID로 묶지 않는게 좋습니다.
OS가 설치되는 영역과, 임시데이터가 쌓이는 공간을 SSD로 바꾸면 좋습니다.
허브가 단독형 허브인지라 여러개 스택으로 쌓아서 대역폭 늘리기기 쉽지는 않을 것입니다.
돈을 들이고 싶으시면 저런 HP 장롱짝 허브에 기가빗 모듈이나 10G모듈을 박아서 확장하고 집중시키면 좀 더 좋은 네트웍 퍼포먼스를 낼수 있습니다.
문제는 돈..
그닥 여유가 있질 않아서 저희가 가지고있는 장비 내에서 최대한 끌어 올려볼 생각입니다. ㅠ_ㅠ;
보여주신 허브는 정말 좋아보이네요!
사실 10g 랜카드와 케이블을 샀는데 허브에 맞지 않아 울고 있습니다. ㅠ_ㅠ;
이번 프로젝트 끝나면 조언 주신대로 할 것 같습니다.
문제는 하나도 모르는 문외한이라.. @_@;
(전혀 상관없을수도 있지만, 쉽게 도전해 볼수 있는 방법이니,,, 함 해보시는것도 좋지 않을까? 생각합니다.)
바로 iptime 교체 입니다. 요즘 나오는 고사양 라우터(ac2600, ac3200, ac5300, ac5400 지원하는 공유기-속도가 높을수록 빠름)로
바꿔보시는걸 추천해봅니다.
추천 사유? (성능개선의 경험)
linksys 4200v2 공유기에 연결된 서버에서 Plex Server를 이용하여 동영상을 시청하는데... 유독 하나의 짧은 뮤비가 재생시 특정시점에서 약간의 불규칙성은 있으나,,, 끊김이 발생하고 있었습니다.(FireTV사용)
처음에는 Plex Server가 트랜스코딩하는데,, 컴퓨터 성능이 부족하여 나타나는 증상인줄 알았습니다. 하지만, 정기점검(윈도우 업데이트) 중, 부팅이 되지 않는 현상이 발생하여(6년동안 혹사시켰습니다) i7-6700k로 업그레이드까지 하였으나,,, 특정 뮤비에서 끊김현상이 동일하게 발생했습니다.
그렇게 사용하던 중 기존에 관심이 있었던, vmware에 pc router를 설정하였고,,, 습관적으로 재생시 끊김이 발생하는 동영상을 재생해보니,,, 끊김증상없이 재생되는 경험을 했습니다.
이후, PC기반 라우터로 변경하여 사용중이며, 더 이상 끊김 증상은 나타나지 않고 있습니다.
결과적으로 고사양 라우터에 연결하여 해결이 된듯합니다 ^^
문제의 끊김이 발생했던 뮤비는 60Hz(576MB) 짜리 뮤비였습니다
윈도우에서 직접재생 끊김이 없었으나 유독 Plex Server를 이용한 방법시에만 끊김이 나타난 파일이였습니다
사실 iptime은 그저 외부망 연결용입니다.
간단한 인터넷 접속과 DHCP서버역할.. ^_^;
부하가 걸릴 때 Server I/O가 밀리면서 네트워크가 밀리는지, 네트워크 대역폭 문제로 발생하는 문제인지를 알아야 구조 개선의 포인트가 나오겠지요.
ps. Render PC 쪽 스위치 48포트 짜리 아닌지요?? 24포트라면 30대가 물릴 수 없겠지요?
48포트 짜리면 포트 여유가 있을테니 Server를 Render PC 스위치 쪽으로 옮길 수 있다면 옮겨보세요. (큰 비용 들지 않는 부분)
프로젝트가 끝나면 보내주신 조언대로 시도해보겠습니다!
SSD로 하기엔 요즘 경기가 너무 않좋네요. ㅠ_ㅠ; 저희가 3~4테라정도 작업 용량을 생각하는데
1080p로 작업을 할 경우 그것을 훨씬 넘을 것 같습니다. 그걸 SSD로 하면 좋을텐데...
8개나 되는 비싼 SAS 하드를 그냥 놀릴수도 없어서요. ㅠ_ㅠ;
일단 저희가 가지고 있는 허브에서는 10g를 지원하지 않는것이 슬플 뿐이지요.
현실적인 방안이라면...
서버에 랜카드 1개 더 달고 각 랜카드 당 15대의 pc에서 접속해서 사용하며 작업용 디스크 역시 분리하는 것입니다.
10~12대의 pc조건에서는 별 문제가 없었던 이유는 저 조건에서 15대의 pc에 필요한 대역은 대충 80MB/s 정도 되기 때문에 기가빗 랜카드 1개만 있어도 네트웍 대역은 문제가 없고 보통 10k SAS HDD는 읽기 성능이 충분히 그 정도 이상은 됩니다. 아주 구형이 아닌 한...
그런데 이 대역이 2배가 되면 문제가 발생하겠죠. 기가비트 랜카드는 확실히 1개 더 필요하고 거기다 HDD의 읽기 성능이 발목을 잡을 가능성이 높아집니다.
동일한 서버를 2개 사용하는 방법도 있지만 비용이 부담이라면 HDD만 1개 따로 할당하고 랜카드 하나 더 붙여서 작업pc를 15대씩 각기 할당해서 사용하면 버티긴 할 겁니다. 당분간은...
이런 작업엔 가급적 엔터프라이이즈용 HDD를 추천합니다. 파일크기가 커서 용량이 좀 필요하시겠지만... 작업 데이터를 날리는 것 보단 나을겁니다.
그런데 5개의 HDD를 RAID 1으로 사용하는 이유가 있나요?
전 담당자가 raid를 신뢰 못하신 것 같습니다.
그만한 작업도 많이 없었고.. 이제 프로젝트가 끝나기만 기다리고 있습니다. ^_^;
일단 계속 이 부분에서 프로젝트가 끝나기 전까지 계속 여기저기 알아보고 있어야하는 상황입니다.
도움드릴일 이나 제가 도움 받을 일이 있을꺼 같은데 쪽지로 연락 주시면 저희쪽 환경이나 말씀드릴께 많을거 같네요 ^^
CG하면서 이걸 관리하려니 너무 힘드네요.. ㅠ_ㅠ;