안녕하세요.
지인분께서 3d 렌더팜을 구축하시려고 하는데, 제가 이쪽은 경험지식이 짧아서 회원님들께 문의를 드립니다.
다른건 인터넷에서 찾아보니, 리눅스로 클러스터 노드 구축하는데 별로 문제될거는 없는데,
두가지 정도 궁금한 사항이 있습니다. 스토리지 구성이라 네트워크구성은 주로 어떻게 하는지 궁금합니다.
스토리지쪽은 보니까.
그냥 클러스터 파일 시스템으로 병렬로 많이 하시는지. 아니면 SAN/NAS로 하시는지요?
클러스터 파일시스템중에 찾아보니 Lustre가 좋긴한데, OST(Object Storage Target)가 단일 볼륨 8TB Limit가
있다는 얘기도 있고해서, 대용량 RAID 잡고도 다시 쪼개야 하는 부분도 있을것 같고 비효율적인것 같기도 하네요.
SAN/NAS는 중앙 집중식이라 볼륨 확장시 불편할것 같기도 하고 속도가 제대로 나올런지도 궁금합니다.
네트웍은 주로 10g나 Infiniband로 구축하시는지요?
초기 투자비용을 좀 저렴하게 구축하려고 하는데, 아직 전체적인 레이아웃 파악을 하지 못해서
구체적인 설명을 드리기가 애매하네요. 그냥 렌던팜 구축하는데 도움이 될만한 설명도 좋습니다. ^^
그럼.
렌더팜의 서버구성과 네트웍 구성은 사용하는 회사마다 다 다를 것 같습니다.
어떤 작업(데이터의 크기)을 하느냐에 따라 그리고, 렌더팜의 갯수의 따라
차이가 많이 날 것 같습니다.
물론 비싸고 빠른것이 최고지만, 저같은 경우 영세하여 그렇게 못합니다. 뉴뉴~
잘 아시는 내용이겠지만 작업자가 렌더링을 올려서 렌더팜에서 렌더링을 하고,
저장된후 후반작업을 하는 과정을 써 보겠습니다.
작업자가 렌더할 화일을 올립니다. > 렌더 매니져 서버로 저장됩니다. >
렌더 메니저에서 클라이언트 서버(렌더팜)들에게 씬들을 전송합니다. >
클라이언트들이 씬을 받고, 렌더링에 필요한 맵쏘스나 다른 화일들
(프록시,리퍼런스..등등)을 불려와 렌더링을 합니다. >
렌더된 화일(이미지 씨퀀스)를 렌더 화일 써버에 저장합니다. >
렌더링 된 화일들을 합성파트에서 불려와 합성 및 최종결과물을 만듭니다.
자세하지는 않지만, 위와 같은 순서로 진행이 됩니다.
제 생각에는 작업이 커지면, 커질수록 위와같은 작업을 1대의 써버로 하기는
힘들 것이라 생각합니다. 그리고, 문제가 생겼을때 위험이 커지고, 대처에 시간이
걸릴것이라 생각합니다.
저 같은 경우는...
1. 렌더 매니지 서버 (렌더 매니져가 있는 서버)
2. 맵쏘스 서버 (렌더링 할 때 필요한 소스가 있는 서버)
3. 렌더링 파일 서버 (렌더링 아웃풋이 저장되는 서버)
4. 파일써버(작업데이터가 있는 서버)
..이렇게 기본적으로 별로의 시스템으로 구성합니다.
그리고, 필요에 따라 맵쏘스 서버나 렌더링 화일 서버는 더 분리하기도 합니다.
그리고, 시스템 구성은 렌더 매니지서버와 맵쏘스 서버는 중고 IBM구입해서 SCSI로
5개를 RAID 5로 씁니다. 쓰기보다는 읽기 작업이 많아서 그렇게 쓰고 있습니다.
문제는 렌더링 화일서버인데요. 렌더링 화일서버는 렌더팜의 갯수 만큼이나
작은 용량의 화일 (1MB~10MB)의 화일을 수시로 기록하고, 거기에 렌더링 걸린 화일을
합성작업자가 계속 카피하거나, 그냥 그 써버를 네트웍 드라이브로 잡아서 바로
합성작업을 해 버리기도 합니다.
저는 2T x 5를 RAID 5로 2대의 서버를 만들어 쓰고 있는데요.
문제가 많습니다. 읽고, 쓰기가 너무 많은 써버라 RAID 01은 되야 할 것 같습니다.
그리고, 이 서버가 빨라야 합성하는 작업자의 수명이 단축되지 않습니다.(화일 카피하는데
시간이 너무 많이 걸릴 수 있습니다.) ^^;
네트웍은 기가빗 티밍하여 그냥 있는 그대로 씁니다. ^^;
결론은 어떤 데이터 크기의 작업을 몇대의 렌더 클라이언트(렌더팜)를 가지고 하느냐에
따라 서버와 네트웍구성이 많이 다를 수 있을 것 같습니다.
전 워낙 헝그리하게 하다보니 10G나 SAS는 생각해 보지 못했습니다만,
그래도 어떻게든 렌더 파일서버는 바꾸어보려 하고 있습니다. 쿨럭~
잘 아시는 내용을 구구절절 써 놓았다면 죄송합니다. 훌쩍~
윗분이 설명을 잘해주셨네요.^^
렌더팜은 몇대를 구성할건지 궁금하네요.^^
렌더팜에 최우선은 네트웍입니다.. 그래서 스위치가 가장중요함니다. (좋은거 안쓰시면 렉장난 아님니다.)
10기가 스위치는 지금 너무 비싸고 10기가모듈도 무지 비쌉니다
현실적으로 비효율 이라고 생각합니다.
그리고 스토리지인데요.. 보통 NAS를 많이 씁니다.
관리하기 편하기도 하고요.. 렌더링방식은 잘 아시겠지만 잡을 던져주면 스토리지에서 자료를 렌더노드에 올리고
노드들은 연산을 해서 다시 스토리지에 쓰는 방식입니다. 그러니 나스가 최선이라고 생각하고요.(요즘 더 좋은방식이 나왔나 모르겟네요.^^)
읽기쓰기 속도가 무지 잘나와줘야 합니다. 아니면 렉이 생기고요.. 그래서 보통 SAS나 FC 많이씁니다.
더 궁금하신게 있으면 쪽지 주세요.^^
대략 100TB 단일 원볼륨에 렌더노드가 50~100여대 X 물리 CPU 2~4 개 정도 수준정도 작업 머쉰인듯 합니다.
국내 운용사례 기술 자료나 정보가 있으시면 도움이 될것 같습니다.