구차니 08-08

50명에게 할당할 리소스의 쿼터를 주면 개발은 못해도 동시접속은 가능하겠죠
정보가 너무 부족합니다.

검은콩 08-08

GPU 서버면 뭐 vllm 이나 aphoridte 의 프레임워크로 inference 하시는건가요? 아마 이거로 하시는 거 같은데, vllm 이나 sglang, aphrodite-engine 의 프레임워크로 50명이 접속해서 채팅한다하면 성능이 그렇게 좋을 필요는 없습니다. 7b~9b 모델(gemma2라던가)을 서빙한다 가정하면 4090 4개로도 서빙 충분히 가능합니다. fastapi 로 앞단 구축만 해줘서 로드밸런싱해주면 심플하게 가능합니다.

엠브리오 08-08

뭘 하느냐에 따라 달라지겠지만, 암튼 50명이 동시 접속하는건 요즘 컴퓨터로 충분히 가능할겁니다.

만약 50명이 동시에 붙어서 컴파일 작업을 한다면??
아마도 수천만원대 메인프레임급 컴퓨터가 아니라면 버터낼 장비가 없을듯.

뉴진스 08-08

Gold 6530 x2
DDR5 32GB PC38400(4800) x4
H100 x2
저희한테도 정보를 저정도만 주고 알아서 해달라 하니 위 사양으로 제안해보려합니다,.

제온프로 08-08

사양이 너무 어울리지가 않네요...

ㅇOS 포함 저장소의 병목이 엄청 심할 것으로 보이는데..

왜 메모리를 4개만 하나요.. ??

박문형 08-08

저런 것 견적 낼려면 해당업무 경험이 최소 5~10년은 있는 사람이 필요하고 경험이 있어도 요청사항이나 무슨 일을 하는지 디테일하게 알아야 하는 그런 것으로 판단되는데요..

GPU 서버의 하드웨어만 견적인가요??

GPU 서버 만이라도 돈단위가 쉽게 억단위가 넘기에 견적내는데 스트레스가 크던데요..

그리고 주문 받아도 GPU 서버 쪽은 GPU 수급의 어려움 때문에 딜리버리 타임이 늦어지고 하는 경우가 대부분인데 딜리버리 타임이 늦어지면

주문한 고객이 난리치는 경우도 많고 공공 입찰 같은 경우 하루지날때 마다 얼마씩 차감하는 일종의 벌금 같은 것이 명시되는 견적도 있습니다..


어떤 소프트웨어를 어떤 작업을 위해 어떻게 사용하는지도 알아야 하고 아마 사용하다가 문제 생기면 다 해결해 달라고 할 것 같네요..

문제 생기면 반품 받아야 되고 심하면 피해보상도 일어날 수 있는데 그런 것들을 가만하시고 어디까지 견적을 낼지 정하시고

윗 상사분이나 사장님과 의논하시고 일을 하세요..



그리고 엔지니어일만 해야 하실 분이 왠 솔류션 견적 작업을 한답니까??

epowergate 08-08

그냥 예산 확정하고 거기에 맞추는게 답 입니다.

뉴진스 08-08

하하하.. 애초에 고객사에서 아무런 내용 없이 견적을 요청하다보니, 회사에서 그나마 많이 아는 저에게 해당하는 견적이 가능한지 상사분이 물어보셨습니다 엔지니어가 저뿐이거든여.. 저도 대략적으로 어떤 서버가 가능하고 요구하신 H100장착이 가능하며, 샘플로 이러한 견적을 드리고선, 정확한 예산이나 요구사항을 달라고 말씀드렸습니다. 조언 감사드립니다 선생님덜

박문형 08-08

보통 컴퓨터 쪽에서는 전문적인 일을 할 때 소프트웨어가 정해지고 거기에 맞추어서 하드웨어가 정해집니다..

그리고 소프트웨어의 가격이 더 큰 경우가 대부분입니다..


많이 알려지고 어느 정도 극단적인 것이 캐드캠 쪽 소프트웨어 입니다..

이런 건 소프트웨어 한 패키지 사면 거기에 딸려 워크스테이션이 공짜로 따라오는 경우도 있습니다..



GPU 서버쪽에서도 마찬가지입니다..

만일 엔비디아총판이나 엔비디아 코리아쪽 아시는 분이 있다면 그 쪽을 통해 어떤 솔류션이 있는지 알아보시는 것이 나아 보입니다..

전에 엔비디아쪽 소프트웨어 중에서 시간당 얼마 하는 소프트웨어가 있다는 것도 간접적으로 들은 적이 있습니다..

뉴진스 08-08

답변 감사드립니다 덕분에 많이 배우고 있습니다

박문형 08-08

50명 가량의 개발자가 동시 접속하여 개발작업을 할 수 있는 하나의 서버

=> 1사람이 접속하여 작업시 얼마만한 네트워크 성능(대역폭,속도,품질)이 필요한가??

=> 작업시 1사람의 컴퓨터 사양과 네트워크 속도는 어떠한가??

=> 50명 동시 접속시 버틸수 있는네트워크는 어떤 장비를 사용해야 하는가??

=> 서버가 50명 동시접속과 거기에서 발생하는 부하를 견뎌낼 수 있는가??

=> 50명 동시접속하여 만들어낸 데이터를 딜레이없이 받아낼 스토리지 장비가 있는가??


GPU 서버가 아니더라도 대충 이런 것 검토해야 합니다..

문제 발생시 우리가 납품한 서버의 문제이다 아니다 정도는 판단할 수 있는 능력이 있어야 합니다.. 그래야 나중에 독박을 안 씁니다..

저런 식으로 네트워크 작업을 하는 작업은 동영상편집쪽 (영화 / 에니메이션 제작) 정도가 있지 않을까 합니다..