AI 컴퓨터 조립

   조회 789   추천 0    

AI 컴퓨터 조립 한번 해 보려고 하는데 gpu가 중요한가요?
어느정도 사양 몇대 정도면 좋을까요?
아는게 아무것도 없어서....

RCPC 렌탈 컴뷰어스 http://comviewers.com/
짧은글 일수록 신중하게.
검은콩 02-21
뭐하시게요? Llm? Llama 70b?
박문형 02-21
무엇을 하느냐에 따라 틀리죠..

nVidia DGX 서버는 부르는게 값인데 견적 받아봐야 알지만 모델에 따라 1억에서 10억 정도 합니다.. 그 이상도 될 수 있고요..
     
김황중 02-21
DGX는 1억짜리 없어요
싸도 3억 근처가 부터 시작됩니다., .ㅎㅎㅎ
     
민호양 02-24
DGX Station 말하시는거 아닐까요?
전일장 02-21
무슨 AI를(LLM, 이미지 추론 등등)을 어느 크기로 운영할 것인지 아셔야...

가벼운(7B 모델) LLM 하나 돌리실 것이면 그냥 6세대?정도에 1070 붙이면 됩니다.
     
dateno1 02-22
7B 8G면 거의 꽉꽉 차지 않나요?

파스칼로 갈꺼면 비됴램 조금이라도 넉넉한 80 TI나 Titan이 나을꺼라 봅니다

혼자 쓰는 용도로 추론시킬거면 테슬라란 선택지도 있다고 봅니다
          
전일장 02-22
차긴 하는데 가성비 생각하면..
               
dateno1 02-22
거기다 RT 없으면 너무 느려요

그럴바엔 차라리 AMD가 나을 수 도 있어요 (삽질은 필요하겠지만)

그냥 조금(?) 더 보테서 3060 중고 가면 12기가 + RT 있습니다
컴뷰어스 02-21
원격 렌탈을 하고 있는데 어느 정도 선이 좋을지 감이 안 와서요 ㅎ
AI 종류에 따라 구분해서 알려 주실 수 있으면 감사요~~
컴뷰어스 02-21
연구해 보시고 싶으신 분 말씀 주시면 상의해 보고 세팅해 드릴수도 있고요
박문형 02-21
https://www.2cpu.co.kr/deep/4103

https://www.2cpu.co.kr/deep/1405

링크 제일 밑에 보시면 회사 주소가 나올겁니다..

이 회사가 대략 5년전쯤부터인가 GPU에 꼽혀서 GPU 서버를 자기 IDC에 임대 사업하고 그랬었습니다..

이 회사 사이트 들어가셔서 밴치마크 해보시면 조금 도움이 되지 않을까 생각되네요..

https://www.2cpu.co.kr/deep/3004

옛날에 나라에서 이런 사업도 했었고요..


재대로 된 GPU 서버는 새것 기준 가격이 비싸기도 하지만 전기도 무지 먹어 대고 열도 엄청나게 나기에 일반 사무실에 대여 랜탈은 거의 불가능합니다..
박문형 02-21
GPU 서버는 GPU카드가 열도 마니 나고 그에 따른 냉각 대책도 필요하고 GPU 자체를 구하기 힘들고 그래서

실제 사용하는 사용자도 무상 AS기간이 끝나서 고장이 나면 대체 GPU 부품 같은 것을 구하기 힘들어서 고생하는 경우가 많습니다..

중고 GPU는 잘 안보이지만 가끔 나오면 중국사람들이 냄새 맏고 웃돈주고 다 끌어가버리는 경우도 있습니다..

국내에서 조립 GPU 서버 하시는 분들도 전용 PCIe GPU카드든 고성능 게임용 GPU 카드든 GPU 카드 자체를 구하지 못해서

시스템 조립이 재대로 안되는 경우가 꽤 있습니다..
piloteer 02-21
https://vast.ai/
보통 이런 거 많이 씁니다.

다만 LLM같은 경우 너무 메모리 요구량이 커서 A100/H100같은 걸 여러 개 임대하거나 하기도 합니다.
박문형 02-21
https://www.youtube.com/watch?v=Ss5Nw23UiZU&t=117s

유튜브는 다 믿지 않지만 현실이 저래서 쉽지 않고


개인적으로 생각하기에

GPU는 전기 많이 먹고 열을 많이 받기에 고장나면 수리가 보통 불가능하고 (비싼 돈들여 고쳐 와도 또 금방 고장나고) 새로 사야 합니다..

몇억짜리 GPU 서버도 무상수리 기간 지나고 워런티 연장해서까지 사용하면 끝이라고 봐야 합니다..

기간으로 보면 3~5년 정도 입니다..




조립 GPU 서버 만들다가 조립 실수나 불량으로 비싼 GPU 카드 태워먹는 일이 흔치는 않지만 발생을 하기는 합니다..

GPU 공급자 (리셀러/총판) 이나 GPU 제조사 , 엔비디아 까지 쫒아가도 만든사람/소비자 실수라고 해서 끝나는 경우가 대부분입니다..

옛날에 GPU 8개 들어가는 서버 조립하다가 잘못되어 GPU 카드 3개가 불나서 GPU 서버까지 덤탱이를 쓴 이야기도 들어본 적이 있습니다..

순식간에 몇천만원 날라가고 고객은 놓치고 손해가 크지요..




https://www.2cpu.co.kr/sell/631836

아이디시스템 이라고 용산에서 GPU서버쪽만 전문으로 해온 업체입니다..
엔비디아 정식 리셀러라고 들었습니다..


QnA
제목Page 14/5723
2014-05   5230579   정은준1
2015-12   1757362   백메가
02-28   431   witbox
02-28   521   디브이
02-28   429   민경열
02-28   703   osthek83
02-27   752   Setila
02-27   811   lvn1
02-27   561   langrisser
02-27   629   이유종
02-27   400   시도니
02-27   691   뭐든팔아요
02-27   367   가성비가좋다
02-27   438   김제연
02-26   576   리아레네트
02-26   637   langrisser
02-26   514   GoverZG
02-26   619   수킴킴
02-26   627   GoverZG
02-26   395   lovemiai
02-25   546   딸긔꼬마
02-25   537   흑기사