AI 컴퓨터 조립
컴뷰어스 02-21 2025-02-21 20:43:20 조회 332 추천 0
AI 컴퓨터 조립 한번 해 보려고 하는데 gpu가 중요한가요?어느정도 사양 몇대 정도면 좋을까요?아는게 아무것도 없어서....
nVidia DGX 서버는 부르는게 값인데 견적 받아봐야 알지만 모델에 따라 1억에서 10억 정도 합니다.. 그 이상도 될 수 있고요..
싸도 3억 근처가 부터 시작됩니다., .ㅎㅎㅎ
가벼운(7B 모델) LLM 하나 돌리실 것이면 그냥 6세대?정도에 1070 붙이면 됩니다.
파스칼로 갈꺼면 비됴램 조금이라도 넉넉한 80 TI나 Titan이 나을꺼라 봅니다
혼자 쓰는 용도로 추론시킬거면 테슬라란 선택지도 있다고 봅니다
그럴바엔 차라리 AMD가 나을 수 도 있어요 (삽질은 필요하겠지만)
그냥 조금(?) 더 보테서 3060 중고 가면 12기가 + RT 있습니다
AI 종류에 따라 구분해서 알려 주실 수 있으면 감사요~~
https://www.2cpu.co.kr/deep/1405
링크 제일 밑에 보시면 회사 주소가 나올겁니다..
이 회사가 대략 5년전쯤부터인가 GPU에 꼽혀서 GPU 서버를 자기 IDC에 임대 사업하고 그랬었습니다..
이 회사 사이트 들어가셔서 밴치마크 해보시면 조금 도움이 되지 않을까 생각되네요..
https://www.2cpu.co.kr/deep/3004
옛날에 나라에서 이런 사업도 했었고요..
재대로 된 GPU 서버는 새것 기준 가격이 비싸기도 하지만 전기도 무지 먹어 대고 열도 엄청나게 나기에 일반 사무실에 대여 랜탈은 거의 불가능합니다..
실제 사용하는 사용자도 무상 AS기간이 끝나서 고장이 나면 대체 GPU 부품 같은 것을 구하기 힘들어서 고생하는 경우가 많습니다..
중고 GPU는 잘 안보이지만 가끔 나오면 중국사람들이 냄새 맏고 웃돈주고 다 끌어가버리는 경우도 있습니다..
국내에서 조립 GPU 서버 하시는 분들도 전용 PCIe GPU카드든 고성능 게임용 GPU 카드든 GPU 카드 자체를 구하지 못해서
시스템 조립이 재대로 안되는 경우가 꽤 있습니다..
보통 이런 거 많이 씁니다.
다만 LLM같은 경우 너무 메모리 요구량이 커서 A100/H100같은 걸 여러 개 임대하거나 하기도 합니다.
유튜브는 다 믿지 않지만 현실이 저래서 쉽지 않고
개인적으로 생각하기에
GPU는 전기 많이 먹고 열을 많이 받기에 고장나면 수리가 보통 불가능하고 (비싼 돈들여 고쳐 와도 또 금방 고장나고) 새로 사야 합니다..
몇억짜리 GPU 서버도 무상수리 기간 지나고 워런티 연장해서까지 사용하면 끝이라고 봐야 합니다..
기간으로 보면 3~5년 정도 입니다..
조립 GPU 서버 만들다가 조립 실수나 불량으로 비싼 GPU 카드 태워먹는 일이 흔치는 않지만 발생을 하기는 합니다..
GPU 공급자 (리셀러/총판) 이나 GPU 제조사 , 엔비디아 까지 쫒아가도 만든사람/소비자 실수라고 해서 끝나는 경우가 대부분입니다..
옛날에 GPU 8개 들어가는 서버 조립하다가 잘못되어 GPU 카드 3개가 불나서 GPU 서버까지 덤탱이를 쓴 이야기도 들어본 적이 있습니다..
순식간에 몇천만원 날라가고 고객은 놓치고 손해가 크지요..
https://www.2cpu.co.kr/sell/631836
아이디시스템 이라고 용산에서 GPU서버쪽만 전문으로 해온 업체입니다..
엔비디아 정식 리셀러라고 들었습니다..