맥북 llm 실서비스 추론 서버 구축 가성비 문의요..

mvwiz   
   조회 2045   추천 0    

llm 모델 이용해서 서비스 올릴려고 하는데 모델 사이즈가 커서 80기가 이상 vram이 필요하거든요.

a100 h100은 비싸서 엄두가 안나고 

쿼드로도 대당 1000만원은 우습게 넘기고

지포스 계열은 가성비 좋긴한데 전기세 너무 먹더라구요.

그래서 맥북들을 서버로 써 볼까 하는데. 벤치 보니 vram은 가격대비 제일 싸고 속도도 rtx3080급은 나온다고 하던데 어떨까요? 

스펙만 보면 vram 대비 가성비가 오지긴 한데..

물론 전성비 넘사벽


m3 max  128gb

820만원 

56와트

안녕하세요
짧은글 일수록 신중하게.
allentl 2024-04
맥이 좋기는 한데... 실제 서비스를 굴리시려면 한대로는 많이 부족합니다. 맥 스튜디오 192급으로 클러스터 셋팅한 뒤에 mlx 최적화 후 양자화 통해서 여러 인스턴스 서빙 가능하게 하셔야 해요.
     
mvwiz 2024-04
뉴스 기사 요약이랑 번역 같은데 쓰이는데 간보다가 여러대 세팅할 예정이에여. 맥 스튜디오는 m2 밖에 없어서 성능 떨어지더라구요.

양자화 퀄리티 차이 많이 나나요?
배치작업으로 데이터 변환 돌리는거라서 인스턴스 늘려봤자 전체 처리 속도차이는 비슷하긴 하더라구요. 다중 사용자 대상 서비스라기 보다 배치작업 api 서버
mvwiz 2024-04
질문 올리는 이유가 제가 봤을때 가성비 최고 인거 같은데 쓰는데가 없더라구요. 따로 안하는 이유가 있울까 해서요.
술이 2024-04
맥에 대한 환상을 버리세요 있는 그대로 써야됩니다.
extra 2024-04
학습용이 아니라면 가벼운 LLM 모델 구해서 그걸로 수행하세요.
예를 들면 gemma-2b 의 경우에는 실시간 수준은 상황에 따라 어렵긴 해도 CPU로도 20초~30초 내의 응답시간을 보여주긴 합니다.
역으로 20초 내의 응답시간이 너무 길면 자체적으로 모델 개량하시는게 좋을 듯 싶습니다.
맥으로 실 서비스를 운영하는 경우는 비용적 문제로 잘 하지 않는 선택지입니다.
그리고 맥 cpu가 어찌보면 영상이나 이미지 처리에선 전용 하드웨어를 추가하여 개선한 부분이 크다보니 생각보다 큰 성능을 보여주긴 힘듭니다.
느리다는 건 아닌데 그렇다고 이게 타 제품대비 엄청 빠르다 라는게 없어서요.(단지, arm 계열 중에서 빠르다 이고 하이엔드 CPU와 비교 시 아직은 부족한 성능을 보여줍니다. 일부 빠른 건 전용 하드웨어를 통한 가속 지원입니다.)
아니면 AMD 로 ROCm으로 추론서버 구축하는 것도 하나의 방법이 있네요.
참고로 말하자면 엔비디아 << AMD <<< 맥입니다.
엔비디아가 일반적으로 AMD에 비해 2~10배 정도 빠르다 라고 생각하시면 돼고, AMD GPU가 맥보다 10배 정도는 더 빠르다라고 보시면 됩니다.
NPU 라고 해서 뉴런 처리 부분은 M1 부터 들어가긴 했는데 기대 이상의 성능을 보여주긴 힘듭니다.
진짜 순수하게 VRAM 을 단일 머신에서 최대한 값 싸게 올리는게 전부입니다.
맥이 AI 분야에서 사용되는 연산을 하드웨어 수준에서 직접 지원하는게 아니라 일반적인 CPU 보다 빠를 뿐이지 타 GPU와 비교하면 아직 몇세대를 더 기다리셔야 합니다.


QnA
제목Page 330/5709
2014-05   5148335   정은준1
2015-12   1682929   백메가
2022-03   1879   뚜뚜김대원
2022-10   1879   범이님
2024-04   1879   neo21s
2022-03   1879   듀얼맨
2022-09   1879   Ulmo
2022-05   1879   행복하세
2021-12   1879   NAS고장났다…
2022-04   1879   NaHS
2022-01   1879   DB뉴비
2024-08   1879   강프로
2020-05   1879   pibang
2023-05   1880   미수맨
2022-11   1880   홀릭0o0
2024-04   1880   아마데우쓰
2021-08   1880   새총
2022-02   1880   L2스위치
2024-05   1880   고양시
2022-12   1880   명랑
2024-05   1880   파란스머프
2021-03   1880   yeond