llm 모델 이용해서 서비스 올릴려고 하는데 모델 사이즈가 커서 80기가 이상 vram이 필요하거든요.
a100 h100은 비싸서 엄두가 안나고
쿼드로도 대당 1000만원은 우습게 넘기고
지포스 계열은 가성비 좋긴한데 전기세 너무 먹더라구요.
그래서 맥북들을 서버로 써 볼까 하는데. 벤치 보니 vram은 가격대비 제일 싸고 속도도 rtx3080급은 나온다고 하던데 어떨까요?
스펙만 보면 vram 대비 가성비가 오지긴 한데..
물론 전성비 넘사벽
m3 max 128gb
820만원
56와트
안녕하세요
양자화 퀄리티 차이 많이 나나요?
배치작업으로 데이터 변환 돌리는거라서 인스턴스 늘려봤자 전체 처리 속도차이는 비슷하긴 하더라구요. 다중 사용자 대상 서비스라기 보다 배치작업 api 서버
예를 들면 gemma-2b 의 경우에는 실시간 수준은 상황에 따라 어렵긴 해도 CPU로도 20초~30초 내의 응답시간을 보여주긴 합니다.
역으로 20초 내의 응답시간이 너무 길면 자체적으로 모델 개량하시는게 좋을 듯 싶습니다.
맥으로 실 서비스를 운영하는 경우는 비용적 문제로 잘 하지 않는 선택지입니다.
그리고 맥 cpu가 어찌보면 영상이나 이미지 처리에선 전용 하드웨어를 추가하여 개선한 부분이 크다보니 생각보다 큰 성능을 보여주긴 힘듭니다.
느리다는 건 아닌데 그렇다고 이게 타 제품대비 엄청 빠르다 라는게 없어서요.(단지, arm 계열 중에서 빠르다 이고 하이엔드 CPU와 비교 시 아직은 부족한 성능을 보여줍니다. 일부 빠른 건 전용 하드웨어를 통한 가속 지원입니다.)
아니면 AMD 로 ROCm으로 추론서버 구축하는 것도 하나의 방법이 있네요.
참고로 말하자면 엔비디아 << AMD <<< 맥입니다.
엔비디아가 일반적으로 AMD에 비해 2~10배 정도 빠르다 라고 생각하시면 돼고, AMD GPU가 맥보다 10배 정도는 더 빠르다라고 보시면 됩니다.
NPU 라고 해서 뉴런 처리 부분은 M1 부터 들어가긴 했는데 기대 이상의 성능을 보여주긴 힘듭니다.
진짜 순수하게 VRAM 을 단일 머신에서 최대한 값 싸게 올리는게 전부입니다.
맥이 AI 분야에서 사용되는 연산을 하드웨어 수준에서 직접 지원하는게 아니라 일반적인 CPU 보다 빠를 뿐이지 타 GPU와 비교하면 아직 몇세대를 더 기다리셔야 합니다.