allentl 2024-04

맥이 좋기는 한데... 실제 서비스를 굴리시려면 한대로는 많이 부족합니다. 맥 스튜디오 192급으로 클러스터 셋팅한 뒤에 mlx 최적화 후 양자화 통해서 여러 인스턴스 서빙 가능하게 하셔야 해요.

mvwiz 2024-04

뉴스 기사 요약이랑 번역 같은데 쓰이는데 간보다가 여러대 세팅할 예정이에여. 맥 스튜디오는 m2 밖에 없어서 성능 떨어지더라구요.

양자화 퀄리티 차이 많이 나나요?
배치작업으로 데이터 변환 돌리는거라서 인스턴스 늘려봤자 전체 처리 속도차이는 비슷하긴 하더라구요. 다중 사용자 대상 서비스라기 보다 배치작업 api 서버

mvwiz 2024-04

질문 올리는 이유가 제가 봤을때 가성비 최고 인거 같은데 쓰는데가 없더라구요. 따로 안하는 이유가 있울까 해서요.

술이 2024-04

맥에 대한 환상을 버리세요 있는 그대로 써야됩니다.

extra 2024-04

학습용이 아니라면 가벼운 LLM 모델 구해서 그걸로 수행하세요.
예를 들면 gemma-2b 의 경우에는 실시간 수준은 상황에 따라 어렵긴 해도 CPU로도 20초~30초 내의 응답시간을 보여주긴 합니다.
역으로 20초 내의 응답시간이 너무 길면 자체적으로 모델 개량하시는게 좋을 듯 싶습니다.
맥으로 실 서비스를 운영하는 경우는 비용적 문제로 잘 하지 않는 선택지입니다.
그리고 맥 cpu가 어찌보면 영상이나 이미지 처리에선 전용 하드웨어를 추가하여 개선한 부분이 크다보니 생각보다 큰 성능을 보여주긴 힘듭니다.
느리다는 건 아닌데 그렇다고 이게 타 제품대비 엄청 빠르다 라는게 없어서요.(단지, arm 계열 중에서 빠르다 이고 하이엔드 CPU와 비교 시 아직은 부족한 성능을 보여줍니다. 일부 빠른 건 전용 하드웨어를 통한 가속 지원입니다.)
아니면 AMD 로 ROCm으로 추론서버 구축하는 것도 하나의 방법이 있네요.
참고로 말하자면 엔비디아 << AMD <<< 맥입니다.
엔비디아가 일반적으로 AMD에 비해 2~10배 정도 빠르다 라고 생각하시면 돼고, AMD GPU가 맥보다 10배 정도는 더 빠르다라고 보시면 됩니다.
NPU 라고 해서 뉴런 처리 부분은 M1 부터 들어가긴 했는데 기대 이상의 성능을 보여주긴 힘듭니다.
진짜 순수하게 VRAM 을 단일 머신에서 최대한 값 싸게 올리는게 전부입니다.
맥이 AI 분야에서 사용되는 연산을 하드웨어 수준에서 직접 지원하는게 아니라 일반적인 CPU 보다 빠를 뿐이지 타 GPU와 비교하면 아직 몇세대를 더 기다리셔야 합니다.