|
[필독] 처음 오시는 분을 위한 안내 (736) |
정은준1 |
2014-05 |
5207193 |
0 |
2014-05
5207193
1 정은준1
|
|
(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234) |
백메가 |
2015-12 |
1738964 |
25 |
2015-12
1738964
1 백메가
|
9247 |
LP그래픽 카드 구입 문의 드립니다 (7) |
VSPress |
2021-09 |
2212 |
0 |
2021-09
2212
1 VSPress
|
9246 |
랩톱 바이오스 bin 화일을 얻을수 있는 방법이 궁금합니다. (5) |
호박고구마 |
2023-03 |
2211 |
0 |
2023-03
2211
1 호박고구마
|
9245 |
슈퍼마이크로 24베이 백플레인에 관해 궁금한 것이 있습니다 (18) |
spndisk |
2022-05 |
2211 |
0 |
2022-05
2211
1 spndisk
|
9244 |
통상임금 지급과 기존임금 지급의 차이 (2) |
NiteFlite9 |
2019-04 |
2211 |
0 |
2019-04
2211
1 NiteFlite9
|
9243 |
서버용 SSD 삼성 990 PRO 와 마이크론 T700 어떤걸로 살까요? (7) |
호호 |
2024-04 |
2211 |
0 |
2024-04
2211
1 호호
|
9242 |
over ip kvm 사용에 노하우나 경험담을 구해봅니다,,, (7) |
Commander |
2023-03 |
2211 |
0 |
2023-03
2211
1 Commander
|
9241 |
ASUS RT-AX3000 추천할만 한가요? 혹시 실사용중이신 분 계시면 경험담 공유 부탁드… (12) |
린드버그 |
2023-03 |
2211 |
0 |
2023-03
2211
1 린드버그
|
9240 |
lto 8 테이프 많이 쓰시는분 계신가요? (2) |
불타는곰 |
2021-05 |
2211 |
0 |
2021-05
2211
1 불타는곰
|
9239 |
[질문] 노트북 아답터 관련 (5) |
일반유저 |
2023-10 |
2211 |
0 |
2023-10
2211
1 일반유저
|
9238 |
POS 연동 프로그램에 대해 질문드립니다 (4) |
Candit |
2021-01 |
2211 |
1 |
2021-01
2211
1 Candit
|
9237 |
컴퓨터케이스 부품 (4) |
ComAreMot |
2021-12 |
2210 |
0 |
2021-12
2210
1 ComAreMot
|
9236 |
자작 nas견적인데 어느걸 다운그레이드 해야 할까요? (16) |
이매망량2 |
2023-05 |
2210 |
0 |
2023-05
2210
1 이매망량2
|
9235 |
패킷 트레이서 질문? 드립니다 (2) |
Uinx |
2022-12 |
2210 |
0 |
2022-12
2210
1 Uinx
|
9234 |
도메인 구입하면 원페이지 만들정도 공간 주는곳있을까요? (11) |
행복하세 |
2021-06 |
2210 |
0 |
2021-06
2210
1 행복하세
|
9233 |
아마존 ec2에 ssh 접속 안되는 현상 좀 가려쳐 주세요 (2) |
프리레벨 |
2023-09 |
2210 |
0 |
2023-09
2210
1 프리레벨
|
9232 |
z640에 RTX4090이 들어갈까요? (8) |
링고스타 |
2022-10 |
2210 |
0 |
2022-10
2210
1 링고스타
|
9231 |
usb 유전원 허브에 USB 랜카드 연결시 네트워크 마비 현상 질문 (17) |
구차니 |
2024-05 |
2210 |
0 |
2024-05
2210
1 구차니
|
9230 |
4k 60Hz를 잘 제공하는 HDMI KVM 스위치가 있을까요? (13) |
영산회상 |
2022-07 |
2210 |
0 |
2022-07
2210
1 영산회상
|
9229 |
POCO X6 PRO 휴대폰 영상통화가 안됩니다.. (5) |
Rich |
2024-07 |
2210 |
0 |
2024-07
2210
1 Rich
|
9228 |
안녕하세요. HP G8 컨트롤러 교체 (2) |
BMW330E |
2023-09 |
2210 |
0 |
2023-09
2210
1 BMW330E
|
양자화 퀄리티 차이 많이 나나요?
배치작업으로 데이터 변환 돌리는거라서 인스턴스 늘려봤자 전체 처리 속도차이는 비슷하긴 하더라구요. 다중 사용자 대상 서비스라기 보다 배치작업 api 서버
예를 들면 gemma-2b 의 경우에는 실시간 수준은 상황에 따라 어렵긴 해도 CPU로도 20초~30초 내의 응답시간을 보여주긴 합니다.
역으로 20초 내의 응답시간이 너무 길면 자체적으로 모델 개량하시는게 좋을 듯 싶습니다.
맥으로 실 서비스를 운영하는 경우는 비용적 문제로 잘 하지 않는 선택지입니다.
그리고 맥 cpu가 어찌보면 영상이나 이미지 처리에선 전용 하드웨어를 추가하여 개선한 부분이 크다보니 생각보다 큰 성능을 보여주긴 힘듭니다.
느리다는 건 아닌데 그렇다고 이게 타 제품대비 엄청 빠르다 라는게 없어서요.(단지, arm 계열 중에서 빠르다 이고 하이엔드 CPU와 비교 시 아직은 부족한 성능을 보여줍니다. 일부 빠른 건 전용 하드웨어를 통한 가속 지원입니다.)
아니면 AMD 로 ROCm으로 추론서버 구축하는 것도 하나의 방법이 있네요.
참고로 말하자면 엔비디아 << AMD <<< 맥입니다.
엔비디아가 일반적으로 AMD에 비해 2~10배 정도 빠르다 라고 생각하시면 돼고, AMD GPU가 맥보다 10배 정도는 더 빠르다라고 보시면 됩니다.
NPU 라고 해서 뉴런 처리 부분은 M1 부터 들어가긴 했는데 기대 이상의 성능을 보여주긴 힘듭니다.
진짜 순수하게 VRAM 을 단일 머신에서 최대한 값 싸게 올리는게 전부입니다.
맥이 AI 분야에서 사용되는 연산을 하드웨어 수준에서 직접 지원하는게 아니라 일반적인 CPU 보다 빠를 뿐이지 타 GPU와 비교하면 아직 몇세대를 더 기다리셔야 합니다.