|
[필독] 처음 오시는 분을 위한 안내 (736) |
정은준1 |
2014-05 |
5206624 |
0 |
2014-05
5206624
1 정은준1
|
|
(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234) |
백메가 |
2015-12 |
1738551 |
25 |
2015-12
1738551
1 백메가
|
9287 |
샤오미 NAS 저장 고수님들 도와주세요ㅠ! |
찌준 |
2023-08 |
2216 |
0 |
2023-08
2216
1 찌준
|
9286 |
mariaDB 바이너리 로그 백업 후 재사용 관련 질문 (3) |
supsup |
2023-05 |
2216 |
0 |
2023-05
2216
1 supsup
|
9285 |
사용중인 nvme의 디스크를 포맷없이 복구가 불가능하게 할 수 있는 프로그램이 있나… (8) |
범이님 |
2023-04 |
2216 |
0 |
2023-04
2216
1 범이님
|
9284 |
IPS 구성 위치 문의 (1) |
리키파울러 |
2020-02 |
2216 |
0 |
2020-02
2216
1 리키파울러
|
9283 |
HPE 서버의 AIOM 슬롯 질문 (8) |
궁그메 |
2022-05 |
2216 |
0 |
2022-05
2216
1 궁그메
|
9282 |
esxi 7.0 외장하드 부분 문의 드립니다. (2) |
Astarot |
2023-03 |
2215 |
0 |
2023-03
2215
1 Astarot
|
9281 |
자동차 접촉 사고. 과실이 있는 건가요? (19) |
무아 |
2022-03 |
2215 |
0 |
2022-03
2215
1 무아
|
9280 |
도커 고정IP 관련 질문드립니다.. (8) |
wjdqh6544 |
2023-09 |
2215 |
0 |
2023-09
2215
1 wjdqh6544
|
9279 |
x520 과 미크로틱 스위치 궁합 (8) |
에스오투 |
2023-07 |
2215 |
0 |
2023-07
2215
1 에스오투
|
9278 |
혹시 이런 보드도 있을지요? (11) |
미담 |
2023-03 |
2215 |
0 |
2023-03
2215
1 미담
|
9277 |
다른 나스 회사에서 만든 nas에헤놀로지를 올려보신분 계신가요? (2) |
이매망량2 |
2023-07 |
2215 |
0 |
2023-07
2215
1 이매망량2
|
9276 |
슈마케이스 하드 상태 표시 문제 (7) |
수지삼삼 |
2022-03 |
2215 |
0 |
2022-03
2215
1 수지삼삼
|
9275 |
장비 판매자분들은 어디서 물건을 가져오는 걸까요? (10) |
미친감자 |
2021-10 |
2214 |
0 |
2021-10
2214
1 미친감자
|
9274 |
vmware workstation 에서 복제기능 (1) |
푸이잉잉 |
2020-03 |
2214 |
0 |
2020-03
2214
1 푸이잉잉
|
9273 |
병원 EMR서버 문의 드립니다. (17) |
슬루프 |
2023-11 |
2214 |
0 |
2023-11
2214
1 슬루프
|
9272 |
CPU 온도 (25) |
미담 |
2023-05 |
2214 |
0 |
2023-05
2214
1 미담
|
9271 |
네트워크 전송 속도 질문 (8) |
네이쳐 |
2024-07 |
2214 |
0 |
2024-07
2214
1 네이쳐
|
9270 |
ipsec 설정문의 (2) |
홀릭0o0 |
2023-03 |
2214 |
0 |
2023-03
2214
1 홀릭0o0
|
9269 |
통장사용이 어려운경우 (13) |
pumkin |
2022-03 |
2214 |
0 |
2022-03
2214
1 pumkin
|
9268 |
최주희님의 dtu1141의 설정저장기능이 안되는군묘,.,.,. |
Sikieiki |
2020-12 |
2214 |
0 |
2020-12
2214
1 Sikieiki
|
양자화 퀄리티 차이 많이 나나요?
배치작업으로 데이터 변환 돌리는거라서 인스턴스 늘려봤자 전체 처리 속도차이는 비슷하긴 하더라구요. 다중 사용자 대상 서비스라기 보다 배치작업 api 서버
예를 들면 gemma-2b 의 경우에는 실시간 수준은 상황에 따라 어렵긴 해도 CPU로도 20초~30초 내의 응답시간을 보여주긴 합니다.
역으로 20초 내의 응답시간이 너무 길면 자체적으로 모델 개량하시는게 좋을 듯 싶습니다.
맥으로 실 서비스를 운영하는 경우는 비용적 문제로 잘 하지 않는 선택지입니다.
그리고 맥 cpu가 어찌보면 영상이나 이미지 처리에선 전용 하드웨어를 추가하여 개선한 부분이 크다보니 생각보다 큰 성능을 보여주긴 힘듭니다.
느리다는 건 아닌데 그렇다고 이게 타 제품대비 엄청 빠르다 라는게 없어서요.(단지, arm 계열 중에서 빠르다 이고 하이엔드 CPU와 비교 시 아직은 부족한 성능을 보여줍니다. 일부 빠른 건 전용 하드웨어를 통한 가속 지원입니다.)
아니면 AMD 로 ROCm으로 추론서버 구축하는 것도 하나의 방법이 있네요.
참고로 말하자면 엔비디아 << AMD <<< 맥입니다.
엔비디아가 일반적으로 AMD에 비해 2~10배 정도 빠르다 라고 생각하시면 돼고, AMD GPU가 맥보다 10배 정도는 더 빠르다라고 보시면 됩니다.
NPU 라고 해서 뉴런 처리 부분은 M1 부터 들어가긴 했는데 기대 이상의 성능을 보여주긴 힘듭니다.
진짜 순수하게 VRAM 을 단일 머신에서 최대한 값 싸게 올리는게 전부입니다.
맥이 AI 분야에서 사용되는 연산을 하드웨어 수준에서 직접 지원하는게 아니라 일반적인 CPU 보다 빠를 뿐이지 타 GPU와 비교하면 아직 몇세대를 더 기다리셔야 합니다.