|
[필독] 처음 오시는 분을 위한 안내 (734) |
정은준1 |
2014-05 |
5148335 |
0 |
2014-05
5148335
1 정은준1
|
|
(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234) |
백메가 |
2015-12 |
1682929 |
25 |
2015-12
1682929
1 백메가
|
107590 |
윈도우7 스타터 (4) |
뚜뚜김대원 |
2022-03 |
1879 |
0 |
2022-03
1879
1 뚜뚜김대원
|
107589 |
상가 계약전력 관련하여 24시간 사용승인이라는걸 봤습니다 (3) |
범이님 |
2022-10 |
1879 |
0 |
2022-10
1879
1 범이님
|
107588 |
centos 7에서 rocky8 지원이 안되나요 ? (4) |
neo21s |
2024-04 |
1879 |
0 |
2024-04
1879
1 neo21s
|
107587 |
2016 - 2019년 사이 장비의 윈10과 장비 부팅 이상현상에 대한 소고 .... (5) |
듀얼맨 |
2022-03 |
1879 |
0 |
2022-03
1879
1 듀얼맨
|
107586 |
X8DTL-iF 출장 수리 정비 결과 (24) |
Ulmo |
2022-09 |
1879 |
0 |
2022-09
1879
1 Ulmo
|
107585 |
혹시 이거무슨 테이프인지 알수있나요? (5) |
행복하세 |
2022-05 |
1879 |
0 |
2022-05
1879
1 행복하세
|
107584 |
드론사진 맵핑용으로 지금 3970X 시스템 세팅하면 큰일날까요? (6) |
NAS고장났다… |
2021-12 |
1879 |
0 |
2021-12
1879
1 NAS고장났다…
|
107583 |
도메인 비용/기관이전절차 관련 궁금합니다. (4) |
NaHS |
2022-04 |
1879 |
0 |
2022-04
1879
1 NaHS
|
107582 |
Oracle database 12c release 2(12.2.0.1) (5) |
DB뉴비 |
2022-01 |
1879 |
0 |
2022-01
1879
1 DB뉴비
|
107581 |
T7820 스케일러블 gold6132 온도가 높아요 (11) |
강프로 |
2024-08 |
1879 |
0 |
2024-08
1879
1 강프로
|
107580 |
유선랜 나온거 중 하나를 유무선공유기에 꼽아서 세팅하려는데 (2) |
pibang |
2020-05 |
1879 |
0 |
2020-05
1879
1 pibang
|
107579 |
무료 사용 가능한 파티션 유틸은 뭐가 있는지요 (4) |
미수맨 |
2023-05 |
1880 |
0 |
2023-05
1880
1 미수맨
|
107578 |
dell r730에서 나오는 에러메세지인데 찾아봐도 없네요 (9) |
홀릭0o0 |
2022-11 |
1880 |
0 |
2022-11
1880
1 홀릭0o0
|
107577 |
초급 RAID 카드 vs. SW RAID (19) |
아마데우쓰 |
2024-04 |
1880 |
0 |
2024-04
1880
1 아마데우쓰
|
107576 |
HDD 24개를 연결가능 파워가 있을까요? (5) |
새총 |
2021-08 |
1880 |
1 |
2021-08
1880
1 새총
|
107575 |
mssql 쿼리 관련 질문 (2) |
L2스위치 |
2022-02 |
1880 |
0 |
2022-02
1880
1 L2스위치
|
107574 |
기계식키보드 알못 입문자입니다. (11) |
고양시 |
2024-05 |
1880 |
0 |
2024-05
1880
1 고양시
|
107573 |
초보문의) 동기화 기능 문의 (9) |
명랑 |
2022-12 |
1880 |
0 |
2022-12
1880
1 명랑
|
107572 |
휴대폰 sd카드를 더 큰 용량으로 교체했는데요. (6) |
파란스머프 |
2024-05 |
1880 |
0 |
2024-05
1880
1 파란스머프
|
107571 |
Quardro sync 2 와 Quardro G-sync 2 가 호환이 되나요? |
yeond |
2021-03 |
1880 |
0 |
2021-03
1880
1 yeond
|
양자화 퀄리티 차이 많이 나나요?
배치작업으로 데이터 변환 돌리는거라서 인스턴스 늘려봤자 전체 처리 속도차이는 비슷하긴 하더라구요. 다중 사용자 대상 서비스라기 보다 배치작업 api 서버
예를 들면 gemma-2b 의 경우에는 실시간 수준은 상황에 따라 어렵긴 해도 CPU로도 20초~30초 내의 응답시간을 보여주긴 합니다.
역으로 20초 내의 응답시간이 너무 길면 자체적으로 모델 개량하시는게 좋을 듯 싶습니다.
맥으로 실 서비스를 운영하는 경우는 비용적 문제로 잘 하지 않는 선택지입니다.
그리고 맥 cpu가 어찌보면 영상이나 이미지 처리에선 전용 하드웨어를 추가하여 개선한 부분이 크다보니 생각보다 큰 성능을 보여주긴 힘듭니다.
느리다는 건 아닌데 그렇다고 이게 타 제품대비 엄청 빠르다 라는게 없어서요.(단지, arm 계열 중에서 빠르다 이고 하이엔드 CPU와 비교 시 아직은 부족한 성능을 보여줍니다. 일부 빠른 건 전용 하드웨어를 통한 가속 지원입니다.)
아니면 AMD 로 ROCm으로 추론서버 구축하는 것도 하나의 방법이 있네요.
참고로 말하자면 엔비디아 << AMD <<< 맥입니다.
엔비디아가 일반적으로 AMD에 비해 2~10배 정도 빠르다 라고 생각하시면 돼고, AMD GPU가 맥보다 10배 정도는 더 빠르다라고 보시면 됩니다.
NPU 라고 해서 뉴런 처리 부분은 M1 부터 들어가긴 했는데 기대 이상의 성능을 보여주긴 힘듭니다.
진짜 순수하게 VRAM 을 단일 머신에서 최대한 값 싸게 올리는게 전부입니다.
맥이 AI 분야에서 사용되는 연산을 하드웨어 수준에서 직접 지원하는게 아니라 일반적인 CPU 보다 빠를 뿐이지 타 GPU와 비교하면 아직 몇세대를 더 기다리셔야 합니다.