이준용 11-16

Vram 크기가 중요합니다

별해는아해 11-16

llama 3.1 8b 양자화된거라면
vram 8기가로도 충분히 돌립니다

별해는아해 11-16

어짜피 무료로 풀린 llm은 20b이하이고
8b-11b또는 100b이상 되는거라
어짜피 3090도 대략 양자화 해도 20b이하만  가능합니다
양자화 안한다면 8b이 한계더군요
그리고 3090도 vram은 크지만 어짜피 느리기에
직업으로 분석만 될릴거 아니고
취미로 돌릴거면 vram이 최소 8기가 이상이면 된다고 생각합시다

데탑에 3090과 노트북 8기가 vram으로 각각  llama 3.1 8b 양자화된거 잘돌립니다

별해는아해 11-16

https://ollama.com/library/llama3.1
llama 3.1 8b 4Q정도 돌리면
vram이 5-6기가정도 쓰는듯 하더군요
단 4Q같이 양자화 안한거 돌리면 20기가(?)인가 먹더군요
근데 취미라면
굳이 그럴 필요가 있을런지  모르겠네요

전일장 11-16

그냥 취미라면 채굴 글카 한두장 사서 돌려도 되겠죠? P104같은것 고려하고 있긴 합니다.

김제연 11-16

P104는 절대 비추 합니다 .. 지금 제가 P102 10GB 개조된거 쓰고 있습니다..
저도 어제까지 3090 살까 말까 고민하다가 .. 돈쓸일이 생겨서 다른거에 돈들어가는 바람에
못샀는데 ..  유투브 보면서 확인 해본 결과..
llm 만으로는 4090 의 80% 성능은 나오는것 같습니다.. 4090 vs 3090 일때요 그래서 .. 3090 을 사려고 했었는데
돈없어서 못샀네요 ..파라미터가 높은 모델은.. 3090 으로 해도 느려서 못쓸꺼 같고 낮은것들은 오히려 10~16기가만 되도
비슷하게 돌아가기 때문에 굳이 필요 없을것 같고요 .. 그냥 단순하게 체험 하실 목적이면
제가 쓰는것처럼 4060 8GB도 괜찮은것 같습니다.. 가성비로는.. 4070 super 같은것 68만원 정도에 구입하면 괜찮을것 같고요 느려도 높은 모델 써보고 싶으시면 3090 밖에 대안은 없는것 같습니다.. 

유투브 찾아보시면 찾으시는거 다 있습니다 3090 vs 4090 llm 이런걸로 검색해도 잘 나오구요 ..
그리고 2장 병렬 사용하는건 vram 만 가져다 쓰는거고 속도가 빨라지진 않고 더 높은 모델을 로드 할 수 있을뿐입니다.

전일장 11-16

있는 돈 끌어모아 한 15?20?만원 이내로 시도해보는 것이어서 최신형 글카는... 그리고 P102는 국내 매물이 없더라고요. 알리에서 p40 구매할까도 고민했는데 비싸기도 하고 생긴걸 보니 서버에서 돌리는 놈이라...

김제연 11-16

20만원 정도시면 3060 12GB가 가장 적당하지 않을까 싶네요.

엠브리오 11-16

> 돈 없는데... 혼란스러워서

혼란스러울게 없어요.
특히나 대규모 인공지능처리헤서는 돈많으면 해결됩니다. ㅋㅋ

dateno1 11-16

8기가로는 그냥 일부 모델 체험이나 해보는 수준이고, 안 도는것 투성이입니다

결국 최저 12기가는 되어야하고, 클수록 좋습니다

박문형 11-16

GPGPU 님이 이 사이트에 처음 오시고 딥러닝에 대한 공부와 경험을 많이 하였으니 GPGPU님의 경험담이 도움이 될 듯합니다..

테슬라 T4 정도면 현역이고 괜찮겠다 싶었는데 한가격 하네요..

파란오이 11-17

재미로 돌리는 양자화 잘된 라마 7B 정도는 사실 깡 CPU나 메모리 8GB급 GPU로 돌려도 참을만 합니다...