쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
대입 끝나고 그냥 재미로 LLM 모델 올려보려는데 국내 자료는 적고 해외 사람들은 다 3090 이상은 써야한다 주장하니... 돈 없는데... 혼란스러워서 여기에 질문해봅니다.
Per aspera, ad astra
쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다
대입 끝나고 그냥 재미로 LLM 모델 올려보려는데 국내 자료는 적고 해외 사람들은 다 3090 이상은 써야한다 주장하니... 돈 없는데... 혼란스러워서 여기에 질문해봅니다.
vram 8기가로도 충분히 돌립니다
8b-11b또는 100b이상 되는거라
어짜피 3090도 대략 양자화 해도 20b이하만 가능합니다
양자화 안한다면 8b이 한계더군요
그리고 3090도 vram은 크지만 어짜피 느리기에
직업으로 분석만 될릴거 아니고
취미로 돌릴거면 vram이 최소 8기가 이상이면 된다고 생각합시다
데탑에 3090과 노트북 8기가 vram으로 각각 llama 3.1 8b 양자화된거 잘돌립니다
llama 3.1 8b 4Q정도 돌리면
vram이 5-6기가정도 쓰는듯 하더군요
단 4Q같이 양자화 안한거 돌리면 20기가(?)인가 먹더군요
근데 취미라면
굳이 그럴 필요가 있을런지 모르겠네요
저도 어제까지 3090 살까 말까 고민하다가 .. 돈쓸일이 생겨서 다른거에 돈들어가는 바람에
못샀는데 .. 유투브 보면서 확인 해본 결과..
llm 만으로는 4090 의 80% 성능은 나오는것 같습니다.. 4090 vs 3090 일때요 그래서 .. 3090 을 사려고 했었는데
돈없어서 못샀네요 ..파라미터가 높은 모델은.. 3090 으로 해도 느려서 못쓸꺼 같고 낮은것들은 오히려 10~16기가만 되도
비슷하게 돌아가기 때문에 굳이 필요 없을것 같고요 .. 그냥 단순하게 체험 하실 목적이면
제가 쓰는것처럼 4060 8GB도 괜찮은것 같습니다.. 가성비로는.. 4070 super 같은것 68만원 정도에 구입하면 괜찮을것 같고요 느려도 높은 모델 써보고 싶으시면 3090 밖에 대안은 없는것 같습니다..
유투브 찾아보시면 찾으시는거 다 있습니다 3090 vs 4090 llm 이런걸로 검색해도 잘 나오구요 ..
그리고 2장 병렬 사용하는건 vram 만 가져다 쓰는거고 속도가 빨라지진 않고 더 높은 모델을 로드 할 수 있을뿐입니다.
혼란스러울게 없어요.
특히나 대규모 인공지능처리헤서는 돈많으면 해결됩니다. ㅋㅋ