앤디캔디 04-09

저도 취미 영역에서만 다루고 있어서 전문적인 답변은 되지 못해 죄송합니다..
https://github.com/ggerganov/llama.cpp 에서 시작해보시는건 어떠신가요 ?

mongodb 04-09

Rag

꿀벌l최인혁 04-09

얼마전에 NVidia 에서 설치만 하면 간단하게 챗GPT 같은 프로그램을 쓸 수 있게 윈도용 설치 프로그램을 공개한 적이 있습니다.
한번 확인해 보시구요.

ChatRTX
https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/

그외 깃헙 등을 통해 공개된 LLM 모델들을 입수하셔서
해당 홈페이지에서 제공하는 간단한 사용방법 등을 숙지하셔서 Python 으로 돌려보시는 방법이 있습니다.

공개된 LLM 들을 모아서 소개한 곳도 있네요
https://github.com/eugeneyan/open-llms?utm_source=pytorchkr

무명인12 04-09

흠.. Github 이란 곳을 먼저 공부해야 겠네요.

서울I김동수 04-09

LLM 하시려면 4080 1개보다 4060ti 16gb 2장 구매하시는게 가성비가 좋습니다.
4090 1개 살돈으로 4060ti 16gb 3장이 국룰이죠.
vram 용량이 꽤 중요해서 잘 알아보시고 하드웨어 선택하시는게 좋겠습니다.

처음 스타트(이론 공부) 는 그냥 nvidia 그래픽카드 아무거나 (vram 8기가 이상) 으로 시작하셔도 됩니다.
어차피 단순 공부용으로는 답변 퀄리티가 중요하지 않기 때문에 양자화 된 모델 올리면 되거든요.
있는 장비로 가볍게 시작해 보시는것도 좋습니다.

ikaros7 04-11

프로그래밍은 해보신건가요? 파이썬은요? 시작은 그게 되겠고요.

그 다음에는 pytorch tutorial을 찾아서 보시고, (요새는 tensorflow 보다도 pytorch를 더 많이 써요)

여기까지 하시면 기본 준비가 되신거구요.

이론적인 부분을 이해하려면 트랜스포머에 대해서도 좀 찾아보셔야 하는데 이 부분은 건너뛴다고 하면,

sllm 튜토리얼을 찾아보시거나,
아니면 kaggle에서 llm competition을 찾아보세요. 요새는 llm 쪽 competition 돌아가는게 항상 있습니다. 거기에 참가자들이 허깅페이스 이용한 sllm 학습, 재학습 방법을 공유하니 도움이 많이 되실겁니다.

무명인12 04-11

답변해 주신 모든 분들 감사합니다... 힘들겠지만 한번 해 봐야겠네요.