제가 현재 쓰고 있는게 노트북이 rtx 3060 vram 6gb여서 참조가 안되는데
12gb 4080을 쓰는 것과 16gb 3080ti를 쓰는것 중 어느게 더 나은 선택일까요?
전자가 당연히 더 빠르겠지만 후자가 vram이 많아서 전자로 잘 못돌리는 모델 돌리거나 할 가능성도 있어 보여서...
왜 16gb 4090 사지 않냐고 물을 수 있겠지만 일단 4090 들어간애들은 전부 무겁더군요(..)
제가 현재 쓰고 있는게 노트북이 rtx 3060 vram 6gb여서 참조가 안되는데
12gb 4080을 쓰는 것과 16gb 3080ti를 쓰는것 중 어느게 더 나은 선택일까요?
전자가 당연히 더 빠르겠지만 후자가 vram이 많아서 전자로 잘 못돌리는 모델 돌리거나 할 가능성도 있어 보여서...
왜 16gb 4090 사지 않냐고 물을 수 있겠지만 일단 4090 들어간애들은 전부 무겁더군요(..)
꼭 노트북을 써야하는게 아니라면, GPU가 장착된 데스크톱을 추천드립니다.
데이터셋이 크다고 하시면 VRAM이 큰 제품을 쓰는게 맞긴 합니다.
잠깐 잠깐 돌릴만은 한데 계속 돌리니 서버실에 있어도 맛이 가더군요.
task 에 따라서 다르겠지만 12gb 나 16gb 나 큰차이 못느낄거 같습니다.
vram 만 보지 마시고 laptop gpu tdp 같이 보셔서 gpu 성능 자체도 비교하시는게 좋을것 같습니다.
최종적으로 vram 이 부족할거 같다고 느끼신다면 16gb 사시죠
그래도 노트북은 작은 편이니 냉장고 안에 넣어도 될 것 같은 생각이 방금 생각났습니다..
게시판 보면서 딥러닝 장비들 고장났다라는 이야기들이 있는데
개인적인 느낌은 일반 서버보다 딥러닝 서버가 수명이 짧네 (빨리 고장나네)
10억 투자해서 딥러닝 서버 돌려도 3년 밖에 못쓰네
그런 생각이 가끔 들 때가 있습니다..
(물론 딥러닝 서버 밖에 못하는 일들이 많기에 얼마가 들어가더라도 딥러닝 서버를 사용할 수 밖에 없는 일이 있다는 것은 알고 있습니다..)
물론 사용자마다 딥러닝 서버를 어떤 상태(환경)에서 돌리는지는 다 다르고 그것을 알려주지 않는 이상은 그 환경이 나쁜 것인지 아닌지는 모릅니다만
딥러닝 서버는 그래도 IDC 수준의 냉각(꾸준히 20~25도 유지)이 필요하지 않는가 라는 생각도 들게 합니다..
실제 일반 서버를 돌리는 IIDC 센터에서 재일 많이 전기가 사용되는 곳은 서버보다는 온도유지 (열방출) 이라고 하는 듯합니다..
** 노트북으로 머신 러닝 돌리는 걸 봤습니다...
** 버티질 못하던데요..
** 노트북은 자기 자신과의 싸움으로 온도와 쓰로틀링..소음등..
** 결국 죽더라구요.. 냉납 현상 생겨서 AS 들어 가더군요.
노트북 gpu는 그래픽카드에 장착되는 gpu 보다 core 수도 적고 클럭속도도 낮아 느린 부분이 있고
노트북 메인보드에 gpu 칩이 장착된 경우엔 cpu, gpu, ram 온도 때문에 발열문제가 심합니다.
가지고 다니면서 무거운 모델을 학습하는 건 현실적으로 불가능하고
차라리 가벼운 노트북을 집이나 회사의 gpu 서버나 클라우드 서비스(구글 colab 등)에 연결해서 학습하시는게
여러모로 편하실거 같습니다.
만약 불가피하게 노트북으로 학습을 해야 하는 상황이라면
thunderbolt나 특정 업체들의 자체적인 연결 인터페이스를 통한 eGPU를 사용하는 방향을 추천드립니다.
발열 및 성능 측면에서 PC에 근접한 환경을 확보할 수 있습니다.
노트북은 휴대하고 언제든지 끌 수 있고 가벼워집니다..ㅎ
저는 항상 노트북은 성능낮고 가볍고 저렴한걸로 원격 접속용으로만 사용합니다.