박문형 2024-02

저는 딥러닝이나 그 쪽 관련 프로그래밍은 전혀 모릅니다..

하시려는 일이 개발이라면 가속기 하드웨어만 있으면 혼자 다 개발이 가능하신지요??

그렇지 않다면 위에 적어주신 4개의 회사는 컴파일러나 라이브러리 그리고 개발을 위해 나온 툴들이 대략 어떤 것인지 ??

그리고 그것들을 다 다룰 수 있으신가요??


얼핏 알기로는 엔비디아의 GPU 프로그램의 가장 기초인 CUDA는 대략 16년이 되어가고 있고 CUDA가 나온 초창기에는 국내에서도

엔비디아코리아가 여러 대학교에 CUDA강연과 교육을 엄청나게 했던 것으로 기억합니다..


그 다음 오래된 것이 AMD로 알고 있는데 거기는 어떤 프로그램으로 개발하는지 잘 모릅니다.. AMD도 어찌저찌 10년은 되었을 겁니다..



지금 엔비디아 솔류션중 하드웨어는 무지무지 비싸지만 거기들어가는 전용 소프트웨어는 더 비싸다고 알고 있습니다..

하시는 일에 어느 회사의 어떤 장비와 어떤 소프트웨어나 라이센스가 필요한지 종합적으로 견적을 내보시기 바랍니다..


그 외는 딥러닝 장비 제조사들의 제품을 사용해서 실제 결과를 만드는 레퍼런스 회사들이 각 제조사마다 얼마나 있는지도 확인해보세요..

레퍼런스가 많을수록 신뢰도는 높다고 할 수 있습니다..

FDInfra 2024-02

답변 감사합니다.

컴파일 라이브러리 개발을 위해 나온툴들이 한업체빼곤 확실히 다 비공개이긴 했습니다.

확실히 엔비디아로 사는게 맞을것같습니다.. 업체들 정보가 너무 비공개적이라 까다롭긴합니다.

해당 관련해서 레퍼런스도 몇개 찾아봐야겠습니다 ㅎ

감사합니다.

박문형 2024-02

그래프코어는 시스템 트러블 슈팅 이슈로 이름은 들어보았습니다..

여기도 회사는 몇 년 되었을겁니다..

본사에 문의하던지해서 국내 총판이나 리셀러가 있으면 그곳과 상의해보세요..

저라면 엔비디아 말고라면 차선책은 AMD 그 다음은 인텔을 알아보았을 듯 합니다..


https://namu.wiki/w/NVIDIA%20%EB%8D%B0%EC%9D%B4%ED%84%B0%20%EC%84%BC%ED%84%B0%20GPU

엔비디아 데이터센터용 GPU 나무위키

https://namu.wiki/w/AMD%20Instinct

AMD Instinct 나무위키

https://www.amd.com/ko/products/accelerators/instinct/mi300/mi300x.html

AMD Instinct  MI300X

https://www.amd.com/ko/graphics/servers-instinct-deep-learning

AMD Instinct 솔류션

dateno1 2024-02

엔당 추천및 선택하는 가장 큰 이유는 가장 많이 쓰여서 가장 흔해서 그런겁니다

듣보잡은 문제 생겼을때 막히면 찾아볼 자료조차 없습니다

레인보우7 2024-02

Cuda 의 힘이 강합니다. 개발자들 새로 짜는거 엄청 싫어합니다 ^^
그나저나 전기를 많이 먹어서 Cuda toolkit이 100% 호환되고
저전력에서 성능이 신선한 AI칩이 나오면 대안은 될것도 같은데 N당의 힘은 얼마간 지속되지 싶습니다.
전력량 못줄이면 다덜 힘들어질겁니다. 지구를 위해서?

Caig 2024-02

친구가 LLM 연구 및 스타트업에서 종사하는데..

CUDA로 파이프라인을 짜가면 엔비디아에서는 개발자를 파견해서 세세하게 검토해주면서 오히려 최적의 방향성을 제시해주는 방식으로 CUDA 사용을 더욱 더 장려한다고 하더라구요.

일례일 뿐이지만 이러한 경우가 스타트업 회사들 전반적으로 퍼져있음을 생각해본다면 괜히 엔비디아 제품이 시장 장악을 하는게 아니구나 합니다.