미니 PC 여러대로 proxmox 클러스터를 구성하신 분이 있으실까요

검은콩   
   조회 1510   추천 0    

쪽팔리면 질문하지 맙시다. 소중한 답변 댓글을 삭제하는건 부끄러운 일 입니다


 https://www.2cpu.co.kr/freeboard_2011/1726338


여기있는 보드 보니까, 미니 PC 사양도 요즘은 거의 7950x 뺨치는거같은데...

저런 거 한 5대 들여서 클러스터 구성해보고싶은 욕심이 드네요.

프로덕션 레벨은 힘들겠지만...

제 주 용도는 playwright , selenium 을 이용한 크롤링이 대부분이어서 CPU 자원을 매우 잡아먹어서 요즘 별별 생각이 다 드네요.

뭐 어찌됐건 저거 5대 사는 게 쓰레드리퍼 7990wx 인가? 이런 모델 사는거보단 저렴할테니깐요..

어찌 저랑 비슷한 생각을 하시는 분이 있을지 궁금합니다.

짧은글 일수록 신중하게.
손님 2024-11
한 작업을 다수의 머신을 이용해서 처리하는 경우가 아니라면 강력한 1 기를 사용하시는 편이 편하고 결과도 확실할 것 같습니다.
     
검은콩 2024-11
selenium remote 를 이용하려고하고 있습니다. 너무 많은 브라우저가 띄워지니까 강력한 1기로는 좀 힘들더라구요.
          
손님 2024-11
다수의 머신 사용하는 것도 좋겠습니다. 말씀하신 내용과 같이 강력한 1기 보다는 부하 분산으로 전체적인 성능은 월등하니
Docker 설치해서 해당 이미지 사용하시면 proxmox ve 가 도움을 주는건 아니지만 해볼만 한 것 같습니다^^
올닉스 2024-11
미니들이 대부분 전력이 낮고 i5 i7이라고는 해도 데스크탑같지는 않은것 같습니다.
회사에도 20대정도 유용중인데 빠릿하지는 못해요.
저는 전력량과 성능은 비례한다 라는 생각인지라 빵빵한녀석들로 쓰는게 좋을것 같아요
상석하대 2024-11
클러스터를 왜 하이퍼바이저로 하려는 가요?
     
dateno1 2024-11
그 부분은 저도 궁금하네요

참고로 저 보드 7950X 대비 80%이상 벤치 멀티 점수 뽑히긴했습니다
          
검은콩 2024-11
제가 용어를 잘 모르는거같네요.. 7950x 가 4대정도 있으면 좋겠다는 욕심이 있긴 해서(공간도 적게 차지했으면 좋겠고...), 이런저런 고민이 많습니다. 아래 댓글에 제 상황을 적어두었습니다.
               
dateno1 2024-11
전성비나 공간 효율 고려하신다면 나쁘지않습니다

가성비는 괜찮은데 상시 갈구면 내구성이 괜찮을지 불명이니 알아서 판단해주세요

120mm 25T 팬 장착시 8~90도 찍긴하는데, 실재 전력 소비는 100왓정도에 불과하니 대형 타워형 쿨러라도 달아주면 아주 넉넉할껍니다 (나사 구멍은 알아서 맞추어야겠죠)
     
검은콩 2024-11
아.. 제가 하이퍼바이저와 클러스터 개념이 확실하지가 않네요.
proxmox 가 하이퍼바이저 중 하나이고, 여러 대에 proxmox를 깔아서 슬레이브 마스터와 슬레이브 노드를 구축하면 클러스터라고 부르는 거 아닌가요?

제 상황은 이렇습니다.
7950x + proxmox 위에  우분투와 윈도우 여러 개를 올려서 쓰고 있는데 cpu 사용률이 너무 높아져서, 부하를 분산하려고 고려하고 있는 상황입니다.
또한, 수평확장이 필요해서 어떻게 해야할지 고민이 많네요.
          
상석하대 2024-11
수행할 작업들을 노드에 분배,
어떤 서비스를 노드들이 동시에 실행하여 나눠서 응답,
서버나 서비스를 통으로 자동 절체 등에 클러스터가 쓰여요.

웹클롤러를 살펴 봤어요.
크롤 작업을 노드들에 뿌려서 결과를 거둬 들이려면 해당 로직이 있어야 하거든요.
안 돼 있는 것 같아요.
소스가 있더라도 구현이 쉽지는 않을 거라는 생각이 들었어요.

클러스터는 맞지 않는 것 같아요.
가상화도 그렇구요.
클러스터, 가상화가 쓰는 리소스도 적지는 않아요.
               
검은콩 2024-11
글쿤요..
7950 2대급 사양을 고사양 한대로 치환하면 대략 7970x (cpu 만 400만원..)이라서 고민이 많네요..
                    
상석하대 2024-11
컴퓨터 2대를 어떻게 어떻게 해서 고사양 1대처럼 쓸 수 있으면 얼마나 좋겠어요.
이상적이죠.
즉, 현실적이지 않다예요.
이 바닥에 판이 갈리는 건데요.
그래서 대개는 솔루션이나 개발로 작업의 효율을 높여요.
병렬MPI, 로드밸런싱, 라운드로빈, 그리드, GPU연산 등으로요.
셀레니움에 유연성이 있을지 모르겠으나 좀 더 알아 보겠습니까.
파이썬 개발자라면 셀레니움에 MPI를 넣을 수 있지 않나 싶고요.
김제연 2024-11
어떤거 크롤링 하시나요  궁금하네요
     
검은콩 2024-11
거의 모든 커뮤니티를 크롤링하면서 hate speech 및 trending 을 LLM 으로 분석하는 프로젝트를 진행 중입니다. 그런데 브라우저 60개쯤 띄우면 거의 cpu 점유율이 80%에 육박해서 고민되네요. 200~300개씩은 돌려야하는데 난감하네요. 그렇다고 headless 로 할 수도 없고.. 고민이 많습니다
          
김제연 2024-11
7950 에 60개면 요즘 부하 많이 없지 않나요? headless 로 안되는건 왜 그런가요?
               
검은콩 2024-11
몇몇 사이트는 headless 파라미터를 주면 인식하더라구요. 차단되면 그게 또 돈이라..
          
드리데이 2024-11
이건 브라우저를  띄워서 하지도 않아도 되어보이는데...
               
검은콩 2024-11
인스타그램이랑 페이스북은 캡차떠서 해야됩니다...
이창준 2024-11
방향이 저도 매우 궁금합니다.
정말 웹을 혼자서 기어 다니며, 무수한 자료를 긁어모으는 기생충을 만들어 보고 싶은데, 하드웨어도 딸리고, 실력도 딸리고....어떻게 방향이 잡힐지 궁금합니다.ㅎㅎ


QnA
제목Page 62/5729
2015-12   1789151   백메가
2014-05   5264203   정은준1
2018-04   4091   띠로리
2014-11   4132   오성기
2020-08   3184   르나풀스
2019-05   3811   프로시아
2023-09   2405   Lucyed
2020-08   3856   isaiah
2022-02   2525   UDION52
2013-07   8877   장동건2014
2019-06   4952   DDDIE
2023-09   2325   미수맨
2020-09   7275   sffbig
2014-12   15896   안형곤
2016-03   22155   리오
2019-06   3069   페넘9500아…
2017-02   7106   검은바람
2019-06   3409   사랑하라
2020-09   5614   송상병
2010-08   8856   뚜뚜김대원
2014-12   14277   여주이상돈
2016-03   3995   AplPEC