여러 선배님들의 도움 및 조언을 얻고자 용기내어 글을 올리게 되었습니다.
와이프의 회사에서 메신저 어플을 개발중입니다.(스타트업 회사)
서비스 지역은 동남아 입니다.
해외 컨설팅 업체와 접촉을 해봤는데 AWS를 사용하라는 이야기만하고 컨설팅비만 냅다 받아갔습니다. ㅠ.ㅠ 나쁜 코쟁이
(참고로 저는 얻어 들은 지식만 있지 실제 프로그래밍에 대한 것은 하나도 모릅니다.)
현재 개발중인 어플은 메신저 어플입니다. 네이버 라인과 많이 유사합니다.(소켓 서버)
mysql, node.js, socket.i.o, php 등을 사용하여 개발하고 있습니다.
부끄럽지만 질문 몇개 올리겠습니다. ㅠ.ㅠ
1. dedicated 호스팅하는 싱가폴 업체 추천부탁드립니다.
2. 개발자들이 서버를 한대만 쓰겠다고 합니다. 제가 생각해도 비정상적인 것 같은데 말이 되나요?
3. 모바일 메신저 서비스이기에 서버단이 죽는걸 대비해서 L4(로드발란싱)를 사용하면 되는건지요?
4. 최소 필요한 서버가 몇대인가요?
제가 생각하는 서버 대수는 dB 2대(서버 죽는거 대비), CRM용 1대, 저장소 1대 입니다.
5. 동접 1만명 예상하고 있습니다. 추천 서버 부탁드립니다.
6. 외국 컨설턴트 말대로 AWS를 사용해야하나요? 아니면 코로케이션을 해야하나요?
네이버 라인과 타 메신저의 서버구성등 1주일 넘게 자료도 찾아보고 공부도 해보았지만
일반인이 이해하는데는 한계가 있었습니다. 부디 좋은 말씀 부탁드리겠습니다.
아니면 컨설팅 업체라도 알려주시면 연락해보겠습니다.
감사합니다.
socket.io 는 소켓이 아닙니다. 소켓 같은 것이죠. node.js 가 원래 멀티 코어/멀티 서버에 최적화된 환경은 아니기에 단일 서버로 충분히 버틸만 하다면 단일 서버로 가는게 나은 면은 있지만, 그렇다고 클러스터 구성 안했다가 서비스 중지될 경우에는...암담하죠. 단순히 L4 만 이야기할 게 아니라 node.js 에서 멀티 코어나 멀티 서버를 지원하기 위해 무얼 이용하는지에 따라 또다른 것이 필요합니다. redis 같은걸 이용한다면 zookeeper 나 기타 다른 데몬도 필요하고 그런데...장비 쪽으로 다 해결될 거라고 생각 안하시는게 좋습니다. 개발자들은 그런 서버 프로그래밍 쪽은 잘 몰라서 그러는 걸수도 있구요.
말씀중에 node.js는 멀티 코어에 최적화가 안되어 있어서 각 코어마다 설정을 해주어야 한다는 말씀이시죠?
개발자들이 어떻게 작업하고 있는지 확인해보라고 하겠습니다. L4가 만능은 아니라는 말씀 깊이 새겨듣겠습니다.
소중한 답변 정말 감사합니다.
동접 1만명이고 메신져 스탈이라면, 3대로 돌리야 합니다.
2대는 HA로 하고, 1대는 stand-by가 되어야 하기 때문입니다.
굳이 L4로 가야 하는 것은 아닙니다.
접속시점에 네트웍 체크해서, 랜덤하게 1번과 2번을 체크해서 들어가면 되니까요.
프로그램 개발자는 편의성 때문에 1대로 가야지 하고
그것을 3대로 분산하는 것은 시스템 관리자의 역활 입니다.
메신져는 DB를 redis 같은 것을 씁니다. slot 구조의 db니까요.
redis는 1개의 서버에 수십 수백개의 db instance를 가질 수 있구요.
라인도 redis로 시작했습니다.
AWS에 instance를 1개 열어서 시작하고, 부하가 늘어나면 서버를 분산해주면 됩니다.
처음부터 3대로 시작 안해도 됩니다.
redis의 경우 cluster가 나왔기 때문에, zoo keeper 같은거를 이제는 안해도 가능합니다.
메신저 db는 redis로 써야지 속도나 차후 서버증설에 있어서도 유리한가 봅니다.
그러면 redis와 클러스터 그리고 mysql을 쓰면 되는건지요? redis가 휘발성이라서 영구적으로 저장이 필요한
데이타와 1주일 정도 저장이 되는 데이타를 저장할려면 mysql 같은 것을 써야하지 않나요?
말씀하신 AWS를 사용할려고 생각하고 있습니다.
그럼 서버한대의 메모리를 분할하여 몇십퍼센트는 redis의 db 저장소로 사용하고 나머지 메모리는 서버의
메모리로 그리고 데이타는 서버의 ssd에 저장된다고 이해해도 되는지요?
제대로 알고 질문드려야 하는데 죄송합니다.
그리고 감사드립니다.
redis DB는 실제로 쓰는 메모리 용량이 크지 않습니다.
큰 고민 안해도 될거에요.
MySQL의 경우에는 일자별로 파티셔닝을 해서, 30일 단위로 롤링 돌리면 부하가 크지 않구요.
그리고 사실 메신저라면 저런 nosql 보다는 IMDG 같은게 더 효율성이 좋을 것 같습니다. 저는 조금 느리다는 hazelcast 을 쓰고 있는데(java vert.x 라서) 상용이나 zing jvm 도입 없이도 어느 정도 만족할만한 성능이 나와서요...
그런데 앞서 이야기 해주신 IMDG의 의미가 무엇인지 모르겠습니다.
네이버쪽으로 찾아봐도 IMDG에 대한 의미가 나오지 않습니다.
죄송하지만 조금만 설명해주시면 안될런지요.
내일 하루도 행복하세요. 감사합니다.
IMDG 는 이걸 뛰어넘어 사용자의 메모리(라기 보다는 특정 변수값 정도가 되겠죠)를 서버 간에 공유를 하는 개념입니다. 물론 비동기이기 때문에 완벽하게 동일하게 사용하기 위해서는 lock 을 걸어놓고 데이터를 처리해야 한다던가 해야 하는데, NoSQL 제품 중엔 이런 동기화를 위한 lock 처리가 좀 별로인 경우도 있어서...
어쨌든 오라클로 인수된 Coherence 라던지...몇가지 솔루션이 존재합니다. 지속적인 저장이 아닌 데이터 공유라는 개념만 가지고 간다면 IMDG 가 훨씬 도입하기 간단하고 관리포인트도 훨씬 적습니다. 물론 IMDG 에 따라 지원하는 언어에 대한 제약도 있고(주로 Java 쪽을 지원하는 경우가 많습니다) 비싼건 무지 비싸고...그렇지만 서버가 꺼졌을 때를 대비해 디스크에 백업도 해주는 솔루션들도 있기 때문에 도입을 검토해보시는 것도 좋습니다.
가격도 그렇구요
그리고 1대라는개념이 호스팅업체에 서버위탁이나 리스하고 필요하면 하드추가등을 생각하시는거
같은데 요즘같은 글로벌인터넷시대에는 의미 없습니다.
더군다나 메신저서버인데 언제 어디로 튈지 모릅니다.
AWS같은경우 부하등에 따라서 즉시로 증설등이 편합니다.
그리고 어차피 호스팅을 사용해도 원격으로 작업해야하는데
작업자 입장에서보면 호스팅이나 AWS나 거의 차이 없습니다.
말씀하신것처럼 AWS로 가닥을 잡고 있습니다. 구글도 AWS와 비슷한 서비스를 런칭했기에
비교도 해볼 생각입니다. 메신저 서버의 특징을 저희가 파악하지 않고 일을 진행했던것 같습니다.
소중한 답변 정말 감사드립니다.