mysql 버젼이 무엇인가요?
MyIsam의 경우에는 당연히 slow query 걸리고 죽습니다.
MySQL을 5.5.30 버젼으로 올리고, 메모리 조금 더 넉넉하게 해주고, 테이블을 inno db로 바꾸면 안죽습니다.
하드와 컨트롤러와는 무관한 MySQL MyIsam의 문제 입니다.
프로그램을 할 때 방법론도 아주 중요합니다.
SQL을 한번 써서 모든 것을 할 수도 있지만,
그런 경우 table을 오랫동안 잡고 있어야 하기에 시스템 전체에 부하가 들어갑니다.
그래서 적당한 수준으로 db task를 잘라서 서버의 부하가 적당히 들어가게 해야하죠.
2CPU 같은 사이트가 무난히 돌아가는 것은 지속적으로 그런 개선이 있었기 때문입니다.
Word index, inverted word index 별도로 구성하셔야 될 겁니다.
Word index table 은 하나의 document 에 어떠한 단어가 몇개 들어있는지를 나타내는 테이블이고
inverted word index table 은 하나의 단어가 어떠한 document 에 들어가 있는지 나타내는 테이블입니다.
사용자가 2cpu 라고 검색하였을때 모든 document 를 full scan 하여야 하는 문제가 분명히 발생할 것이라고
보이고요..
일단 원본 데이터가 들어가 있는 table 을 full scan 하는 것을 막는게 급선무로 보입니다.
(뭐.. 4천만건 테이블을 모두 메모리에 올려놓을 정도의 메모리를 확보하는 방법도 있겠습니다만..)
MyIsam의 경우에는 당연히 slow query 걸리고 죽습니다.
MySQL을 5.5.30 버젼으로 올리고, 메모리 조금 더 넉넉하게 해주고, 테이블을 inno db로 바꾸면 안죽습니다.
하드와 컨트롤러와는 무관한 MySQL MyIsam의 문제 입니다.
ssd로도 해결이 안되시면 저와 같이 fusionio 장비로 테스트를 진행해 보시는건 어떨까요...하하
지금 서버가 웹서버랑 동시에 돌아가고 있어서 버퍼메모리(18기가)를 많이 적용을 못했어요.. 그리고 다른 사이트의 innodb테이블도 10기가 내외라서 다합치면 25~30기가 정도 되는것같아요
만약에 DB서버를 별도로 두고 버퍼메모리를 총 64기가에서 50기가정도 셋팅하고 MYSQL5.5.30으로 설치하구 진행하면 훨씬 퀘적하게 작동할 수 있을까요? 한.. 1초 내외로 결과 나올 수 있게요...
일단 MySQL부터 올려보세요.
아마 5.1.x를 쓰시는 것 같은데 ... 맞나요?
그리고 프로그램을 수정해서 join하지 않게 코드를 바꿔야 합니다.
loop 돌리는게 더 빠르고 부하가 작습니다.
날짜별 통계는 배치 성격인데 여러명이 접속해서 처리 한다는 개념은 아닌 것 같아서...
해당 슬로우쿼리에 대한 plan을 확인해 튜닝이 필요해 보입니다.
4천만 건은 많은 양으로 보이지는 않습니다.
그렇기 때문에 각 사용자가 입력하는 단어가 모두 달라요..
그리고 실시간으로 4천만건데이터에 추가적으로 데이터가 쌓이구요..
'특정단어' 가 Key가 되어야 하는데
검색 관련 된거라 검색엔진 기술이 없다면 관련 솔루션 도입이 필요해 보이네요.
일단 서버를 바로 업데이트 하기가 곤란하니 DB서버만 별도로 만들고 MYSQL 버전은 5.5.30으로 셋팅 해봐야겠네요..
검색 솔루션은 제가 수익성 없이 하는것이라서 유료로 어떻게 하기는 어려운 상황이에요..
서버 추가하고 여전히 느리면 다시한번 사진 포함해서 다시한번 글 올리도록 하겟습니다^^ 감사합니다!
SQL을 한번 써서 모든 것을 할 수도 있지만,
그런 경우 table을 오랫동안 잡고 있어야 하기에 시스템 전체에 부하가 들어갑니다.
그래서 적당한 수준으로 db task를 잘라서 서버의 부하가 적당히 들어가게 해야하죠.
2CPU 같은 사이트가 무난히 돌아가는 것은 지속적으로 그런 개선이 있었기 때문입니다.
Word index table 은 하나의 document 에 어떠한 단어가 몇개 들어있는지를 나타내는 테이블이고
inverted word index table 은 하나의 단어가 어떠한 document 에 들어가 있는지 나타내는 테이블입니다.
사용자가 2cpu 라고 검색하였을때 모든 document 를 full scan 하여야 하는 문제가 분명히 발생할 것이라고
보이고요..
일단 원본 데이터가 들어가 있는 table 을 full scan 하는 것을 막는게 급선무로 보입니다.
(뭐.. 4천만건 테이블을 모두 메모리에 올려놓을 정도의 메모리를 확보하는 방법도 있겠습니다만..)