DB를 업는다??..
그럴 필요가 있나요??..
뭐 히스토리가 없으면 어떤 자료도 구할수가 없습니다....
다른 빅데이터도 마찬가지 입니다..
보통 5년 이상자료는 다른곳에 뺵업을 하지요..
5년주기로 자릅니다..
근데 이것도 문제가 각 1년씩 겹처 검색도 가능해야된다는 문제가 발생해서..
큰업체들은 그냥 통으로 빅데이터를 할용합니다..
그래서 데이터 센터가 엄청나게 커진겁니다..
히스토리가 꼭 있어야 빅데이터 활용이 가능합니다..
직접적으로 DB를 만드는거 말고는 sql 자료의 업데이트 히스토리를 첵크 하는거 뿐입니다..
만들어 사용하는것이 가장 좋습니다.
DB마다 다른 내용이기 때문에 툴로 만들수가 없을듯 합니다.
만든다면 필드를 등록해서 검색하는 방법으로 만드는방법 뿐입니다.. 하하하
inner join 등 과 같은 DB 연결을 해서 검색 조건을 연결 하는것만이 답일듯 합니다.
하둡+스파크 등등을 사용하기도 하지만, 배보다 배꼽이 커질지도 모릅니다.
mysql을 리플렉션으로 마스터와 슬래이브로 나누어 마스터는 write로 슬래이브는 read 로 구성하고 슬래이브 DB에서 배치잡으로 별도의 통계 DB에 일별 결과를 스케쥴링 걸으면 가장 단순한 방법으로 될거 같내요.
마스터 슬래이브 구조는 서비스에 영향을 덜어주기 위한 구성으로 보시면 될거 같습니다. 이 구조의 단점은 슬래이브에 언젠간 데이타가 등록 되겠지만, 실시간은 아니란 것이죠... 유수의 많은 기업들이 이 구조를 사용하기도 합니다.
익숙한것을사용하세요. redis와 몽고DB는 key / value 형태 그리고 document 형태의 DB입니다.mysql로도 충분히 가능합니다. 즉 컬럼을 두게만 만드는 것이죠.
프라이머리 키를 저장하는 컬럼과 value 값을 담는 컬럼(long 혹은 clob 나 blob type)으로 value에 json 또는 xml로넣기만 하면됩니다.
value값을 꺼내고 파싱해야 하는 문제가 있습니다. 전통적은 배치잡으로 시작하시고, 데이터가 많이 쌓여 성능 저하가 일어난다 싶을때 고려해도 늦지 않습니다.
redis는 메모리 DB여서 서버 구축 비용도 고려하셔야 합니다.
1. 이미 있는 물건들을 사용 (Google Analytics)
2. 자체 개발
- 정확한 용도와 동작이 나와야 가능하겠지만, landing page 와 그 landing page 를 접근한 흔적을 분석하기 위한 솔루션이 등장해야 할거로 보입니다.
- 근데, 일 로그량 등의 데이터가 나와야 겠지만, "배보다 배꼽이 매우 커질" 가능성이 높습니다.
회원K
그럴 필요가 있나요??..
뭐 히스토리가 없으면 어떤 자료도 구할수가 없습니다....
다른 빅데이터도 마찬가지 입니다..
보통 5년 이상자료는 다른곳에 뺵업을 하지요..
5년주기로 자릅니다..
근데 이것도 문제가 각 1년씩 겹처 검색도 가능해야된다는 문제가 발생해서..
큰업체들은 그냥 통으로 빅데이터를 할용합니다..
그래서 데이터 센터가 엄청나게 커진겁니다..
히스토리가 꼭 있어야 빅데이터 활용이 가능합니다..
History를 RDB에 하는 것보다 조금 더 효율적으로 넣어서 관리할 방법을 찾으려구요.
RDB는 실시간 반영이 안되쟎아요.
만들어 사용하는것이 가장 좋습니다.
DB마다 다른 내용이기 때문에 툴로 만들수가 없을듯 합니다.
만든다면 필드를 등록해서 검색하는 방법으로 만드는방법 뿐입니다.. 하하하
inner join 등 과 같은 DB 연결을 해서 검색 조건을 연결 하는것만이 답일듯 합니다.
실시간 대응을 위해서요.
중간 결과를 mysql에 저장하는 것은 해야 할거구요.
mysql을 리플렉션으로 마스터와 슬래이브로 나누어 마스터는 write로 슬래이브는 read 로 구성하고 슬래이브 DB에서 배치잡으로 별도의 통계 DB에 일별 결과를 스케쥴링 걸으면 가장 단순한 방법으로 될거 같내요.
마스터 슬래이브 구조는 서비스에 영향을 덜어주기 위한 구성으로 보시면 될거 같습니다. 이 구조의 단점은 슬래이브에 언젠간 데이타가 등록 되겠지만, 실시간은 아니란 것이죠... 유수의 많은 기업들이 이 구조를 사용하기도 합니다.
단순 mysql이 아닌 특별한 뭔가를 해보고 싶어서요.
redis와 mongo db 같은 것을 연결해야 하나 고민중입니다.
트래픽이 얼마나 되는지모르지만 어지간하면 일반 RDBMS로 충분하지않을까싶습니다.
엔간한 서버에 메모리 넉넉히 꽂고 SSD 달아서 대용량데이터분석에 적당하도록 DB와 OS튜닝해주면 불편한 빅데이터분석도구들보다 낫다고봅니다.
이래저래 고민되네요. -.-
프라이머리 키를 저장하는 컬럼과 value 값을 담는 컬럼(long 혹은 clob 나 blob type)으로 value에 json 또는 xml로넣기만 하면됩니다.
value값을 꺼내고 파싱해야 하는 문제가 있습니다. 전통적은 배치잡으로 시작하시고, 데이터가 많이 쌓여 성능 저하가 일어난다 싶을때 고려해도 늦지 않습니다.
redis는 메모리 DB여서 서버 구축 비용도 고려하셔야 합니다.
2. 자체 개발
- 정확한 용도와 동작이 나와야 가능하겠지만, landing page 와 그 landing page 를 접근한 흔적을 분석하기 위한 솔루션이 등장해야 할거로 보입니다.
- 근데, 일 로그량 등의 데이터가 나와야 겠지만, "배보다 배꼽이 매우 커질" 가능성이 높습니다.