Packet Capture 데이터를 DBMS 로 실시간 저장 프로그램 추천

DeepSky   
   조회 5187   추천 0    

무선 패킷을 캡쳐해서 DBMS 로 저장하려고 합니다.

해킹 용도는 아니고(?) Layer 2 혹은 Layer 3 의 Hader 및 Tail 정보만 수집하려고 합니다.

Payload 부분은 필요도 없고, 저장하기엔 빡세서...


원래 Wireshark 로 하려고 했는데, DBMS 로 저장 기능 같은 것은 발견하지 못했습니다.

수집 기간을 24시간 이상으로 계획하고 있고, Wireshark 는 패킷 정보를 in 메모리로만 하고 있어서 좀 부적합한 것 같습니다.

( 디스크로 저장하려면 일일이 해주는 수 밖에 없는것 같았습니다. )


특히 시간별로 수집하려고 DBMS 와 연동하고 싶은데, 사용해보신 조합을 추천받으려고 합니다.

짧은글 일수록 신중하게.
욱가 2020-06
ELK스택은 어떠실까요??
     
DeepSky 2020-06
패킷 수집 후 데이터 저장으로 ElasticSearch 로 저장한다는 말씀이신가요?
ElasticSearch 는 개념만 알고 프로그래밍을 안해봤는데, 패킷 캡쳐 프로그램과 잘 연동이 될지는 모르겠네요...
한 번 고려는 해보겠습니다ㅠ
땡덕지 2020-06
비슷한 시스템을 개발한 적이 있는데, 데이터가 대량이라면 libpcap보다는 raw socket을 쓰는게 좋습니다. 내부 필터링 패턴매칭이 CPU를 많이 잡아먹고, 심한 경우엔 패킷을 건너 뛰는 현상이 발생합니다. 병렬처리도 잘 안되고요.

DB에 넣는거는 그냥 RDBMS 써도 되고, row-by-row 말고 벌크로 넣으면 됩니다.
     
DeepSky 2020-06
수집할 대상은 무선랜 기준이기 때문에, 1Gbps 미만으로 예상하고 있습니다.
대신에 수집할 서버가 램은 200GB 이상인데 디스크가 HDD 라서 DBMS 의 I/O 가 쫓아갈지 걱정은 됩니다 ㅠ
( 그래서 Payload 는 과감히 포기! )

그리고 특정 패턴 매칭되는 패킷만 수집하는 것이 아닌, 최대한 전체 패킷을 수집하려고 합니다.
병렬처리는 환경 구축이 안되서.....;

아무래도 패킷 수집이 목적이 아니고, 수집한 데이터로 처리가 목적이다 보니 Raw Socket + DBMS 연동에는 시간 투자를 적게 하고 싶습니다 ㅠㅠㅠ
멈춘시간 2020-06
Timeserise DBMS 중에 선택하셔서 구축하시면 되지 않을까요? ^^
influx DB 나 TimescaleDB나 국산은 마크베이스 라는 제품도 있습니다.
     
DeepSky 2020-06
시계열 최적화 DB 를 추천해주신거군요.

해당 DB 들이 Packet Capture 프로그램과 연동되는지 확인해보겠습니다.
예산이 없어서 오픈소스 계열로 찾아보고 있습니다 ㅠ
엠브리오 2020-06
     
DeepSky 2020-06
PostgreSQL 은 교과서에서만(?) 봤는데, 어느 분께서 연동 모듈을 개발하셨군요!
꼭 Wireshark 가 아니어도 됐는데 (여차하면 TCPDump 까지...) Wireshark 로 해야 할 이유가 하나 더 늘었습니다.
참고해보겠습니다.
          
엠브리오 2020-06
PostgreSQL이 교과서에도 등장하나요? ㅎㅎ
실전에서 써본지도 너무 오래되서..
제가 썼던 버전은 PostgreSQL이 발표되기 이전의 Postgres95 였습니다.
               
DeepSky 2020-06
PostgreSQL 를 DB 이론 관련해서 다양한 DBMS 종류로 봤던것 같습니다.
이름도 특이하고 그 이후로도 들어본적이 없어서 기억합니다. ㅎ;


QnA
제목Page 3116/5718
2014-05   5207616   정은준1
2015-12   1739383   백메가
2012-09   5168   황혼을향해
2016-12   5168   수필처럼
2007-07   5168   윤승일
2016-11   5168   딸기코
2017-02   5168   앙드레준
2020-05   5168   원주멋진덩치
2015-10   5168   바부팅이
2008-09   5167   서보민
2014-11   5167   amplifier
2018-09   5167   민사장
2018-06   5167   머리감자
2006-09   5167   김융기
2007-12   5167   노정래
2007-03   5167   선철
2018-04   5167   김주현
2012-02   5167   김정중
2008-11   5167   박동선
2019-02   5167   까르
2008-11   5167   석진형
2012-04   5167   조진권