Packet Capture 데이터를 DBMS 로 실시간 저장 프로그램 추천

DeepSky   
   조회 5015   추천 0    

무선 패킷을 캡쳐해서 DBMS 로 저장하려고 합니다.

해킹 용도는 아니고(?) Layer 2 혹은 Layer 3 의 Hader 및 Tail 정보만 수집하려고 합니다.

Payload 부분은 필요도 없고, 저장하기엔 빡세서...


원래 Wireshark 로 하려고 했는데, DBMS 로 저장 기능 같은 것은 발견하지 못했습니다.

수집 기간을 24시간 이상으로 계획하고 있고, Wireshark 는 패킷 정보를 in 메모리로만 하고 있어서 좀 부적합한 것 같습니다.

( 디스크로 저장하려면 일일이 해주는 수 밖에 없는것 같았습니다. )


특히 시간별로 수집하려고 DBMS 와 연동하고 싶은데, 사용해보신 조합을 추천받으려고 합니다.

짧은글 일수록 신중하게.
욱가 2020-06
ELK스택은 어떠실까요??
     
DeepSky 2020-06
패킷 수집 후 데이터 저장으로 ElasticSearch 로 저장한다는 말씀이신가요?
ElasticSearch 는 개념만 알고 프로그래밍을 안해봤는데, 패킷 캡쳐 프로그램과 잘 연동이 될지는 모르겠네요...
한 번 고려는 해보겠습니다ㅠ
땡덕지 2020-06
비슷한 시스템을 개발한 적이 있는데, 데이터가 대량이라면 libpcap보다는 raw socket을 쓰는게 좋습니다. 내부 필터링 패턴매칭이 CPU를 많이 잡아먹고, 심한 경우엔 패킷을 건너 뛰는 현상이 발생합니다. 병렬처리도 잘 안되고요.

DB에 넣는거는 그냥 RDBMS 써도 되고, row-by-row 말고 벌크로 넣으면 됩니다.
     
DeepSky 2020-06
수집할 대상은 무선랜 기준이기 때문에, 1Gbps 미만으로 예상하고 있습니다.
대신에 수집할 서버가 램은 200GB 이상인데 디스크가 HDD 라서 DBMS 의 I/O 가 쫓아갈지 걱정은 됩니다 ㅠ
( 그래서 Payload 는 과감히 포기! )

그리고 특정 패턴 매칭되는 패킷만 수집하는 것이 아닌, 최대한 전체 패킷을 수집하려고 합니다.
병렬처리는 환경 구축이 안되서.....;

아무래도 패킷 수집이 목적이 아니고, 수집한 데이터로 처리가 목적이다 보니 Raw Socket + DBMS 연동에는 시간 투자를 적게 하고 싶습니다 ㅠㅠㅠ
멈춘시간 2020-06
Timeserise DBMS 중에 선택하셔서 구축하시면 되지 않을까요? ^^
influx DB 나 TimescaleDB나 국산은 마크베이스 라는 제품도 있습니다.
     
DeepSky 2020-06
시계열 최적화 DB 를 추천해주신거군요.

해당 DB 들이 Packet Capture 프로그램과 연동되는지 확인해보겠습니다.
예산이 없어서 오픈소스 계열로 찾아보고 있습니다 ㅠ
엠브리오 2020-06
     
DeepSky 2020-06
PostgreSQL 은 교과서에서만(?) 봤는데, 어느 분께서 연동 모듈을 개발하셨군요!
꼭 Wireshark 가 아니어도 됐는데 (여차하면 TCPDump 까지...) Wireshark 로 해야 할 이유가 하나 더 늘었습니다.
참고해보겠습니다.
          
엠브리오 2020-06
PostgreSQL이 교과서에도 등장하나요? ㅎㅎ
실전에서 써본지도 너무 오래되서..
제가 썼던 버전은 PostgreSQL이 발표되기 이전의 Postgres95 였습니다.
               
DeepSky 2020-06
PostgreSQL 를 DB 이론 관련해서 다양한 DBMS 종류로 봤던것 같습니다.
이름도 특이하고 그 이후로도 들어본적이 없어서 기억합니다. ㅎ;


QnA
제목Page 2602/5708
2014-05   5142401   정은준1
2015-12   1676606   백메가
2021-06   4984   구십평
2016-08   4984   Christopher
2017-02   4984   audacity
2007-09   4984   김장원
2006-08   4985   김윤술
2020-02   4985   교교교
2014-03   4985   풀로드시스템
2008-08   4985   고태훈
2017-04   4985   나파이강승훈
2012-07   4985   MikroTik이진
2016-07   4985   박명근TN
2012-02   4985   람쥐라궁
2005-12   4985   윤호용
2016-12   4985   마징가
2006-01   4985   구정권
2007-01   4985   정태수
2006-12   4985   배정한
2006-07   4985   박재석
2018-02   4985   봉글
2015-11   4985   김영기대전