무선 패킷을 캡쳐해서 DBMS 로 저장하려고 합니다.
해킹 용도는 아니고(?) Layer 2 혹은 Layer 3 의 Hader 및 Tail 정보만 수집하려고 합니다.
Payload 부분은 필요도 없고, 저장하기엔 빡세서...
원래 Wireshark 로 하려고 했는데, DBMS 로 저장 기능 같은 것은 발견하지 못했습니다.
수집 기간을 24시간 이상으로 계획하고 있고, Wireshark 는 패킷 정보를 in 메모리로만 하고 있어서 좀 부적합한 것 같습니다.
( 디스크로 저장하려면 일일이 해주는 수 밖에 없는것 같았습니다. )
특히 시간별로 수집하려고 DBMS 와 연동하고 싶은데, 사용해보신 조합을 추천받으려고 합니다.
ElasticSearch 는 개념만 알고 프로그래밍을 안해봤는데, 패킷 캡쳐 프로그램과 잘 연동이 될지는 모르겠네요...
한 번 고려는 해보겠습니다ㅠ
DB에 넣는거는 그냥 RDBMS 써도 되고, row-by-row 말고 벌크로 넣으면 됩니다.
대신에 수집할 서버가 램은 200GB 이상인데 디스크가 HDD 라서 DBMS 의 I/O 가 쫓아갈지 걱정은 됩니다 ㅠ
( 그래서 Payload 는 과감히 포기! )
그리고 특정 패턴 매칭되는 패킷만 수집하는 것이 아닌, 최대한 전체 패킷을 수집하려고 합니다.
병렬처리는 환경 구축이 안되서.....;
아무래도 패킷 수집이 목적이 아니고, 수집한 데이터로 처리가 목적이다 보니 Raw Socket + DBMS 연동에는 시간 투자를 적게 하고 싶습니다 ㅠㅠㅠ
influx DB 나 TimescaleDB나 국산은 마크베이스 라는 제품도 있습니다.
해당 DB 들이 Packet Capture 프로그램과 연동되는지 확인해보겠습니다.
예산이 없어서 오픈소스 계열로 찾아보고 있습니다 ㅠ
https://wiki.wireshark.org/PostgresProtocol
https://github.com/boundary/wireshark/blob/master/epan/dissectors/packet-pgsql.c
꼭 Wireshark 가 아니어도 됐는데 (여차하면 TCPDump 까지...) Wireshark 로 해야 할 이유가 하나 더 늘었습니다.
참고해보겠습니다.
실전에서 써본지도 너무 오래되서..
제가 썼던 버전은 PostgreSQL이 발표되기 이전의 Postgres95 였습니다.
이름도 특이하고 그 이후로도 들어본적이 없어서 기억합니다. ㅎ;