대략 50~60KB 짜리 텍스트 로그 처리시...

   조회 4143   추천 0    

약 50~60KB 짜리 텍스트파일로 만들어진 웹서버 로그파일이 2만개쯤..됩니다.

로그툴에 있는 그래프로 체크하려고 한꺼번에 특정 텍스트 부분을 바꾸기 위해

대량 수정을 하고있는데 너무 느립니다..

디스크는 삼성 830 SSD 128G 이구요...

한 7천개 정도 텍스트 replace 되는데 2시간 가까이 걸렸습니다...

수어번 더 수정해서 몇번 시행착오를 거쳐야 할 것 같은데 더 빠른 방법이 없나 궁금합니다...


짧은글 일수록 신중하게.
연연 2014-05
무슨 방법으로 수정작업을 하고 계시는지 정도는 말씀해 주시면
더 나은 방법을 알려드리는데 도움이 될거 같습니다만....
제 생각에는 awk나 python 같은 걸로 직접 프로그래밍해서 처리하는 방법이 가장 빠를 것 같습니다.
무아 2014-05
tar 같은 걸로 묶어주고 한방에 하면.  tar 가 깨지겠죠? 한번 해보고 싶네요.

일단 cpu 쓰레드를 최대한 활용하도록 해주고. replace 롤이 복잡하지 않게 해주는 것이 도움이 되지않늘까 싶습니다.

그리고 파일 용량이 작으니까 한방에 파일 하나씩을 로딩해서 변환해주는 옵션이 있는지 확인해보세요
눈빛마음 2014-05
대충 1기가 인데... SSD 보다 RAM 에 올리고 작업하시는게 더 빠를 것 같은데요?
그리고 파일을 메모리에 올리면 연연님 말씀처럼 awk 나 python 으로 작업하는게 여러가지로 유용해 보이구요.
압축되면 더 작아질 텐데 작업 의뢰를 받아 해드리는게 더 좋을지도? ㅋㅋ (경험이 될테니 당연히 봉사 정도로~)

그리고 제 경험상 원래 느린게 정상입니다. T.T


QnA
제목Page 1796/5709
2014-05   5149309   정은준1
2015-12   1683840   백메가
2016-04   4158   비와서코털…
2016-08   4158   luciddream
2020-08   4158   이지포토
2017-06   4158   오티스
2018-02   4158   눈부신아침
2014-08   4158   윈도우10
2016-12   4158   늘파란
2015-01   4158   김현린
2018-04   4158   눈부신아침
2014-02   4158   김상민
2015-02   4158   걸인신홍철
2017-11   4158   yuno
2015-07   4158   2cpumem
2019-04   4158   online9
2015-10   4158   웃자웃자
2020-04   4158   진신두
2020-03   4158   2CPUI김세훈
2018-02   4159   박문형
2015-10   4159   이해하면오…
2018-07   4159   lamanus