대략 50~60KB 짜리 텍스트 로그 처리시...

   조회 4230   추천 0    

약 50~60KB 짜리 텍스트파일로 만들어진 웹서버 로그파일이 2만개쯤..됩니다.

로그툴에 있는 그래프로 체크하려고 한꺼번에 특정 텍스트 부분을 바꾸기 위해

대량 수정을 하고있는데 너무 느립니다..

디스크는 삼성 830 SSD 128G 이구요...

한 7천개 정도 텍스트 replace 되는데 2시간 가까이 걸렸습니다...

수어번 더 수정해서 몇번 시행착오를 거쳐야 할 것 같은데 더 빠른 방법이 없나 궁금합니다...


짧은글 일수록 신중하게.
연연 2014-05
무슨 방법으로 수정작업을 하고 계시는지 정도는 말씀해 주시면
더 나은 방법을 알려드리는데 도움이 될거 같습니다만....
제 생각에는 awk나 python 같은 걸로 직접 프로그래밍해서 처리하는 방법이 가장 빠를 것 같습니다.
무아 2014-05
tar 같은 걸로 묶어주고 한방에 하면.  tar 가 깨지겠죠? 한번 해보고 싶네요.

일단 cpu 쓰레드를 최대한 활용하도록 해주고. replace 롤이 복잡하지 않게 해주는 것이 도움이 되지않늘까 싶습니다.

그리고 파일 용량이 작으니까 한방에 파일 하나씩을 로딩해서 변환해주는 옵션이 있는지 확인해보세요
눈빛마음 2014-05
대충 1기가 인데... SSD 보다 RAM 에 올리고 작업하시는게 더 빠를 것 같은데요?
그리고 파일을 메모리에 올리면 연연님 말씀처럼 awk 나 python 으로 작업하는게 여러가지로 유용해 보이구요.
압축되면 더 작아질 텐데 작업 의뢰를 받아 해드리는게 더 좋을지도? ㅋㅋ (경험이 될테니 당연히 봉사 정도로~)

그리고 제 경험상 원래 느린게 정상입니다. T.T


QnA
제목Page 3181/5724
2014-05   5237127   정은준1
2015-12   1762791   백메가
2014-05   9497   C3
2014-05   4411   방o효o문
2014-05   5608   블루스카이
2014-05   6356   박완경
2014-05   5701   ZSNET5
2014-05   4231   윈도우10
2014-05   6508   임시현
2014-05   9257   esca
2014-05   6126   김정훈
2014-05   4603   김병일
2014-05   4561   여주이상돈
2014-05   5792   song05
2014-05   4806   김민수2
2014-05   6427   엠브리오
2014-05   5365   akfalles
2014-05   5261   akfalles
2014-05   3851   심우철
2014-05   4010   오준호5
2014-05   11934   윈도우10
2014-05   5337   bluo