약 50~60KB 짜리 텍스트파일로 만들어진 웹서버 로그파일이 2만개쯤..됩니다.
로그툴에 있는 그래프로 체크하려고 한꺼번에 특정 텍스트 부분을 바꾸기 위해
대량 수정을 하고있는데 너무 느립니다..
디스크는 삼성 830 SSD 128G 이구요...
한 7천개 정도 텍스트 replace 되는데 2시간 가까이 걸렸습니다...
수어번 더 수정해서 몇번 시행착오를 거쳐야 할 것 같은데 더 빠른 방법이 없나 궁금합니다...
약 50~60KB 짜리 텍스트파일로 만들어진 웹서버 로그파일이 2만개쯤..됩니다.
로그툴에 있는 그래프로 체크하려고 한꺼번에 특정 텍스트 부분을 바꾸기 위해
대량 수정을 하고있는데 너무 느립니다..
디스크는 삼성 830 SSD 128G 이구요...
한 7천개 정도 텍스트 replace 되는데 2시간 가까이 걸렸습니다...
수어번 더 수정해서 몇번 시행착오를 거쳐야 할 것 같은데 더 빠른 방법이 없나 궁금합니다...
더 나은 방법을 알려드리는데 도움이 될거 같습니다만....
제 생각에는 awk나 python 같은 걸로 직접 프로그래밍해서 처리하는 방법이 가장 빠를 것 같습니다.
일단 cpu 쓰레드를 최대한 활용하도록 해주고. replace 롤이 복잡하지 않게 해주는 것이 도움이 되지않늘까 싶습니다.
그리고 파일 용량이 작으니까 한방에 파일 하나씩을 로딩해서 변환해주는 옵션이 있는지 확인해보세요
그리고 파일을 메모리에 올리면 연연님 말씀처럼 awk 나 python 으로 작업하는게 여러가지로 유용해 보이구요.
압축되면 더 작아질 텐데 작업 의뢰를 받아 해드리는게 더 좋을지도? ㅋㅋ (경험이 될테니 당연히 봉사 정도로~)
그리고 제 경험상 원래 느린게 정상입니다. T.T