안녕하세요.
리눅스 환경 파일 삭제 속도에 관해 궁금한 것이 있습니다.
리눅스 계열 서버에 익숙하지 않은 사용자인데, 정확히는 사용중인 환경이 CentOS입니다.
데이터 파일이 text file (정확히는 JSON) 같은게 한 10억개 정도 있습니다.
대량으로 파일 삭제를 하고 싶은데, 파일 삭제 버튼을 누르면,
"파일 삭제를 위한 준비중" 이라는 로딩 시간만 엄청 걸리네요.
(소량이더라도 윈도우 계열에 비해서 삭제 시간이 엄청 걸리는 것 같은데) 빨리 삭제할 수 있는 방법이 없나요?
그래도 -v 옵션넣고돌리는게..
방법에 따라 천차 만별로 차이나네요
GUI를 사용하셨으면 UI 창에 다 넣어야 하고, sorting도하고 뭐 그러기 때문에 준비하는데 오래걸리는 겁니다.
삭제를 하는데 전체 파일을 삭제하는지, 일부 이름만 reg expr를 사용하는지에따라서도 달라집니다.
가장 추천하는 방법은 find를 사용해서 삭제하는 겁니다
또 주기적으로 삭제해야 하는 상황인 거 같은데
어느 정도 기간동안 10억개 파일이 생기나요
또 전체 파일 용량은 어느 정도 되나요
이 정도 양이면 디스크 세트를 3개 혹은 5개 만들어서
돌아가면서 사용해야 할 거 같기도 합니다
그러니까 10억개가 있는 디스크를 시스템에서 제거하구
파일이 모두 삭제된 디스크를 시스템에 적용하고
사용하면서 제거된 디스크에 파일을 삭제하는 것이죠
세트 1 : 현재 20% 삭제중
세트 2 : 40% 삭제중
세트 3: 60% 삭제중
세트 4: 80% 삭제중
세트 5: 100% 삭제 -> 시스템에 적용 가능
대용량 데이터 관리는 항상 관심사입니다
저는 화학정보학 분야 기계학습 이런 것들 해보고 있는데, 매번 새로운 데이터가 주기적으로 생성되고 삭제해야하는 모니터링 분야 같은? 것은 아니고,
분자 하나 당 - 분자 좌표 - 분자 시뮬레이션 물성 등이 라벨링 된 파일들인데, 분자 종류가 많다보니 JSON 파일 갯수가 상당히 많습니다.
더 대용량 파일들을 다루게 되는 일들이 생기면 말씀해주신 것도 참고하겠습니다. 항상 감사합니다!
개수가 너무많으면 rm *로도 안되니 find를 써서 삭제해야 겠지만 그렇다고 삭제가 더 빨라지는 건 아닙니다. 결국 파일 단위로 삭제하니까 파일 개수만큼 오래 걸리겠지요.
FreeBSD님 의견처럼 디렉토리에 넣거나 상위 디렉토리에서 rm -rf로 통째로 삭제하는게 어떨까 합니다.