리눅스 (CentOS) 환경 파일 삭제 속도

python   
   조회 3385   추천 0    

안녕하세요.


리눅스 환경 파일 삭제 속도에 관해 궁금한 것이 있습니다.

리눅스 계열 서버에 익숙하지 않은 사용자인데, 정확히는 사용중인 환경이 CentOS입니다.


데이터 파일이 text file (정확히는 JSON) 같은게 한 10억개 정도 있습니다.

대량으로 파일 삭제를 하고 싶은데, 파일 삭제 버튼을 누르면,

"파일 삭제를 위한 준비중" 이라는 로딩 시간만 엄청 걸리네요.


(소량이더라도 윈도우 계열에 비해서 삭제 시간이 엄청 걸리는 것 같은데) 빨리 삭제할 수 있는 방법이 없나요?

짧은글 일수록 신중하게.
맑은여름 2021-11
-f 옵션 주는것 이외에는 별방법이 없을겁니다
Noname1 2021-11
파일삭제버튼이 있다는건 GUI인가요?
     
python 2021-11
네 CentOS? 맞을 겁니다. GUI 환경입니다. 터미널도 사용은 가능해요
          
Noname1 2021-11
터미널이 무조건 빨라여
그래도 -v 옵션넣고돌리는게..
김제연 2021-11
https://yonglhuang.com/rm-file/
방법에 따라 천차 만별로 차이나네요
엠브리오 2021-11
제일 빠른 방법은 해당 파티션을 포맷하는 거죠.
FreeBSD 2021-11
rm -rf로 파일들이 아닌 파일이 들어 있는 디렉토리를 통째로 날려버리는게 꽤나 빨리 진행됐던 것으로 기억합니다...
dateno1 2021-11
ext계열 원래 ntfs/fat보다 느려요
epowergate 2021-11
우선 목록을 뽑아내야하기 때문입니다.
GUI를 사용하셨으면 UI 창에 다 넣어야 하고, sorting도하고 뭐 그러기 때문에 준비하는데 오래걸리는 겁니다.
삭제를 하는데 전체 파일을 삭제하는지, 일부 이름만 reg expr를 사용하는지에따라서도 달라집니다.
가장 추천하는 방법은 find를 사용해서 삭제하는 겁니다
python 2021-11
많은 정보들 감사합니다! 터미널 명령어를 써봐야겠네요
하셀호프 2021-11
10억개 정도의 파일이 주기적으로 생기고
또 주기적으로 삭제해야 하는 상황인 거 같은데
어느 정도 기간동안 10억개 파일이 생기나요
또 전체 파일 용량은 어느 정도 되나요
이 정도 양이면 디스크 세트를 3개 혹은 5개 만들어서
돌아가면서 사용해야 할 거 같기도 합니다
그러니까 10억개가 있는 디스크를 시스템에서 제거하구
파일이 모두 삭제된 디스크를 시스템에 적용하고
사용하면서 제거된 디스크에 파일을 삭제하는 것이죠

세트 1 : 현재 20% 삭제중
세트 2 : 40% 삭제중
세트 3: 60% 삭제중
세트 4: 80% 삭제중
세트 5: 100% 삭제 -> 시스템에 적용 가능

대용량 데이터 관리는 항상 관심사입니다
     
python 2021-11
안녕하세요. 저번에도 많은 도움 주셔서 닉네임이 익숙한데, 매번 감사합니다.

저는 화학정보학 분야 기계학습 이런 것들 해보고 있는데, 매번 새로운 데이터가 주기적으로 생성되고 삭제해야하는 모니터링 분야 같은? 것은 아니고,

분자 하나 당 - 분자 좌표 - 분자 시뮬레이션 물성 등이 라벨링 된 파일들인데, 분자 종류가 많다보니 JSON 파일 갯수가 상당히 많습니다.

더 대용량 파일들을 다루게 되는 일들이 생기면 말씀해주신 것도 참고하겠습니다. 항상 감사합니다!
RedJacob 2021-11
파일이 그렇게 많으면 어느 OS든 삭제하는데 오래걸릴겁니다.
개수가 너무많으면 rm *로도 안되니  find를 써서 삭제해야 겠지만 그렇다고 삭제가 더 빨라지는 건 아닙니다. 결국 파일 단위로 삭제하니까 파일 개수만큼 오래 걸리겠지요.
FreeBSD님 의견처럼 디렉토리에 넣거나 상위 디렉토리에서  rm -rf로 통째로 삭제하는게 어떨까 합니다.
하셀호프 2021-11
램디스크를 사용하는 것도 방법이겠네요


QnA
제목Page 4612/5710
2014-05   5156354   정은준1
2015-12   1690700   백메가
2021-04   3364   bangCH
2020-03   3364   봉래
2017-04   3364   우뢰맨
2017-06   3363   누굴까
2017-06   3363   EdH
2021-07   3363   나요
2020-10   3363   공백기
2017-07   3363   SKIM
2019-06   3363   명성호
2019-07   3363   김건우
2014-12   3363   나파이강승훈
2019-08   3363   일론머스크
2018-04   3363   차평석
2019-11   3363   hammm
2019-03   3363   김제연
2015-07   3363   고기
2023-11   3363   Sikieiki
2020-02   3363   캔위드
2017-05   3363   두cpu
2018-07   3362   안형곤