특정 웹사이트의 파일을 모조리 다운받는 방법이 있을까요?

   조회 5737   추천 0    

가령 a.com이라는 도메인을 가진 어떤 웹사이트로 접속하면 apache 디렉토리 리스팅이 뜹니다.

상위폴더, 하위폴더 이동이 자유로운 페이지인데요.

(사실상 취약점인데 안 막아놓는 듯...)


이 도메인 하위에 제가 접속할 수 있는 모든 폴더의 모든 파일들을 한 번에 다운받는 방법이 있을까요?

윈도우용 wget으로 시도해봤는데, 한글 파일명이 대부분이라 그런지 다운에 실패하더라구요.


FTP처럼 클라이언트 SW 설치해서 목록을 자유롭게 볼 수 있는 게 있으면 좋을텐데, 

아파치 기반의 웹페이지에서는 제가 찾아본 바로는 그런 게 없는 것 같더라구요


정리하자면, apache 기반의 웹페이지에서 수십개 폴더의 하위 디렉토리의 모든 파일(파일명 한글,영문,특문 제각각)을 한 번에 다운받는 방법이 있을까요?

~_~
짧은글 일수록 신중하게.
무아 2021-03
남의 자료의 갈취(?)라서 나중에 문제가 생기지 않을까요?
Web Crawling 으로 검색해서 찾아보세요.
     
dateno1 2021-03
받는것보단 받은후 어떻게 쓰느냐에 달린듯합니다

받는게 싫으면 막으면 되는데, 저렇게 둔건 자업자득이란 느낌도 듭니다
          
무아 2021-03
저게. 막는다는게 서버에서 봇 막는 기능을 설정해야하는데
웹서버에서 robots.txt 설정을 해둬도 우회해서 긁어가는 잡놈들이 짜증이 많이 나더군요.
서버 일트래픽 요금으로 돌리는 건데 봇들이 다 소모해버리기도 하고.
               
앵간하면 받아갈수있더라구요
               
dateno1 2021-03
최저한도로 디렉토리 리스트 기능은 막아놔고, robots.txt에 입력하는등 막을려는 의지를 보이는데 긁어가면 애기가 다른데 저렇게 방치하는건 긁어가던말던 신경 안 쓰는거겠죠
구차니 2021-03
https://stackoverflow.com/questions/11507198/wget-download-a-sub-directory
https://superuser.com/questions/200426/curl-to-download-a-directory

HTTP 자체가 구조화된 경로를 알려주는 녀석이 아니다 보니 정상적으로 되지 않을수도 있습니다.
과거에는 flashget 같은걸 썼는데 요즘에는 이런식으로 받질 않아봐서 잘 모르겠습니다.
wget 되는데요
https://gdbs.tistory.com/94

툴 하나 쓰시면 될듯합니다. 범위는 해당 사이트로 고정하시구요.
윤하쨔응 2021-03
답변 감사합니다. 나중에 시간날 때 시도해보고 후기 남기겠습니다.
지금은 저 웹사이트가 닫혔네요;;


QnA
제목Page 3081/5710
2014-05   5159292   정은준1
2015-12   1693555   백메가
2023-05   5466   student학생
2014-05   5466   블루스카이
2008-09   5466   송화식
2022-06   5466   까치산개꿀탱
2008-09   5466   전근현
2005-09   5466   박준혁
2006-08   5466   권승범
2006-05   5466   정회정
2008-10   5466   김건우
2015-02   5466   김승권
2016-12   5467   봉봉이
2016-05   5467   슬루프
2016-12   5467   서동국
2006-08   5467   홍영표
2023-01   5467   회원
2014-03   5467   아름다운노을
2006-04   5467   이문흠
2008-04   5467   김건우
2008-03   5467   이현삼
2015-08   5467   김창현