특정 웹사이트의 파일을 모조리 다운받는 방법이 있을까요?

   조회 5738   추천 0    

가령 a.com이라는 도메인을 가진 어떤 웹사이트로 접속하면 apache 디렉토리 리스팅이 뜹니다.

상위폴더, 하위폴더 이동이 자유로운 페이지인데요.

(사실상 취약점인데 안 막아놓는 듯...)


이 도메인 하위에 제가 접속할 수 있는 모든 폴더의 모든 파일들을 한 번에 다운받는 방법이 있을까요?

윈도우용 wget으로 시도해봤는데, 한글 파일명이 대부분이라 그런지 다운에 실패하더라구요.


FTP처럼 클라이언트 SW 설치해서 목록을 자유롭게 볼 수 있는 게 있으면 좋을텐데, 

아파치 기반의 웹페이지에서는 제가 찾아본 바로는 그런 게 없는 것 같더라구요


정리하자면, apache 기반의 웹페이지에서 수십개 폴더의 하위 디렉토리의 모든 파일(파일명 한글,영문,특문 제각각)을 한 번에 다운받는 방법이 있을까요?

~_~
짧은글 일수록 신중하게.
무아 2021-03
남의 자료의 갈취(?)라서 나중에 문제가 생기지 않을까요?
Web Crawling 으로 검색해서 찾아보세요.
     
dateno1 2021-03
받는것보단 받은후 어떻게 쓰느냐에 달린듯합니다

받는게 싫으면 막으면 되는데, 저렇게 둔건 자업자득이란 느낌도 듭니다
          
무아 2021-03
저게. 막는다는게 서버에서 봇 막는 기능을 설정해야하는데
웹서버에서 robots.txt 설정을 해둬도 우회해서 긁어가는 잡놈들이 짜증이 많이 나더군요.
서버 일트래픽 요금으로 돌리는 건데 봇들이 다 소모해버리기도 하고.
               
앵간하면 받아갈수있더라구요
               
dateno1 2021-03
최저한도로 디렉토리 리스트 기능은 막아놔고, robots.txt에 입력하는등 막을려는 의지를 보이는데 긁어가면 애기가 다른데 저렇게 방치하는건 긁어가던말던 신경 안 쓰는거겠죠
구차니 2021-03
https://stackoverflow.com/questions/11507198/wget-download-a-sub-directory
https://superuser.com/questions/200426/curl-to-download-a-directory

HTTP 자체가 구조화된 경로를 알려주는 녀석이 아니다 보니 정상적으로 되지 않을수도 있습니다.
과거에는 flashget 같은걸 썼는데 요즘에는 이런식으로 받질 않아봐서 잘 모르겠습니다.
wget 되는데요
https://gdbs.tistory.com/94

툴 하나 쓰시면 될듯합니다. 범위는 해당 사이트로 고정하시구요.
윤하쨔응 2021-03
답변 감사합니다. 나중에 시간날 때 시도해보고 후기 남기겠습니다.
지금은 저 웹사이트가 닫혔네요;;


QnA
제목Page 3084/5711
2014-05   5163862   정은준1
2015-12   1698053   백메가
2009-02   5553   김융기
2006-08   5553   곽태영
2015-04   5553   엠브리오
2007-02   5553   오성기
2012-06   5553   IRIX6530
2020-09   5553   홍성행정사
2006-09   5553   김병우
2009-02   5553   김상일
2015-03   5553   김제연
2008-11   5553   노재성
2020-07   5553   쿨쿨쿨
2005-12   5553   이성준
2005-11   5553   정성훈
2012-12   5553   성투불패
2006-03   5553   김상현
2009-03   5553   김은식
2006-05   5553   정혜진
2016-04   5553   날씬한곰돌이
2016-10   5553   다온
2009-02   5553   김대식