가령 a.com이라는 도메인을 가진 어떤 웹사이트로 접속하면 apache 디렉토리 리스팅이 뜹니다.
상위폴더, 하위폴더 이동이 자유로운 페이지인데요.
(사실상 취약점인데 안 막아놓는 듯...)
이 도메인 하위에 제가 접속할 수 있는 모든 폴더의 모든 파일들을 한 번에 다운받는 방법이 있을까요?
윈도우용 wget으로 시도해봤는데, 한글 파일명이 대부분이라 그런지 다운에 실패하더라구요.
FTP처럼 클라이언트 SW 설치해서 목록을 자유롭게 볼 수 있는 게 있으면 좋을텐데,
아파치 기반의 웹페이지에서는 제가 찾아본 바로는 그런 게 없는 것 같더라구요
정리하자면, apache 기반의 웹페이지에서 수십개 폴더의 하위 디렉토리의 모든 파일(파일명 한글,영문,특문 제각각)을 한 번에 다운받는 방법이 있을까요?
~_~
Web Crawling 으로 검색해서 찾아보세요.
받는게 싫으면 막으면 되는데, 저렇게 둔건 자업자득이란 느낌도 듭니다
웹서버에서 robots.txt 설정을 해둬도 우회해서 긁어가는 잡놈들이 짜증이 많이 나더군요.
서버 일트래픽 요금으로 돌리는 건데 봇들이 다 소모해버리기도 하고.
https://superuser.com/questions/200426/curl-to-download-a-directory
HTTP 자체가 구조화된 경로를 알려주는 녀석이 아니다 보니 정상적으로 되지 않을수도 있습니다.
과거에는 flashget 같은걸 썼는데 요즘에는 이런식으로 받질 않아봐서 잘 모르겠습니다.
툴 하나 쓰시면 될듯합니다. 범위는 해당 사이트로 고정하시구요.
지금은 저 웹사이트가 닫혔네요;;