웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4289 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2964/5678

번호	제목Page 2964/5678	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1477680	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1477680 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (726)	정은준1	2014-05	4940824	0
[필독] 처음 오시는 분을 위한 안내 (726) 2014-05 4940824 1 정은준1
54293	노트북 화면이 깨지는데 무엇이 문제인가요? (3)	조명수	2013-10	5139	0
노트북 화면이 깨지는데 무엇이 문제인가… (3) 2013-10 5139 1 조명수
54292	윈도우8 탑재된 태블릿...어떻게 그 용량에 os와 어플이 다 설치되는걸까요? (10)	김건우	2015-03	5358	0
윈도우8 탑재된 태블릿...어떻게 그 용량… (10) 2015-03 5358 1 김건우
54291	vmware workstation 정보인데 이게 무슨내용인가요? (3)	케리스	2017-04	2979	0
vmware workstation 정보인데 이게 무슨내… (3) 2017-04 2979 1 케리스
54290	windows11 이벤트 로그 (4)	무아	02-02	1114	0
windows11 이벤트 로그 (4) 02-02 1114 1 무아
54289	개조제온(e5450) 그래픽카드 추천부탁드려요 파워는430입니다. (12)	가성비를찾다	2016-05	8538	0
개조제온(e5450) 그래픽카드 추천부탁드려… (12) 2016-05 8538 1 가성비를찾다
54288	pdf 문서에 암호가 걸려있습니다. 이거 풀수 있을까요? (6)	엠브리오	2015-03	14213	0
pdf 문서에 암호가 걸려있습니다. 이거 풀… (6) 2015-03 14213 1 엠브리오
54287	e5450 771 to 775메인보드 GA-EP43-S3L 바이오스 구합니다. (1)	웨딩마차	2016-05	4934	0
e5450 771 to 775메인보드 GA-EP43-S3L 바… (1) 2016-05 4934 1 웨딩마차
54286	바이오스내 설정한 램 전력과 표기 전력이 차이납니다. (2)	영산회상	2022-06	1530	0
바이오스내 설정한 램 전력과 표기 전력이… (2) 2022-06 1530 1 영산회상
54285	해군 전역 방송 (2)	화란	02-12	1329	0
해군 전역 방송 (2) 02-12 1329 1 화란
54284	5.1채널 피씨스피커 문의드려요 (9)	김건우	2011-04	7859	0
5.1채널 피씨스피커 문의드려요 (9) 2011-04 7859 1 김건우
54283	파일 이력 관리처럼 관리 할 수 있는게 있을까요?git hub 처럼 (2)	김제연	2015-03	3601	0
파일 이력 관리처럼 관리 할 수 있는게 있… (2) 2015-03 3601 1 김제연
54282	USB 젠더 찾는데 도움 부탁드립니다 (11)	미수맨	2020-12	3844	0
USB 젠더 찾는데 도움 부탁드립니다 (11) 2020-12 3844 1 미수맨
54281	POS 용 키보드를 일반 데스크탑에서 단축키 용도로 쓸 수 있을까요? (1)	Sans	2020-12	2322	0
POS 용 키보드를 일반 데스크탑에서 단축… (1) 2020-12 2322 1 Sans
54280	Windows Server 백업 기능 관련 문의 (5)	L2스위치	02-19	992	0
Windows Server 백업 기능 관련 문의 (5) 02-19 992 1 L2스위치
54279	인텔 nic 티밍(어댑터오류포용)에 관해 (2)	떠돌이늑대	2015-03	4042	0
인텔 nic 티밍(어댑터오류포용)에 관해 (2) 2015-03 4042 1 떠돌이늑대
54278	MS Visual C++ 2015 (2)	일론머스크	2016-05	3778	0
MS Visual C++ 2015 (2) 2016-05 3778 1 일론머스크
54277	최신 Lenovo 서버 (SR530)는 DS storage manager를 어디서 받아야 하나요? (1)	구십평	2019-09	2981	0
최신 Lenovo 서버 (SR530)는 DS storage m… (1) 2019-09 2981 1 구십평
54276	산업용 보드 NAS 化에 헝그리 HDD 케이스... (2)	유호준	2013-11	11115	0
산업용 보드 NAS 化에 헝그리 HDD 케이스.… (2) 2013-11 11115 1 유호준
54275	새로 조립하려다가 마음 고쳐먹었습니다. (15)	토프만	2018-08	4071	0
새로 조립하려다가 마음 고쳐먹었습니다. (15) 2018-08 4071 1 토프만
54274	일일10만페이지뷰. mssql express로 버틸수 있을까요? (8)	캐릭터	2011-06	6847	0
일일10만페이지뷰. mssql express로 버틸… (8) 2011-06 6847 1 캐릭터