웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4471 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2139/5707

번호	제목Page 2139/5707	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5138866	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5138866 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1673414	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1673414 1 백메가
71380	DVR 추천제품 좀 부탁드립니다. (3)	Ai20	2018-07	4474	0
DVR 추천제품 좀 부탁드립니다. (3) 2018-07 4474 1 Ai20
71379	방정리하다가 ES32067 이 나왔습니다. (3)	심바트	2018-04	4474	0
방정리하다가 ES32067 이 나왔습니다. (3) 2018-04 4474 1 심바트
71378	owncloud 초기화는 어떻게 하나요	LINKINPARK	2017-01	4474	0
owncloud 초기화는 어떻게 하나요 2017-01 4474 1 LINKINPARK
71377	4g lte 본딩 방법 질문드립니다. (1)	최재원99	2018-06	4474	0
4g lte 본딩 방법 질문드립니다. (1) 2018-06 4474 1 최재원99
71376	기가바이트 EP45-UD3R 771 제온 마이크로 코드 요청드립니다..	응삼이	2015-04	4474	0
기가바이트 EP45-UD3R 771 제온 마이크로 … 2015-04 4474 1 응삼이
71375	뉴트럴과 접지를 통전시키니 멀티미터가 울립니다 (15)	hyunwoo3480	2021-06	4474	0
뉴트럴과 접지를 통전시키니 멀티미터가 … (15) 2021-06 4474 1 hyunwoo3480
71374	밴더 OEM 확장카드 일반 보드에서 사용하는데 이상없을까요? (6)	천외천oo노…	2014-09	4474	0
밴더 OEM 확장카드 일반 보드에서 사용하… (6) 2014-09 4474 1 천외천oo노…
71373	Qnap 부팅하고 종료되는 시간 원래 이렇게 오래 걸리나요? (2)	inquisitive	2018-06	4474	0
Qnap 부팅하고 종료되는 시간 원래 이렇게… (2) 2018-06 4474 1 inquisitive
71372	M1015와 9217-8i는 어떤차이인가요? (10)	장동건2014	2020-12	4474	0
M1015와 9217-8i는 어떤차이인가요? (10) 2020-12 4474 1 장동건2014
71371	LGA1150 소켓 핀 질문입니다.	이하나	2017-08	4474	0
LGA1150 소켓 핀 질문입니다. 2017-08 4474 1 이하나
71370	끊임없이 하드를 읽습니다. (3)	매니아1	2016-07	4474	0
끊임없이 하드를 읽습니다. (3) 2016-07 4474 1 매니아1
71369	dell r210-ii 같은 서버는 파워교체가 안될까요? (9)	김건우	2014-08	4474	0
dell r210-ii 같은 서버는 파워교체가 안… (9) 2014-08 4474 1 김건우
71368	엑셀 파일을 탐색기에서 미리 보기가 안될 때... (4)	여주농민76	2021-01	4474	0
엑셀 파일을 탐색기에서 미리 보기가 안될… (4) 2021-01 4474 1 여주농민76
71367	윈10 프로 사용중에 홈으로 바꾸려면 (1)	송종	2016-12	4474	0
윈10 프로 사용중에 홈으로 바꾸려면 (1) 2016-12 4474 1 송종
71366	캐논 프린터 잘 아시는분 계신가요??? (1)	PCMaster	2016-07	4474	0
캐논 프린터 잘 아시는분 계신가요??? (1) 2016-07 4474 1 PCMaster
71365	[ 미크로틱 ] UPNP 실제 활용 용도 ? (4)	전설속의미…	2017-01	4474	0
[ 미크로틱 ] UPNP 실제 활용 용도 ? (4) 2017-01 4474 1 전설속의미…
71364	해놀로지 SSL 인증서 (서버 응답이 없습니다) (6)	2CPUI김세훈	2019-07	4474	0
해놀로지 SSL 인증서 (서버 응답이 없습니… (6) 2019-07 4474 1 2CPUI김세훈
71363	조탁 메인보드 제품정보 페이지가 바뀐거 같은데 못 (3)	건약	2015-11	4474	0
조탁 메인보드 제품정보 페이지가 바뀐거 … (3) 2015-11 4474 1 건약
71362	어댑터 교체 / 19v 4a => 20v 6a (8)	2CPU최주희	2021-03	4474	0
어댑터 교체 / 19v 4a => 20v 6a (8) 2021-03 4474 1 2CPU최주희
71361	마우스가 움직이면 폰으로 알림이 되게 할 방법 없을까요? (14)	어훕	2017-04	4474	0
마우스가 움직이면 폰으로 알림이 되게 할… (14) 2017-04 4474 1 어훕