웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

DIY-호작질 more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4476 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2136/5708

번호	제목Page 2136/5708	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1673629	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1673629 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5139141	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5139141 1 정은준1
71441	핸폰의 mini hdmi 포트를 핸폰 전원포트에 꽂아서 써야합니다. 그렇게 하다보니 다른… (9)	김건우	2018-07	4475	0
핸폰의 mini hdmi 포트를 핸폰 전원포트에… (9) 2018-07 4475 1 김건우
71440	아수스 Z8NA-D6 질문 몇 가지 드립니다. (3)	총각	2016-01	4475	0
아수스 Z8NA-D6 질문 몇 가지 드립니다. (3) 2016-01 4475 1 총각
71439	이 느낌표는 무엇일까요? (3)	서버를알지	2017-08	4475	0
이 느낌표는 무엇일까요? (3) 2017-08 4475 1 서버를알지
71438	i5-7600T가 왜 3.50GHz으로 동작하는지... (6)	모자란트	2019-02	4475	0
i5-7600T가 왜 3.50GHz으로 동작하는지... (6) 2019-02 4475 1 모자란트
71437	bypass 랜카드 문의 드립니다. (2)	acarin	2015-07	4475	0
bypass 랜카드 문의 드립니다. (2) 2015-07 4475 1 acarin
71436	atx to atx-ges conversion kit이 필요합니다. (2)	명성호	2007-05	4475	18
atx to atx-ges conversion kit이 필요합… (2) 2007-05 4475 1 명성호
71435	조탁 메인보드 제품정보 페이지가 바뀐거 같은데 못 (3)	건약	2015-11	4475	0
조탁 메인보드 제품정보 페이지가 바뀐거 … (3) 2015-11 4475 1 건약
71434	esxi에서 랜카드를 SR-IOV 사용해 보려고 합니다. (5)	까치산개꿀탱	2020-10	4475	0
esxi에서 랜카드를 SR-IOV 사용해 보려고 … (5) 2020-10 4475 1 까치산개꿀탱
71433	가정용 공유기 추천 부탁드립니다 (2)	하루카	2014-03	4475	0
가정용 공유기 추천 부탁드립니다 (2) 2014-03 4475 1 하루카
71432	스마트FTP Calculating Local Hash 끄는 옵션이 있는가요? (2)	LSSAH	2018-09	4476	0
스마트FTP Calculating Local Hash 끄는 … (2) 2018-09 4476 1 LSSAH
71431	방정리하다가 ES32067 이 나왔습니다. (3)	심바트	2018-04	4476	0
방정리하다가 ES32067 이 나왔습니다. (3) 2018-04 4476 1 심바트
71430	쥬니퍼 SSG-140-SH 최신 펌웨어 구합니다. (2)	천외천oo노…	2014-11	4476	0
쥬니퍼 SSG-140-SH 최신 펌웨어 구합니다. (2) 2014-11 4476 1 천외천oo노…
71429	장터에 풀린 E5-2670 을 써서 16코어 시스템을 만들려고 합니다. (8)	엠브리오	2016-01	4476	0
장터에 풀린 E5-2670 을 써서 16코어 시스… (8) 2016-01 4476 1 엠브리오
71428	무선인터넷연결시 (7)	2CPU최주희	2015-10	4476	0
무선인터넷연결시 (7) 2015-10 4476 1 2CPU최주희
71427	동영상 재생시 아래와 같은 문제 (8)	정은준	2006-09	4476	17
동영상 재생시 아래와 같은 문제 (8) 2006-09 4476 1 정은준
71426	dc 모터 잘하시는분 답변부탁드립니다 (3)	늘푸른날	2020-01	4476	0
dc 모터 잘하시는분 답변부탁드립니다 (3) 2020-01 4476 1 늘푸른날
71425	asus p5p41t-le 모델 개조바이오스 부탁드립니다. (1)	하균아빠	2016-12	4476	0
asus p5p41t-le 모델 개조바이오스 부탁드… (1) 2016-12 4476 1 하균아빠
71424	이 제품 구매해 주실 수 있는 분 계신가요? (17)	김형준1	2016-03	4476	0
이 제품 구매해 주실 수 있는 분 계신가요? (17) 2016-03 4476 1 김형준1
71423	마우스가 움직이면 폰으로 알림이 되게 할 방법 없을까요? (14)	어훕	2017-04	4476	0
마우스가 움직이면 폰으로 알림이 되게 할… (14) 2017-04 4476 1 어훕
71422	레이드용으로 쓸 하드 추천부탁드립니다. (7)	문추기	2006-10	4476	7
레이드용으로 쓸 하드 추천부탁드립니다. (7) 2006-10 4476 1 문추기