웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

생활 2CPU more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4405 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2127/5699

번호	제목Page 2127/5699	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (232)	백메가	2015-12	1637580	25
(광고) 단통법 시대의 인터넷가입 가이드(… (232) 2015-12 1637580 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5101033	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5101033 1 정은준1
71449	DC 전압 관련 질문이.. (28)	빠시온	2018-03	4405	1
DC 전압 관련 질문이.. (28) 2018-03 4405 1 빠시온
71448	유심을 잃어버렸다가 다시 찾으면 재 사용이 가능 할 까요? (4)	신은왜	2015-04	4405	0
유심을 잃어버렸다가 다시 찾으면 재 사용… (4) 2015-04 4405 1 신은왜
71447	요즘은 윈도우즈 환경에서 gcc 빌드할 때 뭐 쓰나요? (6)	무아	2020-11	4405	0
요즘은 윈도우즈 환경에서 gcc 빌드할 때 … (6) 2020-11 4405 1 무아
71446	sas 하드를 일반 PC에서.. 질문드립니다.. (17)	dNb0	2021-05	4405	0
sas 하드를 일반 PC에서.. 질문드립니다.. (17) 2021-05 4405 1 dNb0
71445	지금 윈도우10 보조기술로 업그레이드가 가능한가요? (8)	시도니	2018-01	4405	0
지금 윈도우10 보조기술로 업그레이드가 … (8) 2018-01 4405 1 시도니
71444	윈7에서 윈10업그레이드 정품인증 문의 (1)	BJH	2018-01	4405	0
윈7에서 윈10업그레이드 정품인증 문의 (1) 2018-01 4405 1 BJH
71443	저렴한 차량용 스피커 교체.. 질문드립니다. ^^ (14)	반성만	2019-10	4405	0
저렴한 차량용 스피커 교체.. 질문드립니… (14) 2019-10 4405 1 반성만
71442	호환성 문의드립니다. (3)	최용석	2005-12	4405	7
호환성 문의드립니다. (3) 2005-12 4405 1 최용석
71441	듀얼 보드 메모리 질문 (5)	Sunrise	2016-11	4406	0
듀얼 보드 메모리 질문 (5) 2016-11 4406 1 Sunrise
71440	그래픽코어가 왜 CPU 내장일까요? (8)	김영기	2015-04	4406	0
그래픽코어가 왜 CPU 내장일까요? (8) 2015-04 4406 1 김영기
71439	웹사이트 크롤링 문의드립니다. (2)	삐돌이슬픔이	2014-11	4406	0
웹사이트 크롤링 문의드립니다. (2) 2014-11 4406 1 삐돌이슬픔이
71438	USB 3.0 믿을만 한가요? (13)	ITES	2015-06	4406	0
USB 3.0 믿을만 한가요? (13) 2015-06 4406 1 ITES
71437	이 공구셋트 어때요? (6)	김상민	2016-02	4406	0
이 공구셋트 어때요? (6) 2016-02 4406 1 김상민
71436	하드 상태 문의 드립니다. (12)	전산oa	2018-05	4406	0
하드 상태 문의 드립니다. (12) 2018-05 4406 1 전산oa
71435	모멘투스 파티션 제거 문의 (12)	원주멋진덩치	2014-08	4406	0
모멘투스 파티션 제거 문의 (12) 2014-08 4406 1 원주멋진덩치
71434	이보드로 컴퓨터 조립 가능한가요? (8)	노아디	2016-07	4406	0
이보드로 컴퓨터 조립 가능한가요? (8) 2016-07 4406 1 노아디
71433	멀티툴 끝판대장은 어떤 모델일까요 ?? (13)	화란	2019-01	4406	0
멀티툴 끝판대장은 어떤 모델일까요 ?? (13) 2019-01 4406 1 화란
71432	mx0.mail2000.com.tw 에서 CONNECT요청 경험해보신 분 계시나요?	e5472	2014-11	4406	0
mx0.mail2000.com.tw 에서 CONNECT요청 경… 2014-11 4406 1 e5472
71431	USB 메모리 사려는대 조언좀 부탁드립니다. (8)	방o효o문	2014-02	4406	0
USB 메모리 사려는대 조언좀 부탁드립니다. (8) 2014-02 4406 1 방o효o문
71430	Z420 CMOS에서 SATA 모드 변경 문의드립니다 (5)	강한구	2016-03	4406	0
Z420 CMOS에서 SATA 모드 변경 문의드립니다 (5) 2016-03 4406 1 강한구