웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

생활 2CPU more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4263 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2904/5663

번호	제목Page 2904/5663	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (724)	정은준1	2014-05	4891969	0
[필독] 처음 오시는 분을 위한 안내 (724) 2014-05 4891969 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1430863	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1430863 1 백메가
55182	아답텍 5805 케이블을 구매했는데, 정품이 맞는지 궁금합니다. (5)	김훈1	2015-01	3891	0
아답텍 5805 케이블을 구매했는데, 정품이… (5) 2015-01 3891 1 김훈1
55181	오드로이드 쓸만한가요? (5)	걸인신홍철	2015-01	7507	0
오드로이드 쓸만한가요? (5) 2015-01 7507 1 걸인신홍철
55180	엑셀 내용 외부에 붙여넣기시 앞뒤로 큰 따옴표 출력이 되는데..	오준호5	2015-01	12843	0
엑셀 내용 외부에 붙여넣기시 앞뒤로 큰 … 2015-01 12843 1 오준호5
55179	M1015, 윈도우 2012R2에서 사용하시는 분 있으신가요? (5)	김진규	2015-01	4531	0
M1015, 윈도우 2012R2에서 사용하시는 분 … (5) 2015-01 4531 1 김진규
55178	작업관리자 좀 봐 주십시요. (9)	미담	2015-01	5641	0
작업관리자 좀 봐 주십시요. (9) 2015-01 5641 1 미담
55177	미크로틱 브릿지 간 통신 문제 (1)	송주환	2015-01	5389	0
미크로틱 브릿지 간 통신 문제 (1) 2015-01 5389 1 송주환
55176	아마존 상품 상세설명에서 국내배송 가능 여부와 배송비는 어떻게 알 수 있을까요 ? (3)	김윤상	2015-01	9310	0
아마존 상품 상세설명에서 국내배송 가능 … (3) 2015-01 9310 1 김윤상
55175	PCI Express Flash는 스토리지 성능의 구세주인가? (5)	카프카	2015-01	7321	0
PCI Express Flash는 스토리지 성능의 구… (5) 2015-01 7321 1 카프카
55174	그래픽카드 메모리 문제 (9)	미담	2015-01	9149	0
그래픽카드 메모리 문제 (9) 2015-01 9149 1 미담
55173	무선AP 음영지역 해결책 좀 문의드립니다. (6)	그러니까a	2015-01	10282	0
무선AP 음영지역 해결책 좀 문의드립니다. (6) 2015-01 10282 1 그러니까a
55172	요즘 게임방에는 어떤 스위치가 들어가나요? (4)	한효석	2015-01	9576	0
요즘 게임방에는 어떤 스위치가 들어가나… (4) 2015-01 9576 1 한효석
55171	microserver gen8 옥탑방 케이블 국내는 못구할까요? (2)	이이크	2015-01	9361	0
microserver gen8 옥탑방 케이블 국내는 … (2) 2015-01 9361 1 이이크
55170	1년 365일 기온이 25°C~28°C인 나라는 어디가 있을까요? (10)	소년시대	2015-01	12320	0
1년 365일 기온이 25°C~28°C인 나라는 어… (10) 2015-01 12320 1 소년시대
55169	하드랙 4 / 5 / 6TB 지원 여부 (3)	누굴까	2015-01	7553	0
하드랙 4 / 5 / 6TB 지원 여부 (3) 2015-01 7553 1 누굴까
55168	VHD로 부팅한 상태에서는 HYPER-V가 설치 안되나요? (1)	차평석	2015-01	6624	0
VHD로 부팅한 상태에서는 HYPER-V가 설치 … (1) 2015-01 6624 1 차평석
55167	날짜 표기법에 대해서 문의드립니다. (2)	방o효o문	2015-01	6523	0
날짜 표기법에 대해서 문의드립니다. (2) 2015-01 6523 1 방o효o문
55166	파일 메니지먼트같은 소프트웨어 사용하시는분~ (1)	ADUS	2015-01	6319	0
파일 메니지먼트같은 소프트웨어 사용하시… (1) 2015-01 6319 1 ADUS
55165	GA-EP45-UD3R 중고보드 구매했는데요. (6)	엘리엇	2015-01	8434	0
GA-EP45-UD3R 중고보드 구매했는데요. (6) 2015-01 8434 1 엘리엇
55164	이거 정상인가요?	김준유	2015-01	6072	0
이거 정상인가요? 2015-01 6072 1 김준유
55163	HP ML110 G7 뒤늦게 구입한 사람인데요.램 설치 순서를 알수없어 문의드립니다. (1)	그레이블루	2015-01	11921	0
HP ML110 G7 뒤늦게 구입한 사람인데요.램… (1) 2015-01 11921 1 그레이블루