웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4462 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2993/5707

번호	제목Page 2993/5707	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1670593	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1670593 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5135692	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5135692 1 정은준1
54293	z800 megaraid software manager 문의드립니다. (1)	Midabo	2014-11	3543	0
z800 megaraid software manager 문의드립… (1) 2014-11 3543 1 Midabo
54292	바이오스 업데이트와 씨피유 업그레이드 (8)	나파이강승훈	2014-11	4054	0
바이오스 업데이트와 씨피유 업그레이드 (8) 2014-11 4054 1 나파이강승훈
54291	IP공유서비스 가입 안내화면 (8)	노도잠들다	2014-11	7632	0
IP공유서비스 가입 안내화면 (8) 2014-11 7632 1 노도잠들다
54290	비접촉으로 개인을 특정할 수 있는 방법 (18)	풀로드시스템	2014-11	4512	0
비접촉으로 개인을 특정할 수 있는 방법 (18) 2014-11 4512 1 풀로드시스템
54289	이런 제품이 있는지 궁금합니다. (5)	하늘하늘	2014-11	3871	0
이런 제품이 있는지 궁금합니다. (5) 2014-11 3871 1 하늘하늘
54288	제온으로 개조가 가능한 보드가 어느것일지? (6)	엠브리오	2014-11	5050	0
제온으로 개조가 가능한 보드가 어느것일… (6) 2014-11 5050 1 엠브리오
54287	디링크 dir-868lw 공유기 dd-wrt 사용시 관련 질문입니다. (3)	미스터최	2014-11	9960	0
디링크 dir-868lw 공유기 dd-wrt 사용시 … (3) 2014-11 9960 1 미스터최
54286	라이센스 문제 없는 리눅스 어떤게 좋을 까요 (윈도우만 사용한 사람) (5)	wons	2014-11	5653	0
라이센스 문제 없는 리눅스 어떤게 좋을 … (5) 2014-11 5653 1 wons
54285	이것의 이름과 판매하는곳을 알고 싶습니다 (9)	미수맨	2014-11	4240	0
이것의 이름과 판매하는곳을 알고 싶습니다 (9) 2014-11 4240 1 미수맨
54284	해킨토시를 설치하고 파일 서버 문의드립니다. (3)	미수맨	2014-11	5307	0
해킨토시를 설치하고 파일 서버 문의드립… (3) 2014-11 5307 1 미수맨
54283	adobe flash player 설치버전 다운로드하는 곳이 있나요? (2)	조명수	2014-11	4575	0
adobe flash player 설치버전 다운로드하… (2) 2014-11 4575 1 조명수
54282	[사진추가]문형님 .. (9)	Won낙연	2014-11	4409	0
[사진추가]문형님 .. (9) 2014-11 4409 1 Won낙연
54281	베뉴 8이냐 슬 7이냐 고민중입니다. (12)	방o효o문	2014-11	6488	0
베뉴 8이냐 슬 7이냐 고민중입니다. (12) 2014-11 6488 1 방o효o문
54280	안녕하세요. nexenta ce fc target설정 문의 (3)	2FluF	2014-11	4115	0
안녕하세요. nexenta ce fc target설정 문의 (3) 2014-11 4115 1 2FluF
54279	바이오스 업데이트 도와주세요.. (3)	Won낙연	2014-11	4293	0
바이오스 업데이트 도와주세요.. (3) 2014-11 4293 1 Won낙연
54278	OpenGL 에러 (2)	오미라	2014-11	4686	0
OpenGL 에러 (2) 2014-11 4686 1 오미라
54277	소규모 사무실 네트워크에 필요한 공유기와 스위칭허브 문의 (4)	언더바케이	2014-11	7559	0
소규모 사무실 네트워크에 필요한 공유기… (4) 2014-11 7559 1 언더바케이
54276	저전력 NAS 를 제작 중 Raid Card 선택 문의 드립니다. (5)	똑딱악어	2014-11	5486	0
저전력 NAS 를 제작 중 Raid Card 선택 문… (5) 2014-11 5486 1 똑딱악어
54275	서버 구성 관련 조언 부탁드립니다. (2)	oracleuser	2014-11	3915	0
서버 구성 관련 조언 부탁드립니다. (2) 2014-11 3915 1 oracleuser
54274	외산 대기업 서버에 별도로 SSD 구매 해서 넣어 사용들 하시는지요? (6)	oracleuser	2014-11	4215	0
외산 대기업 서버에 별도로 SSD 구매 해서… (6) 2014-11 4215 1 oracleuser