웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4284 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2143/5672

번호	제목Page 2143/5672	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (725)	정은준1	2014-05	4928630	0
[필독] 처음 오시는 분을 위한 안내 (725) 2014-05 4928630 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1466129	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1466129 1 백메가
70600	못쓰게 된 배터리를 어떻게 폐기하는게 정답인가요? (4)	김우진	2015-02	4283	0
못쓰게 된 배터리를 어떻게 폐기하는게 정… (4) 2015-02 4283 1 김우진
70599	블루투스 오디오 리시버의 범용성 (6)	급여일에만나요	2018-04	4283	0
블루투스 오디오 리시버의 범용성 (6) 2018-04 4283 1 급여일에만나요
70598	발바닥에 붙혀서 피로 풀어준다는 제품 (7)	으라차차차	2018-06	4284	0
발바닥에 붙혀서 피로 풀어준다는 제품 (7) 2018-06 4284 1 으라차차차
70597	네트워크 연결 이렇게 사용이 가능 할까요? (11)	SpringValley	2014-02	4284	0
네트워크 연결 이렇게 사용이 가능 할까요? (11) 2014-02 4284 1 SpringValley
70596	여기저기 둘러보며 메인보드 구경하고있는데 메인보드위에 하얀것.. (4)	쁘삐	2015-05	4284	0
여기저기 둘러보며 메인보드 구경하고있는… (4) 2015-05 4284 1 쁘삐
70595	그래픽 카드랑 모니터랑 연결 문의 드립니다. (9)	jack33	2018-01	4284	0
그래픽 카드랑 모니터랑 연결 문의 드립니… (9) 2018-01 4284 1 jack33
70594	xenserver (또는 xcp-ng 에다가) 에서 endian firewall 을 돌리시는 분 계실까요? xe… (14)	나파이강승훈	2019-09	4284	0
xenserver (또는 xcp-ng 에다가) 에서 end… (14) 2019-09 4284 1 나파이강승훈
70593	미크로틱 라우터 OS 질문드립니다. (8)	하늘바라기	2015-09	4284	0
미크로틱 라우터 OS 질문드립니다. (8) 2015-09 4284 1 하늘바라기
70592	아답텍5805z의 배터리 장착법? (5)	thslr74	2015-09	4284	0
아답텍5805z의 배터리 장착법? (5) 2015-09 4284 1 thslr74
70591	dell r210-ii 같은 서버는 파워교체가 안될까요? (9)	김건우	2014-08	4284	0
dell r210-ii 같은 서버는 파워교체가 안… (9) 2014-08 4284 1 김건우
70590	아이폰4s 배터리 교체할 사설업체 추천 부탁드립니다. (6)	이동범	2015-04	4284	0
아이폰4s 배터리 교체할 사설업체 추천 부… (6) 2015-04 4284 1 이동범
70589	이 제품 구매해 주실 수 있는 분 계신가요? (17)	김형준1	2016-03	4284	0
이 제품 구매해 주실 수 있는 분 계신가요? (17) 2016-03 4284 1 김형준1
70588	HDD 사타 커넥서 수리 질문 드립니다. (13)	누굴까	2021-03	4284	0
HDD 사타 커넥서 수리 질문 드립니다. (13) 2021-03 4284 1 누굴까
70587	네트웍 화일전송 시 랜사용율상태가 널을 뛰는 이유가 뭘까요? (11)	김건우	2015-08	4284	0
네트웍 화일전송 시 랜사용율상태가 널을 … (11) 2015-08 4284 1 김건우
70586	공유기를 이용해 DB서버,웹서버 내부통신하려고합니다... 공유기 추천 부탁드립니다 (10)	백인찬	2014-04	4284	0
공유기를 이용해 DB서버,웹서버 내부통신… (10) 2014-04 4284 1 백인찬
70585	저자부품 소량 구매처 (3)	여주이상돈	2014-12	4284	0
저자부품 소량 구매처 (3) 2014-12 4284 1 여주이상돈
70584	Tesla GPU 거래 가능한 곳... (6)	SeaOtter	2014-10	4285	0
Tesla GPU 거래 가능한 곳... (6) 2014-10 4285 1 SeaOtter
70583	P410 펌에따라 전송속도가 많이 달라지나요?	명성호	2013-10	4285	0
P410 펌에따라 전송속도가 많이 달라지나… 2013-10 4285 1 명성호
70582	해킹 당한건지 확인 좀 부탁드립니다. (5)	v김호준v	2015-02	4285	0
해킹 당한건지 확인 좀 부탁드립니다. (5) 2015-02 4285 1 v김호준v
70581	중국어 키보드가 필요한데요.... (2)	백남억	2014-12	4285	0
중국어 키보드가 필요한데요.... (2) 2014-12 4285 1 백남억