웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

UnBoxing more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4257 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2140/5661

번호	제목Page 2140/5661	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1422466	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1422466 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (724)	정은준1	2014-05	4883288	0
[필독] 처음 오시는 분을 위한 안내 (724) 2014-05 4883288 1 정은준1
70424	Sas HDD 에러 문의 (4)	문영식	2015-06	4257	0
Sas HDD 에러 문의 (4) 2015-06 4257 1 문영식
70423	DELL R710 서버 워런티 연장에 대한 고민.... (4)	홍o반o장	2014-04	4257	0
DELL R710 서버 워런티 연장에 대한 고민.… (4) 2014-04 4257 1 홍o반o장
70422	고속충전기를 구매해야할거 같은데요...사양은 다 비슷한데 충전케이블굵기도 중요한… (4)	김건우	2016-01	4257	0
고속충전기를 구매해야할거 같은데요...사… (4) 2016-01 4257 1 김건우
70421	핸드폰 LCD 침수후 고쳐보신 분 경험담 요청 (2)	유호준	2014-05	4257	0
핸드폰 LCD 침수후 고쳐보신 분 경험담 요청 (2) 2014-05 4257 1 유호준
70420	fcc 인증 없이 개별 판매를 할 수 있을까요? (5)	케이아스	2014-12	4257	0
fcc 인증 없이 개별 판매를 할 수 있을까… (5) 2014-12 4257 1 케이아스
70419	MRTG 호환성 문제.. CentOS 5버전을 써도 문제 없겠죠? (5)	김황중	2016-10	4257	1
MRTG 호환성 문제.. CentOS 5버전을 써도 … (5) 2016-10 4257 1 김황중
70418	FET 구매할 수 있는 곳 있을까요? (3)	이선호	2018-05	4257	0
FET 구매할 수 있는 곳 있을까요? (3) 2018-05 4257 1 이선호
70417	하드 두개가 있는데요... (2)	정희섭	2006-12	4257	26
하드 두개가 있는데요... (2) 2006-12 4257 1 정희섭
70416	멜라녹스 10g어떻게 쓰는건가요? (6)	행복하세	2016-08	4257	0
멜라녹스 10g어떻게 쓰는건가요? (6) 2016-08 4257 1 행복하세
70415	nas로 사용중인 pc 모니터가 안나오네여;;	슈퍼스쿠터	2016-12	4257	1
nas로 사용중인 pc 모니터가 안나오네여;; 2016-12 4257 1 슈퍼스쿠터
70414	서버 2016 설치에서 막혀서 문의드립니다. (14)	김민철GC	2017-05	4257	1
서버 2016 설치에서 막혀서 문의드립니다. (14) 2017-05 4257 1 김민철GC
70413	이번주에는 구입을 해야하는데 e5-2696v4 / 쓰레드리퍼 1950x 둘 중 고민입니다 (8)	하나비	2018-05	4257	0
이번주에는 구입을 해야하는데 e5-2696v4 … (8) 2018-05 4257 1 하나비
70412	윈도우2016 을 ssd 32Gb 설치가 될까요?... 흐흐흐	김황중	2017-02	4257	2
윈도우2016 을 ssd 32Gb 설치가 될까요?..… 2017-02 4257 1 김황중
70411	Z820 2cpu 구성시 파워가 부족할까요?? (2)	나몰라1	2016-10	4257	0
Z820 2cpu 구성시 파워가 부족할까요?? (2) 2016-10 4257 1 나몰라1
70410	Win 7 64bit Enterprise 에서 QHD 모니터 사용문의입니다. (2)	트니아빠	2017-03	4257	0
Win 7 64bit Enterprise 에서 QHD 모니터 … (2) 2017-03 4257 1 트니아빠
70409	웹사이트 크롤링 문의드립니다. (2)	삐돌이슬픔이	2014-11	4258	0
웹사이트 크롤링 문의드립니다. (2) 2014-11 4258 1 삐돌이슬픔이
70408	메모리 선택 어떻게 해야 하나요? (5)	Sunrise	2016-11	4258	0
메모리 선택 어떻게 해야 하나요? (5) 2016-11 4258 1 Sunrise
70407	Dell iDRAC에 무작위 접속시도 차단 (3)	SlaysD	2016-07	4258	0
Dell iDRAC에 무작위 접속시도 차단 (3) 2016-07 4258 1 SlaysD
70406	동남아쪽과 파일공유 방안 (16)	하늘하늘	2016-07	4258	0
동남아쪽과 파일공유 방안 (16) 2016-07 4258 1 하늘하늘
70405	웹서핑, 문서작업용 + 가상화 nas용으로 24시간 가동할 저전력 pc 사양 추천부탁드립… (13)	audacity	2020-10	4258	0
웹서핑, 문서작업용 + 가상화 nas용으로 2… (13) 2020-10 4258 1 audacity