웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4417 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3577/5703

번호	제목Page 3577/5703	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1653271	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1653271 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5117760	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5117760 1 정은준1
42522	HP Microserver Gen8 메모리 질문드립니다. (6)	DoWoo	2016-03	4420	0
HP Microserver Gen8 메모리 질문드립니다. (6) 2016-03 4420 1 DoWoo
42521	델서버 해외구매해도 괜찮을까요? (18)	레비오사	2021-03	4420	0
델서버 해외구매해도 괜찮을까요? (18) 2021-03 4420 1 레비오사
42520	e5450관련하여 문의드립니다. (3)	초보컴맹	2015-06	4420	0
e5450관련하여 문의드립니다. (3) 2015-06 4420 1 초보컴맹
42519	선배님들 ! EEB 폼팩터 지원 케이스 / 쿨러 추천좀 부탁드리겠습니다 (9)	옵테론입문	2019-07	4420	0
선배님들 ! EEB 폼팩터 지원 케이스 / 쿨… (9) 2019-07 4420 1 옵테론입문
42518	HP Z440 시도때도 없이 재부팅 됩니다. (26)	맑은여름	2020-06	4420	0
HP Z440 시도때도 없이 재부팅 됩니다. (26) 2020-06 4420 1 맑은여름
42517	아이폰4s 배터리 교체할 사설업체 추천 부탁드립니다. (6)	이동범	2015-04	4420	0
아이폰4s 배터리 교체할 사설업체 추천 부… (6) 2015-04 4420 1 이동범
42516	외장 하드를 하나 사려고 하는데.... (4)	박성만	2016-05	4420	1
외장 하드를 하나 사려고 하는데.... (4) 2016-05 4420 1 박성만
42515	혹시 이 사이트는 무엇으로 짯는지 알수 있을까요? (8)	대한민국	2014-10	4420	0
혹시 이 사이트는 무엇으로 짯는지 알수 … (8) 2014-10 4420 1 대한민국
42514	유심을 잃어버렸다가 다시 찾으면 재 사용이 가능 할 까요? (4)	신은왜	2015-04	4420	0
유심을 잃어버렸다가 다시 찾으면 재 사용… (4) 2015-04 4420 1 신은왜
42513	PCI-E 를 이런식으로 사용해도 괜찮을까요? (6)	김민철GC	2015-12	4420	0
PCI-E 를 이런식으로 사용해도 괜찮을까요? (6) 2015-12 4420 1 김민철GC
42512	다중모니터 연결 방안 - 추가 vga 카드 장착 가능 여부 (27)	그모도	2021-10	4420	0
다중모니터 연결 방안 - 추가 vga 카드 장… (27) 2021-10 4420 1 그모도
42511	"프리젠테이션 디스플레이 모드" 해제하는 방법좀 알려주세요. 한쪽 화면… (2)	범범이	2016-10	4420	0
"프리젠테이션 디스플레이 모드"… (2) 2016-10 4420 1 범범이
42510	시게이트 HDD 어떨까요? (6)	GoverZG	2015-01	4420	0
시게이트 HDD 어떨까요? (6) 2015-01 4420 1 GoverZG
42509	공유기를 이용해 DB서버,웹서버 내부통신하려고합니다... 공유기 추천 부탁드립니다 (10)	백인찬	2014-04	4420	0
공유기를 이용해 DB서버,웹서버 내부통신… (10) 2014-04 4420 1 백인찬
42508	순간복구 프로그램 98부터 지원되는건 과거 하드웨어 방식인 하드보안관 밖에 없나요? (2)	김건우	2016-06	4420	0
순간복구 프로그램 98부터 지원되는건 과… (2) 2016-06 4420 1 김건우
42507	운영체제 질문입니다 (7)	슬러그	2016-10	4420	0
운영체제 질문입니다 (7) 2016-10 4420 1 슬러그
42506	P410 펌에따라 전송속도가 많이 달라지나요?	명성호	2013-10	4419	0
P410 펌에따라 전송속도가 많이 달라지나… 2013-10 4419 1 명성호
42505	NAS 자료 백업 및 복원에 관련하여 (2)	테돌아이	2014-09	4419	0
NAS 자료 백업 및 복원에 관련하여 (2) 2014-09 4419 1 테돌아이
42504	헬스운동한지 4개월되었는데 근력강화 몇%정도	뚜뚜김대원	2014-09	4419	0
헬스운동한지 4개월되었는데 근력강화 몇%… 2014-09 4419 1 뚜뚜김대원
42503	Skylake Xeon, B150 보드에서 사용 관련 문의 (12)	링게르	2023-06	4419	0
Skylake Xeon, B150 보드에서 사용 관련 … (12) 2023-06 4419 1 링게르