웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

QnA more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4349 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2133/5691

번호	제목Page 2133/5691	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (728)	정은준1	2014-05	5017312	0
[필독] 처음 오시는 분을 위한 안내 (728) 2014-05 5017312 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1552710	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1552710 1 백메가
71178	웹사이트(쇼핑몰) 템플릿 구매 사이트 추천 부탁 드립니다. (4)	인디고	2018-05	4347	0
웹사이트(쇼핑몰) 템플릿 구매 사이트 추… (4) 2018-05 4347 1 인디고
71177	M2 종류? 호환성? (6)	어랏	2017-08	4347	0
M2 종류? 호환성? (6) 2017-08 4347 1 어랏
71176	멀티부스트 속도 관련 문의 (1)	이원재K	2015-09	4347	0
멀티부스트 속도 관련 문의 (1) 2015-09 4347 1 이원재K
71175	VM에서 windows 10 프린트 스풀러 서비스 자동켜기 (2)	무아	2017-07	4347	2
VM에서 windows 10 프린트 스풀러 서비스 … (2) 2017-07 4347 1 무아
71174	TS140 가상화를 어떤방식으로 할지 잘모르겠습니다. (6)	RRRR	2015-11	4347	0
TS140 가상화를 어떤방식으로 할지 잘모르… (6) 2015-11 4347 1 RRRR
71173	시퓨 쿨러가 돌고있는데도 시퓨쿨러 방열판이 손대기에 뜨겁고, 심지어 컴이 꺼지는… (18)	김건우	2017-12	4347	0
시퓨 쿨러가 돌고있는데도 시퓨쿨러 방열… (18) 2017-12 4347 1 김건우
71172	GA-X79 UD5 보드 가지고 계신 분이나 내용 알고 계시는분 있으신가요? -램 지원 여부 (2)	신은왜	2017-04	4347	0
GA-X79 UD5 보드 가지고 계신 분이나 내용… (2) 2017-04 4347 1 신은왜
71171	esxi에 사용할 기가빗 쿼드랜카드 (3)	EdH	2015-01	4347	0
esxi에 사용할 기가빗 쿼드랜카드 (3) 2015-01 4347 1 EdH
71170	연산능력은 많이 필요하면서 RAM 사용은 거의 없는 분야가 뭐가 있을까요? (6)	서울I김동수	2014-06	4347	0
연산능력은 많이 필요하면서 RAM 사용은 … (6) 2014-06 4347 1 서울I김동수
71169	Dell h700 레이드카드의 레이드 정보값 저장 위치는? (8)	김황중	2020-09	4347	0
Dell h700 레이드카드의 레이드 정보값 … (8) 2020-09 4347 1 김황중
71168	윈10 특정게임 종료시 블루스크린 뜨는문제 도와주세요 (6)	살려주세요	2020-11	4347	0
윈10 특정게임 종료시 블루스크린 뜨는문… (6) 2020-11 4347 1 살려주세요
71167	tyan s7066 메인보드에서 팬 컨트롤에 대해서 궁금합니다. (3)	강한구	2019-06	4347	0
tyan s7066 메인보드에서 팬 컨트롤에 대… (3) 2019-06 4347 1 강한구
71166	서버용 파워서플라이 선정시 질문요.. (3)	이규민	2017-01	4348	0
서버용 파워서플라이 선정시 질문요.. (3) 2017-01 4348 1 이규민
71165	하드디스크 전원 공급 없이 데이터 안정성은 (15)	LSSAH	2019-08	4348	0
하드디스크 전원 공급 없이 데이터 안정성은 (15) 2019-08 4348 1 LSSAH
71164	FDD포트로 뭘 할수있을까요 (3)	나라뜨	2016-12	4348	0
FDD포트로 뭘 할수있을까요 (3) 2016-12 4348 1 나라뜨
71163	Creative Gigaworks Speaker 써보신분~ (5)	Nikon	2014-05	4348	0
Creative Gigaworks Speaker 써보신분~ (5) 2014-05 4348 1 Nikon
71162	한국에 있는 스키장비를 미국에서 저렴하게 받을 수 있는 방법을 고민중입니다. (2)	명성호	2016-12	4348	0
한국에 있는 스키장비를 미국에서 저렴하… (2) 2016-12 4348 1 명성호
71161	[pmp] 액정문제 ... 도와주세요 (3)	Chunsang	2016-01	4348	0
[pmp] 액정문제 ... 도와주세요 (3) 2016-01 4348 1 Chunsang
71160	양고기(꼬치) 냄새 많이나나요? (17)	김건우	2018-06	4348	0
양고기(꼬치) 냄새 많이나나요? (17) 2018-06 4348 1 김건우
71159	외장 하드를 하나 사려고 하는데.... (4)	박성만	2016-05	4348	1
외장 하드를 하나 사려고 하는데.... (4) 2016-05 4348 1 박성만