웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4346 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2133/5691

번호	제목Page 2133/5691	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1552231	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1552231 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (728)	정은준1	2014-05	5016762	0
[필독] 처음 오시는 분을 위한 안내 (728) 2014-05 5016762 1 정은준1
71169	CachemanXP라는 프로그램 써보신분 계신가요?	류장호	2007-05	4344	8
CachemanXP라는 프로그램 써보신분 계신가… 2007-05 4344 1 류장호
71168	게임할때 2cpu 가 모두 사용되나요? (2)	쁘삐	2015-05	4345	0
게임할때 2cpu 가 모두 사용되나요? (2) 2015-05 4345 1 쁘삐
71167	lua 스크립트에서 dll 호출할때 (2)	무아	2016-03	4345	0
lua 스크립트에서 dll 호출할때 (2) 2016-03 4345 1 무아
71166	e5 1650v2 어디서 구매하면 될까요? (9)	슬루프	2015-01	4345	0
e5 1650v2 어디서 구매하면 될까요? (9) 2015-01 4345 1 슬루프
71165	샤워기 토수구에 호스 연결	김황중	2015-11	4345	0
샤워기 토수구에 호스 연결 2015-11 4345 1 김황중
71164	[pmp] 액정문제 ... 도와주세요 (3)	Chunsang	2016-01	4345	0
[pmp] 액정문제 ... 도와주세요 (3) 2016-01 4345 1 Chunsang
71163	구형 서버(G6시리즈나 R510)에 핫스왑 4테라 인식시킬려면? (13)	jang	2016-02	4345	0
구형 서버(G6시리즈나 R510)에 핫스왑 4테… (13) 2016-02 4345 1 jang
71162	Ubuntu server 설치 버전 차이 (2)	메뚜기가면맨	2019-09	4345	0
Ubuntu server 설치 버전 차이 (2) 2019-09 4345 1 메뚜기가면맨
71161	핸드폰복구가 안넘어가욤;; (포기ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ) (19)	호시링	2016-07	4345	0
핸드폰복구가 안넘어가욤;; (포기ㅠㅠㅠㅠ… (19) 2016-07 4345 1 호시링
71160	양고기(꼬치) 냄새 많이나나요? (17)	김건우	2018-06	4345	0
양고기(꼬치) 냄새 많이나나요? (17) 2018-06 4345 1 김건우
71159	bypass 랜카드 문의 드립니다. (2)	acarin	2015-07	4345	0
bypass 랜카드 문의 드립니다. (2) 2015-07 4345 1 acarin
71158	유심을 잃어버렸다가 다시 찾으면 재 사용이 가능 할 까요? (4)	신은왜	2015-04	4345	0
유심을 잃어버렸다가 다시 찾으면 재 사용… (4) 2015-04 4345 1 신은왜
71157	untangle에서 웹하드 접속문제 질문드립니다. (9)	김진영JK	2015-07	4345	0
untangle에서 웹하드 접속문제 질문드립니… (9) 2015-07 4345 1 김진영JK
71156	연산능력은 많이 필요하면서 RAM 사용은 거의 없는 분야가 뭐가 있을까요? (6)	서울I김동수	2014-06	4345	0
연산능력은 많이 필요하면서 RAM 사용은 … (6) 2014-06 4345 1 서울I김동수
71155	외장하드->3.5"하드 클론 뭘 쓰는게 좋을까요? (2)	이건희	2018-01	4346	0
외장하드->3.5"하드 클론 뭘 쓰는… (2) 2018-01 4346 1 이건희
71154	M6700에 GTX780M 드라이브 설치 문제입니다 (6)	이정근	2016-10	4346	0
M6700에 GTX780M 드라이브 설치 문제입니다 (6) 2016-10 4346 1 이정근
71153	하드디스크 전원 공급 없이 데이터 안정성은 (15)	LSSAH	2019-08	4346	0
하드디스크 전원 공급 없이 데이터 안정성은 (15) 2019-08 4346 1 LSSAH
71152	하이퍼스레딩 안되는 CPU, 언락 할수 있는 방법이 있을까요? (5)	호호	2018-08	4346	0
하이퍼스레딩 안되는 CPU, 언락 할수 있는… (5) 2018-08 4346 1 호호
71151	FDD포트로 뭘 할수있을까요 (3)	나라뜨	2016-12	4346	0
FDD포트로 뭘 할수있을까요 (3) 2016-12 4346 1 나라뜨
71150	64bit XP&2003 R2 처참합니다. Help Me~~ (5)	한동훈	2007-05	4346	7
64bit XP&2003 R2 처참합니다. Help Me~~ (5) 2007-05 4346 1 한동훈