웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

UnBoxing more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4365 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2132/5698

번호	제목Page 2132/5698	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (230)	백메가	2015-12	1576173	25
(광고) 단통법 시대의 인터넷가입 가이드(… (230) 2015-12 1576173 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (732)	정은준1	2014-05	5039724	0
[필독] 처음 오시는 분을 위한 안내 (732) 2014-05 5039724 1 정은준1
71334	Tesla GPU 거래 가능한 곳... (6)	SeaOtter	2014-10	4366	0
Tesla GPU 거래 가능한 곳... (6) 2014-10 4366 1 SeaOtter
71333	웹사이트 크롤링 문의드립니다. (2)	삐돌이슬픔이	2014-11	4366	0
웹사이트 크롤링 문의드립니다. (2) 2014-11 4366 1 삐돌이슬픔이
71332	헬스운동한지 4개월되었는데 근력강화 몇%정도	뚜뚜김대원	2014-09	4366	0
헬스운동한지 4개월되었는데 근력강화 몇%… 2014-09 4366 1 뚜뚜김대원
71331	HPZ8 워크스테이션 맞추려고 하는데 문제없을까요? (2)	막장남	2018-06	4366	0
HPZ8 워크스테이션 맞추려고 하는데 문제… (2) 2018-06 4366 1 막장남
71330	Raid 카드를 Raid 잡지 않고 그냥 써도 성능개선 효과가 있을까요? (5)	회원K	2013-02	4366	0
Raid 카드를 Raid 잡지 않고 그냥 써도 성… (5) 2013-02 4366 1 회원K
71329	QS와 ES구별법좀 알려주세요... (4)	xllwo12	2018-04	4366	0
QS와 ES구별법좀 알려주세요... (4) 2018-04 4366 1 xllwo12
71328	HP 마이크로서버 Gen 8에 특정 시간 부팅되도록 하는 것이 가능한가요? (5)	블루2014	2015-12	4366	0
HP 마이크로서버 Gen 8에 특정 시간 부팅… (5) 2015-12 4366 1 블루2014
71327	윈도우11에서 달력? (3)	이지포토	2021-09	4366	0
윈도우11에서 달력? (3) 2021-09 4366 1 이지포토
71326	오랫만에 문의드립니다. ST373453LC 펌웨어.. (2)	김태훈	2007-06	4366	25
오랫만에 문의드립니다. ST373453LC 펌웨… (2) 2007-06 4366 1 김태훈
71325	dell T7920 매모리 추가시 부팅 에러 (5)	ljssmh1	2021-07	4366	0
dell T7920 매모리 추가시 부팅 에러 (5) 2021-07 4366 1 ljssmh1
71324	윈도엑스피 사용중 재부팅하면 모든게 처음으로 돌아갑니다 (9)	여해i이상복	2016-10	4366	0
윈도엑스피 사용중 재부팅하면 모든게 처… (9) 2016-10 4366 1 여해i이상복
71323	미크로틱 라우터 OS 질문드립니다. (8)	하늘바라기	2015-09	4366	0
미크로틱 라우터 OS 질문드립니다. (8) 2015-09 4366 1 하늘바라기
71322	ESXi에 nanoboot 올렸습니다.	테돌아이	2014-12	4366	0
ESXi에 nanoboot 올렸습니다. 2014-12 4366 1 테돌아이
71321	솔라리스10 에서 파일 이동& 삭제를 해도 / 파티션 용량 확보가 안됩니다. (1)	웰쉬코기	2015-09	4366	0
솔라리스10 에서 파일 이동& 삭제를 해도 … (1) 2015-09 4366 1 웰쉬코기
71320	해놀로지을 트레픽제어와 dhcp을 이용해서 공유기로 사용할수있지 않나요? (1)	송명준	2016-10	4366	0
해놀로지을 트레픽제어와 dhcp을 이용해서… (1) 2016-10 4366 1 송명준
71319	UEFI 지원하는 레이드/HBA 컨트롤러 제품군 (4)	이천풍	2015-05	4366	0
UEFI 지원하는 레이드/HBA 컨트롤러 제품군 (4) 2015-05 4366 1 이천풍
71318	미크로틱 제품은 어디서 사나요?? (8)	느낌	2017-03	4366	0
미크로틱 제품은 어디서 사나요?? (8) 2017-03 4366 1 느낌
71317	외장 하드를 하나 사려고 하는데.... (4)	박성만	2016-05	4366	1
외장 하드를 하나 사려고 하는데.... (4) 2016-05 4366 1 박성만
71316	엉뚱한 발상인데 C 언어로 리눅스 컨트롤 가능한가요? (24)	허인구마틴	2020-07	4366	0
엉뚱한 발상인데 C 언어로 리눅스 컨트롤 … (24) 2020-07 4366 1 허인구마틴
71315	bypass 랜카드 문의 드립니다. (2)	acarin	2015-07	4366	0
bypass 랜카드 문의 드립니다. (2) 2015-07 4366 1 acarin