웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4461 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3556/5707

번호	제목Page 3556/5707	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1670497	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1670497 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5135576	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5135576 1 정은준1
43032	자료실에 여러분들이 올리시는 렌더링 테스트는 어떤 환경에서 실시하는거죠? (5)	노형석	2006-08	4464	10
자료실에 여러분들이 올리시는 렌더링 테… (5) 2006-08 4464 1 노형석
43031	아두이노 무선통신 개발자 분께 질문드립니다. (latency 최소화) (5)	Psychophysi…	2017-12	4464	0
아두이노 무선통신 개발자 분께 질문드립… (5) 2017-12 4464 1 Psychophysi…
43030	[엑셀질문] 출력 페이지 수가 갑자기 변해요 (6)	김상민	2014-04	4464	0
[엑셀질문] 출력 페이지 수가 갑자기 변해요 (6) 2014-04 4464 1 김상민
43029	Windows server 2012 에서 ftp 로그 디테일하게 하는 프로그램이 따로 있나요? (2)	petabyte	2016-12	4464	0
Windows server 2012 에서 ftp 로그 디테… (2) 2016-12 4464 1 petabyte
43028	폴더, 파티션, 드라이브 동기화 솔루션? (6)	Sunrise	2016-03	4464	0
폴더, 파티션, 드라이브 동기화 솔루션? (6) 2016-03 4464 1 Sunrise
43027	XP, 개인설정 강화 프로그램이?	유호준	2007-08	4464	45
XP, 개인설정 강화 프로그램이? 2007-08 4464 1 유호준
43026	microserver gen8 p410 RAID 관련 질문 (4)	고재경1	2014-03	4464	0
microserver gen8 p410 RAID 관련 질문 (4) 2014-03 4464 1 고재경1
43025	PC중고 부품 저렴하게 파는 곳 알고 있으신가요?? (5)	서울김창희	2014-07	4464	0
PC중고 부품 저렴하게 파는 곳 알고 있으… (5) 2014-07 4464 1 서울김창희
43024	핸드폰복구가 안넘어가욤;; (포기ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ) (19)	호시링	2016-07	4464	0
핸드폰복구가 안넘어가욤;; (포기ㅠㅠㅠㅠ… (19) 2016-07 4464 1 호시링
43023	투알 1.13 듀얼과 AthlonMP 계열 듀얼 (5)	송재훈	2007-02	4464	33
투알 1.13 듀얼과 AthlonMP 계열 듀얼 (5) 2007-02 4464 1 송재훈
43022	컴퓨터 모니터 신호없음 문제 도와주세요ㅠ (17)	미어캣327	2022-10	4464	0
컴퓨터 모니터 신호없음 문제 도와주세요ㅠ (17) 2022-10 4464 1 미어캣327
43021	허리둘레/똥배 줄이는 데 효과 좋은 운동 (9)	이천풍	2016-01	4464	0
허리둘레/똥배 줄이는 데 효과 좋은 운동 (9) 2016-01 4464 1 이천풍
43020	MS 오피스 2007 SP3 설치파일 구할 수 있을가요? (4)	I적우	2020-09	4464	0
MS 오피스 2007 SP3 설치파일 구할 수 있… (4) 2020-09 4464 1 I적우
43019	HP 마이크로서버 Gen8에 파워 교체랑 팬 추가 하려고 합니다 (3)	김지훈83	2017-04	4464	0
HP 마이크로서버 Gen8에 파워 교체랑 팬 … (3) 2017-04 4464 1 김지훈83
43018	쿨러 고정 나사 사이즈 질문 (5)	조병철	2015-01	4464	0
쿨러 고정 나사 사이즈 질문 (5) 2015-01 4464 1 조병철
43017	핸드폰 조건 이상한가요? (5)	주황별	2014-07	4463	0
핸드폰 조건 이상한가요? (5) 2014-07 4463 1 주황별
43016	DELL PERC 5/i 관련 질문입니다. (4)	이승준	2007-09	4463	16
DELL PERC 5/i 관련 질문입니다. (4) 2007-09 4463 1 이승준
43015	nvs 5200m 그래픽 카드면 쿼드로 어느정도 수준과 같은가요? (1)	신은왜	2019-02	4463	0
nvs 5200m 그래픽 카드면 쿼드로 어느정도… (1) 2019-02 4463 1 신은왜
43014	LTE통신-나눠쓰기방식말고 와이파이방식처럼 전화안쓰고 데이타만(통신만) 쓸수있는… (8)	김건우	2018-09	4463	0
LTE통신-나눠쓰기방식말고 와이파이방식처… (8) 2018-09 4463 1 김건우
43013	구형 Qlogic SCSI 카드 모델명 아시는분 ? (사진 유첨) (9)	IRIX6530	2014-02	4463	0
구형 Qlogic SCSI 카드 모델명 아시는분 ?… (9) 2014-02 4463 1 IRIX6530