웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

UnBoxing more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4460 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3555/5707

번호	제목Page 3555/5707	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5135101	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5135101 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1670035	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1670035 1 백메가
43046	화면에 이런 현상이 발생합니다. (4)	신은왜	2018-07	4465	0
화면에 이런 현상이 발생합니다. (4) 2018-07 4465 1 신은왜
43045	오로지 파일서버의 용도에서 듀얼 코어와 쿼드코어의 차이가 있을까요? (3)	SpringValley	2014-12	4465	0
오로지 파일서버의 용도에서 듀얼 코어와 … (3) 2014-12 4465 1 SpringValley
43044	서버 중고 구입 문의 (21)	신성공	2014-03	4465	0
서버 중고 구입 문의 (21) 2014-03 4465 1 신성공
43043	노트북 쿨러 흡입이 어디로 되나요? (13)	하정구	2019-02	4464	0
노트북 쿨러 흡입이 어디로 되나요? (13) 2019-02 4464 1 하정구
43042	이런 글을 물어보기가 참 뭐하지만.... (3)	오성기	2007-03	4464	5
이런 글을 물어보기가 참 뭐하지만.... (3) 2007-03 4464 1 오성기
43041	windows 10 밀어버리기? (5)	나파이강승훈	2015-09	4464	0
windows 10 밀어버리기? (5) 2015-09 4464 1 나파이강승훈
43040	ESXI처음 써봅니다. 업로드 속도질문드려요. (3)	메이	2017-02	4464	0
ESXI처음 써봅니다. 업로드 속도질문드려… (3) 2017-02 4464 1 메이
43039	HP T520 Thin Client 잘 쓰는 법 (9)	shipse	2021-05	4464	0
HP T520 Thin Client 잘 쓰는 법 (9) 2021-05 4464 1 shipse
43038	cpu 코어와 클럭, 그리고 터보부스트의 효율에 대해 문의드립니다. (11)	waney	2019-03	4464	0
cpu 코어와 클럭, 그리고 터보부스트의 효… (11) 2019-03 4464 1 waney
43037	x99-f8 + e5-2670v3 오버클럭..질문입니다! (11)	듀얼모드	2020-05	4464	0
x99-f8 + e5-2670v3 오버클럭..질문입니다! (11) 2020-05 4464 1 듀얼모드
43036	HP XW8600 램 호환이 왜 안될까요? (11)	백수가꿈	2018-08	4464	0
HP XW8600 램 호환이 왜 안될까요? (11) 2018-08 4464 1 백수가꿈
43035	자료실에 여러분들이 올리시는 렌더링 테스트는 어떤 환경에서 실시하는거죠? (5)	노형석	2006-08	4464	10
자료실에 여러분들이 올리시는 렌더링 테… (5) 2006-08 4464 1 노형석
43034	아두이노 무선통신 개발자 분께 질문드립니다. (latency 최소화) (5)	Psychophysi…	2017-12	4464	0
아두이노 무선통신 개발자 분께 질문드립… (5) 2017-12 4464 1 Psychophysi…
43033	[엑셀질문] 출력 페이지 수가 갑자기 변해요 (6)	김상민	2014-04	4464	0
[엑셀질문] 출력 페이지 수가 갑자기 변해요 (6) 2014-04 4464 1 김상민
43032	Windows server 2012 에서 ftp 로그 디테일하게 하는 프로그램이 따로 있나요? (2)	petabyte	2016-12	4464	0
Windows server 2012 에서 ftp 로그 디테… (2) 2016-12 4464 1 petabyte
43031	시놀로지 와 샤오미 CCTV 고수님들 도와주세요. (6)	대앙이	2021-02	4464	0
시놀로지 와 샤오미 CCTV 고수님들 도와주… (6) 2021-02 4464 1 대앙이
43030	XP, 개인설정 강화 프로그램이?	유호준	2007-08	4464	45
XP, 개인설정 강화 프로그램이? 2007-08 4464 1 유호준
43029	microserver gen8 p410 RAID 관련 질문 (4)	고재경1	2014-03	4464	0
microserver gen8 p410 RAID 관련 질문 (4) 2014-03 4464 1 고재경1
43028	PC중고 부품 저렴하게 파는 곳 알고 있으신가요?? (5)	서울김창희	2014-07	4464	0
PC중고 부품 저렴하게 파는 곳 알고 있으… (5) 2014-07 4464 1 서울김창희
43027	핸드폰복구가 안넘어가욤;; (포기ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ) (19)	호시링	2016-07	4464	0
핸드폰복구가 안넘어가욤;; (포기ㅠㅠㅠㅠ… (19) 2016-07 4464 1 호시링