웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

중고장터 more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4341 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3547/5689

번호	제목Page 3547/5689	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1544886	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1544886 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (728)	정은준1	2014-05	5009118	0
[필독] 처음 오시는 분을 위한 안내 (728) 2014-05 5009118 1 정은준1
42850	개인 정보보호법 궁굼합니다 (5)	song05	2012-07	4343	0
개인 정보보호법 궁굼합니다 (5) 2012-07 4343 1 song05
42849	아이폰4s 배터리 교체할 사설업체 추천 부탁드립니다. (6)	이동범	2015-04	4343	0
아이폰4s 배터리 교체할 사설업체 추천 부… (6) 2015-04 4343 1 이동범
42848	넷기어 공유기로 바꾸고나서 속도가 제대로 나오질 않으네요. (2)	inquisitive	2014-01	4343	0
넷기어 공유기로 바꾸고나서 속도가 제대… (2) 2014-01 4343 1 inquisitive
42847	포트개방이 안될때 따로 방법이 있을까요? (12)	홀릭0o0	2022-04	4343	0
포트개방이 안될때 따로 방법이 있을까요? (12) 2022-04 4343 1 홀릭0o0
42846	해킹 당한건지 확인 좀 부탁드립니다. (5)	v김호준v	2015-02	4342	0
해킹 당한건지 확인 좀 부탁드립니다. (5) 2015-02 4342 1 v김호준v
42845	hp ml10 NHP에서 하드 어떻게 끼우나요? (3)	회원K	2016-06	4342	0
hp ml10 NHP에서 하드 어떻게 끼우나요? (3) 2016-06 4342 1 회원K
42844	하이퍼브이로는 이런 운영이 불가능한가요? (5)	나비z	2016-12	4342	0
하이퍼브이로는 이런 운영이 불가능한가요? (5) 2016-12 4342 1 나비z
42843	웹사이트 크롤링 문의드립니다. (2)	삐돌이슬픔이	2014-11	4342	0
웹사이트 크롤링 문의드립니다. (2) 2014-11 4342 1 삐돌이슬픔이
42842	네트워크 연결 이렇게 사용이 가능 할까요? (11)	SpringValley	2014-02	4342	0
네트워크 연결 이렇게 사용이 가능 할까요? (11) 2014-02 4342 1 SpringValley
42841	메모리관련 질문좀 드리겠습니다... (1)	조동섭	2007-02	4342	21
메모리관련 질문좀 드리겠습니다... (1) 2007-02 4342 1 조동섭
42840	미국 이베이에 있지만 실제는 유로화로 계산해야되는(독일제품)은 어떻게 구매해야되… (4)	김건우	2016-03	4342	0
미국 이베이에 있지만 실제는 유로화로 계… (4) 2016-03 4342 1 김건우
42839	WDS(윈도우배포서버)의 원격설치폴더 경로 변경	chotws	2016-11	4342	0
WDS(윈도우배포서버)의 원격설치폴더 경로… 2016-11 4342 1 chotws
42838	사내에서 4대 정도 서버운영할 광기가 장비 문의드립니다. (5)	이니이니	2016-07	4342	0
사내에서 4대 정도 서버운영할 광기가 장… (5) 2016-07 4342 1 이니이니
42837	dvi + d-sub만 있는 모니터에 hdmi to dvi 젠더와 ptv3000(무선화면전송기)를 썼는데…	김건우	2015-10	4342	0
dvi + d-sub만 있는 모니터에 hdmi to dvi… 2015-10 4342 1 김건우
42836	네트워크를 사용하는 프로세스를 추적하고 싶은데요... (3)	김우진	2007-03	4342	15
네트워크를 사용하는 프로세스를 추적하고… (3) 2007-03 4342 1 김우진
42835	HP Z400 RAM 문의 (1)	혀기	2017-02	4342	0
HP Z400 RAM 문의 (1) 2017-02 4342 1 혀기
42834	asus p5p41t-le 모델 개조바이오스 부탁드립니다. (1)	하균아빠	2016-12	4342	0
asus p5p41t-le 모델 개조바이오스 부탁드… (1) 2016-12 4342 1 하균아빠
42833	메인보드 bios 진입 문제 (11)	삼돌군	2018-11	4342	0
메인보드 bios 진입 문제 (11) 2018-11 4342 1 삼돌군
42832	그래픽카드 문의? (6)	motion	2016-07	4342	0
그래픽카드 문의? (6) 2016-07 4342 1 motion
42831	안드로이드 앱 개발자는 어떤 경로로 채용해야 할까요? (8)	회원K	2015-09	4342	0
안드로이드 앱 개발자는 어떤 경로로 채용… (8) 2015-09 4342 1 회원K