웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4448 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3552/5703

번호	제목Page 3552/5703	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1654336	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1654336 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5118923	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5118923 1 정은준1
43031	가상사설망 포트포워딩... ㅠㅠ (2)	blacknut	2015-05	4449	0
가상사설망 포트포워딩... ㅠㅠ (2) 2015-05 4449 1 blacknut
43030	윈도우 설치하다가 요런 화면이 뜨는데요 (2)	김복동	2017-01	4449	0
윈도우 설치하다가 요런 화면이 뜨는데요 (2) 2017-01 4449 1 김복동
43029	아이폰 6 플러스 커튼현상 터치불량 (6)	susemi	2017-06	4449	0
아이폰 6 플러스 커튼현상 터치불량 (6) 2017-06 4449 1 susemi
43028	i5 6600 -> i7 7700k (8)	nzzi	2017-07	4449	1
i5 6600 -> i7 7700k (8) 2017-07 4449 1 nzzi
43027	구형 Qlogic SCSI 카드 모델명 아시는분 ? (사진 유첨) (9)	IRIX6530	2014-02	4448	0
구형 Qlogic SCSI 카드 모델명 아시는분 ?… (9) 2014-02 4448 1 IRIX6530
43026	ZEROtherm Atom 30H 사용해도 될까요? (11)	테돌아이	2015-06	4448	0
ZEROtherm Atom 30H 사용해도 될까요? (11) 2015-06 4448 1 테돌아이
43025	집에서 사용하는 5.1채널 우퍼겸 컨트롤러 들어있는 앰프가 야악간 안좋습니다.. (4)	김건우	2018-03	4448	0
집에서 사용하는 5.1채널 우퍼겸 컨트롤러… (4) 2018-03 4448 1 김건우
43024	GA-P35_DS3R/GA-P35-DS3L 개조바이오스 요청드려요. (3)	친니	2015-04	4448	0
GA-P35_DS3R/GA-P35-DS3L 개조바이오스 요… (3) 2015-04 4448 1 친니
43023	[ HP Server ] 내장 레이드 (SMART ARRAY)에서 부팅 하드 지정이 가능한지요 ? (6)	전설속의미…	2017-01	4448	0
[ HP Server ] 내장 레이드 (SMART ARRAY)… (6) 2017-01 4448 1 전설속의미…
43022	모바일 945gm 그래픽 드라이버 윈도우 2003에서는 사용불가인가요?? (3)	조동섭	2007-05	4448	9
모바일 945gm 그래픽 드라이버 윈도우 200… (3) 2007-05 4448 1 조동섭
43021	2012서버기반의 NAS를 돌릴만한 저전력 솔루션좀 추천해주세요. (4)	박	2014-09	4448	0
2012서버기반의 NAS를 돌릴만한 저전력 솔… (4) 2014-09 4448 1 박
43020	t7610 HDD 추가 문의 (9)	푸하히	2015-12	4448	0
t7610 HDD 추가 문의 (9) 2015-12 4448 1 푸하히
43019	IP2개 이상인데 동일한 G/W 쓰고 나갈때 목적지를 지정할 수 있나요? (3)	행아범	2014-03	4448	0
IP2개 이상인데 동일한 G/W 쓰고 나갈때 … (3) 2014-03 4448 1 행아범
43018	ESXI VT-D 관련 (4)	겜머	2015-06	4448	0
ESXI VT-D 관련 (4) 2015-06 4448 1 겜머
43017	windows 10 밀어버리기? (5)	나파이강승훈	2015-09	4447	0
windows 10 밀어버리기? (5) 2015-09 4447 1 나파이강승훈
43016	elitestor의 이 제품 어떨까요?	김호성	2012-02	4447	0
elitestor의 이 제품 어떨까요? 2012-02 4447 1 김호성
43015	(오디오) DSD 음과 무손실 음을 들어서 구분 가나요? (18)	Win31	2019-03	4447	0
(오디오) DSD 음과 무손실 음을 들어서 구… (18) 2019-03 4447 1 Win31
43014	레이드 카드의 레이드 기능을 죽이려고합니다. (4)	장동건2014	2014-07	4447	0
레이드 카드의 레이드 기능을 죽이려고합… (4) 2014-07 4447 1 장동건2014
43013	유선공유기 추천 부탁 드립니다. (2)	뭐라카노	2019-01	4447	0
유선공유기 추천 부탁 드립니다. (2) 2019-01 4447 1 뭐라카노
43012	회사내에서 서버를 한대 돌리려고 하는데 질문 있습니다. HDD관련 ^^; (20)	개락	2018-09	4447	0
회사내에서 서버를 한대 돌리려고 하는데 … (20) 2018-09 4447 1 개락