웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

생활 2CPU more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4266 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2949/5663

번호	제목Page 2949/5663	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1435125	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1435125 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (724)	정은준1	2014-05	4896304	0
[필독] 처음 오시는 분을 위한 안내 (724) 2014-05 4896304 1 정은준1
54296	인텔 제온의 연산속도를 높이려면 하이퍼쓰레싱을 끄는 것이 좋나요? (2)	박기두	2007-01	4875	20
인텔 제온의 연산속도를 높이려면 하이퍼… (2) 2007-01 4875 1 박기두
54295	DL160 G6 BIOS 업데이트방법 문의 (2)	dmedia	2014-10	4875	0
DL160 G6 BIOS 업데이트방법 문의 (2) 2014-10 4875 1 dmedia
54294	ssd는 TLC만 아니면 (SLC는 비싸서 /물건없어서 안되겠고) MLC도 몇가지 종류있던데… (8)	김건우	2016-09	4874	0
ssd는 TLC만 아니면 (SLC는 비싸서 /물건… (8) 2016-09 4874 1 김건우
54293	검색좀 부탁드려요 (2)	윈98	2016-06	4874	1
검색좀 부탁드려요 (2) 2016-06 4874 1 윈98
54292	FB DIMM 메모리 관련 궁금한게 있는데..아시는분 리플좀 부탁 드립니다. (8)	싱어송라이터	2012-07	4874	0
FB DIMM 메모리 관련 궁금한게 있는데..아… (8) 2012-07 4874 1 싱어송라이터
54291	USB 2.0 외장 HDD 문제 (5)	이윤성	2005-12	4874	7
USB 2.0 외장 HDD 문제 (5) 2005-12 4874 1 이윤성
54290	이 케이스정도 사양이면 가격대 비율이 적당할까요? (10)	이윤	2006-03	4874	21
이 케이스정도 사양이면 가격대 비율이 적… (10) 2006-03 4874 1 이윤
54289	ir 3200 복합기 쓰시는분 있으신지요 (1)	가빠로구나	2012-02	4874	0
ir 3200 복합기 쓰시는분 있으신지요 (1) 2012-02 4874 1 가빠로구나
54288	E3-1225 v3 와 E3-1226 v3차이? (3)	엠브리오	2015-04	4874	0
E3-1225 v3 와 E3-1226 v3차이? (3) 2015-04 4874 1 엠브리오
54287	미크로틱 RB2011과 Cisco 1841 사이의 통신으로 질문 드립니다. (1)	송주환	2015-10	4874	0
미크로틱 RB2011과 Cisco 1841 사이의 통… (1) 2015-10 4874 1 송주환
54286	콘로 2140 이면 예전 펜티엄 제온과 비교해서 속도가 (4)	조재현	2007-11	4874	12
콘로 2140 이면 예전 펜티엄 제온과 비교… (4) 2007-11 4874 1 조재현
54285	레이드 질문?? (3)	박재석	2007-01	4874	37
레이드 질문?? (3) 2007-01 4874 1 박재석
54284	종이 혹은 문서제단기말인대요 (1)	방효문	2008-08	4874	15
종이 혹은 문서제단기말인대요 (1) 2008-08 4874 1 방효문
54283	조카 컴퓨터를 하나 조립하려고 하는데 조언좀 부탁드립니다. (6)	김창윤(k)	2006-08	4874	38
조카 컴퓨터를 하나 조립하려고 하는데 조… (6) 2006-08 4874 1 김창윤(k)
54282	프린터 사려는데. (3)	여주농민76	2016-12	4874	0
프린터 사려는데. (3) 2016-12 4874 1 여주농민76
54281	서버 부품 교체 시 핫스왑이 가능한 장비와 불가능한 장비 목록을 알고 싶습니다 (9)	집구석	2020-12	4874	0
서버 부품 교체 시 핫스왑이 가능한 장비… (9) 2020-12 4874 1 집구석
54280	하드가 이상합니다! 알려주세요 ㅠ.ㅠ (2)	오경석	2008-07	4874	24
하드가 이상합니다! 알려주세요 ㅠ.ㅠ (2) 2008-07 4874 1 오경석
54279	스카시 하드 이상증상 문의드립니다.	조웅기	2006-10	4873	14
스카시 하드 이상증상 문의드립니다. 2006-10 4873 1 조웅기
54278	서버용 메인보드 벤더에 대해서	송재훈	2007-10	4873	11
서버용 메인보드 벤더에 대해서 2007-10 4873 1 송재훈
54277	[Solved] 이럴 경우 메모리가 문제 일려나요? (5)	승후니도쿄	2012-07	4873	0
[Solved] 이럴 경우 메모리가 문제 일려나… (5) 2012-07 4873 1 승후니도쿄