웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

가상화 more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4269 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2949/5663

번호	제목Page 2949/5663	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1435758	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1435758 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (724)	정은준1	2014-05	4896925	0
[필독] 처음 오시는 분을 위한 안내 (724) 2014-05 4896925 1 정은준1
54297	혹시 해상도 높은 모니터 중 크기가 작은 것은 어떤 제품이 있을까요? (5)	2FluF	2017-01	4876	0
혹시 해상도 높은 모니터 중 크기가 작은 … (5) 2017-01 4876 1 2FluF
54296	현장에서 사용(물이 있고 습도가 높음)할 PC군이 있을까요? (23)	이현석1	2014-09	4876	0
현장에서 사용(물이 있고 습도가 높음)할 … (23) 2014-09 4876 1 이현석1
54295	인텔미디어메인보드에서 CONSUMER I/O의 역활은 (5)	구영길	2008-11	4876	6
인텔미디어메인보드에서 CONSUMER I/O의 … (5) 2008-11 4876 1 구영길
54294	하드가 이상합니다! 알려주세요 ㅠ.ㅠ (2)	오경석	2008-07	4876	24
하드가 이상합니다! 알려주세요 ㅠ.ㅠ (2) 2008-07 4876 1 오경석
54293	해결완료. AC Plug 규격 문의. EU, RU, KR. (5)	박명근TN	2019-02	4876	0
해결완료. AC Plug 규격 문의. EU, RU, K… (5) 2019-02 4876 1 박명근TN
54292	xp에서 브릿지란 기능이 무엇인가요.? (2)	장현모	2006-07	4875	11
xp에서 브릿지란 기능이 무엇인가요.? (2) 2006-07 4875 1 장현모
54291	검색좀 부탁드려요 (2)	윈98	2016-06	4875	1
검색좀 부탁드려요 (2) 2016-06 4875 1 윈98
54290	FB DIMM 메모리 관련 궁금한게 있는데..아시는분 리플좀 부탁 드립니다. (8)	싱어송라이터	2012-07	4875	0
FB DIMM 메모리 관련 궁금한게 있는데..아… (8) 2012-07 4875 1 싱어송라이터
54289	쿨러 질문 드립니다.. (1)	임시현	2008-08	4875	17
쿨러 질문 드립니다.. (1) 2008-08 4875 1 임시현
54288	Z800 CMOS 진입 문제 (7)	호아짱	2018-02	4875	0
Z800 CMOS 진입 문제 (7) 2018-02 4875 1 호아짱
54287	USB 2.0 외장 HDD 문제 (5)	이윤성	2005-12	4875	7
USB 2.0 외장 HDD 문제 (5) 2005-12 4875 1 이윤성
54286	이 질문은 (우선. 박정길님께) 죄송합니다만...3com 2924 허브 24포트 (11)	김건우	2014-10	4875	0
이 질문은 (우선. 박정길님께) 죄송합니다… (11) 2014-10 4875 1 김건우
54285	현 사용중인 증권사 옴길려구 합니다. HTS 추천 해주시면 감사하겠습니다. (5)	으라차차차	2018-03	4875	0
현 사용중인 증권사 옴길려구 합니다. HTS… (5) 2018-03 4875 1 으라차차차
54284	ir 3200 복합기 쓰시는분 있으신지요 (1)	가빠로구나	2012-02	4875	0
ir 3200 복합기 쓰시는분 있으신지요 (1) 2012-02 4875 1 가빠로구나
54283	300기가 극한의 텍스트파일을 열 수 있는 에디터는 뭐가 있을까요? (27)	전직P연구원	2020-07	4875	0
300기가 극한의 텍스트파일을 열 수 있는 … (27) 2020-07 4875 1 전직P연구원
54282	E3-1225 v3 와 E3-1226 v3차이? (3)	엠브리오	2015-04	4875	0
E3-1225 v3 와 E3-1226 v3차이? (3) 2015-04 4875 1 엠브리오
54281	미크로틱 RB2011과 Cisco 1841 사이의 통신으로 질문 드립니다. (1)	송주환	2015-10	4875	0
미크로틱 RB2011과 Cisco 1841 사이의 통… (1) 2015-10 4875 1 송주환
54280	레이드 질문?? (3)	박재석	2007-01	4875	37
레이드 질문?? (3) 2007-01 4875 1 박재석
54279	종이 혹은 문서제단기말인대요 (1)	방효문	2008-08	4875	15
종이 혹은 문서제단기말인대요 (1) 2008-08 4875 1 방효문
54278	조카 컴퓨터를 하나 조립하려고 하는데 조언좀 부탁드립니다. (6)	김창윤(k)	2006-08	4875	38
조카 컴퓨터를 하나 조립하려고 하는데 조… (6) 2006-08 4875 1 김창윤(k)