웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4272 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2909/5664

번호	제목Page 2909/5664	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1442689	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1442689 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (724)	정은준1	2014-05	4904138	0
[필독] 처음 오시는 분을 위한 안내 (724) 2014-05 4904138 1 정은준1
55114	pfSense 내부네트웍에서 도메인으로 접속시 (2)	witbox	2015-01	4893	0
pfSense 내부네트웍에서 도메인으로 접속시 (2) 2015-01 4893 1 witbox
55113	사용하는 가상머신이 블록스토리지 기반인지 파일기반인지 알수 있는 방법? (1)	윈도우10	2015-01	3594	0
사용하는 가상머신이 블록스토리지 기반인… (1) 2015-01 3594 1 윈도우10
55112	JBOD 지원하는 SATA 컨트롤러 카드 추천 (12)	아마데우쓰	2015-01	7145	0
JBOD 지원하는 SATA 컨트롤러 카드 추천 (12) 2015-01 7145 1 아마데우쓰
55111	HP 마이크로 서버 하드 베이 수리할 수 있는 곳? (2)	마이코코	2015-01	4252	0
HP 마이크로 서버 하드 베이 수리할 수 있… (2) 2015-01 4252 1 마이코코
55110	비밀번호 걸린 SCH-C330 폴더폰(2G)의 비번을 풀고 싶습니다 (8)	회원K	2015-01	34210	0
비밀번호 걸린 SCH-C330 폴더폰(2G)의 비… (8) 2015-01 34210 1 회원K
55109	맥북 프로 레티나 15인치 하판에 나사 어떻게 구할까요? (4)	피카	2015-01	7261	0
맥북 프로 레티나 15인치 하판에 나사 어… (4) 2015-01 7261 1 피카
55108	디스크 인포 확인부탁드려요 (3)	최재원99	2015-01	3530	0
디스크 인포 확인부탁드려요 (3) 2015-01 3530 1 최재원99
55107	새 컴퓨터를 구입하게 되었는데 램인식과 관련하여 질문 드립니다 ㅠ_ㅠ.. (4)	김상호87	2015-01	4081	0
새 컴퓨터를 구입하게 되었는데 램인식과 … (4) 2015-01 4081 1 김상호87
55106	삼성 840 EVO 펌업 이후로 속도 성능이 개선되나요? (4)	총각	2015-01	4120	0
삼성 840 EVO 펌업 이후로 속도 성능이 개… (4) 2015-01 4120 1 총각
55105	컴퓨터에 스피커를 2대 연결하려면? (4)	VSPress	2015-01	24360	0
컴퓨터에 스피커를 2대 연결하려면? (4) 2015-01 24360 1 VSPress
55104	iscsi 는 LAN용 인가요? (6)	Astronaut	2015-01	5632	0
iscsi 는 LAN용 인가요? (6) 2015-01 5632 1 Astronaut
55103	G630 (셀러론) 은 64비트 가상화를 못쓰나요? (2)	나비z	2015-01	5788	0
G630 (셀러론) 은 64비트 가상화를 못쓰나… (2) 2015-01 5788 1 나비z
55102	하드를 1TB에서 3TB로 옮기려는데 어떤 프로그램을 써야 하나요?? (5)	병맛폰	2015-01	5161	0
하드를 1TB에서 3TB로 옮기려는데 어떤 프… (5) 2015-01 5161 1 병맛폰
55101	SSD는 RAID 0으로 사용해도 사실상 무위험아닌가요? (5)	윈도우10	2015-01	5563	0
SSD는 RAID 0으로 사용해도 사실상 무위험… (5) 2015-01 5563 1 윈도우10
55100	IPTIME 포트포워딩과 포트 개방 질문드려요~ (2)	보거스123	2015-01	12282	0
IPTIME 포트포워딩과 포트 개방 질문드려… (2) 2015-01 12282 1 보거스123
55099	보드사망인가요?? (4)	박진우13	2015-01	3918	0
보드사망인가요?? (4) 2015-01 3918 1 박진우13
55098	e5450 오버시 전압과 온도 질문입니다. (10)	건전지	2015-01	17582	0
e5450 오버시 전압과 온도 질문입니다. (10) 2015-01 17582 1 건전지
55097	윈도우 하드디스크 숨기기 (4)	나비z	2015-01	8824	0
윈도우 하드디스크 숨기기 (4) 2015-01 8824 1 나비z
55096	혹시 .. 파워하나에 .. 여러개의 메인보드를.. (6)	김제연	2015-01	10687	0
혹시 .. 파워하나에 .. 여러개의 메인보드… (6) 2015-01 10687 1 김제연
55095	제온 개조 바이오스 좀 부탁드려요. (2)	엠브리오	2015-01	5223	0
제온 개조 바이오스 좀 부탁드려요. (2) 2015-01 5223 1 엠브리오