웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

견적 more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4195 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2906/5621

번호	제목Page 2906/5621	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1205815	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1205815 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (720)	정은준1	2014-05	4658732	0
[필독] 처음 오시는 분을 위한 안내 (720) 2014-05 4658732 1 정은준1
54312	바이오스 업데이트와 씨피유 업그레이드 (8)	나파이강승훈	2014-11	3677	0
바이오스 업데이트와 씨피유 업그레이드 (8) 2014-11 3677 1 나파이강승훈
54311	IP공유서비스 가입 안내화면 (8)	노도잠들다	2014-11	7333	0
IP공유서비스 가입 안내화면 (8) 2014-11 7333 1 노도잠들다
54310	비접촉으로 개인을 특정할 수 있는 방법 (18)	풀로드시스템	2014-11	4161	0
비접촉으로 개인을 특정할 수 있는 방법 (18) 2014-11 4161 1 풀로드시스템
54309	이런 제품이 있는지 궁금합니다. (5)	하늘하늘	2014-11	3536	0
이런 제품이 있는지 궁금합니다. (5) 2014-11 3536 1 하늘하늘
54308	제온으로 개조가 가능한 보드가 어느것일지? (6)	엠브리오	2014-11	4751	0
제온으로 개조가 가능한 보드가 어느것일… (6) 2014-11 4751 1 엠브리오
54307	디링크 dir-868lw 공유기 dd-wrt 사용시 관련 질문입니다. (3)	미스터최	2014-11	9597	0
디링크 dir-868lw 공유기 dd-wrt 사용시 … (3) 2014-11 9597 1 미스터최
54306	라이센스 문제 없는 리눅스 어떤게 좋을 까요 (윈도우만 사용한 사람) (5)	wons	2014-11	5236	0
라이센스 문제 없는 리눅스 어떤게 좋을 … (5) 2014-11 5236 1 wons
54305	이것의 이름과 판매하는곳을 알고 싶습니다 (9)	미수맨	2014-11	3818	0
이것의 이름과 판매하는곳을 알고 싶습니다 (9) 2014-11 3818 1 미수맨
54304	해킨토시를 설치하고 파일 서버 문의드립니다. (3)	미수맨	2014-11	4954	0
해킨토시를 설치하고 파일 서버 문의드립… (3) 2014-11 4954 1 미수맨
54303	adobe flash player 설치버전 다운로드하는 곳이 있나요? (2)	조명수	2014-11	4271	0
adobe flash player 설치버전 다운로드하… (2) 2014-11 4271 1 조명수
54302	[사진추가]문형님 .. (9)	Won낙연	2014-11	4046	0
[사진추가]문형님 .. (9) 2014-11 4046 1 Won낙연
54301	베뉴 8이냐 슬 7이냐 고민중입니다. (12)	방o효o문	2014-11	6215	0
베뉴 8이냐 슬 7이냐 고민중입니다. (12) 2014-11 6215 1 방o효o문
54300	안녕하세요. nexenta ce fc target설정 문의 (3)	2FluF	2014-11	3767	0
안녕하세요. nexenta ce fc target설정 문의 (3) 2014-11 3767 1 2FluF
54299	바이오스 업데이트 도와주세요.. (3)	Won낙연	2014-11	3961	0
바이오스 업데이트 도와주세요.. (3) 2014-11 3961 1 Won낙연
54298	OpenGL 에러 (2)	오미라	2014-11	4384	0
OpenGL 에러 (2) 2014-11 4384 1 오미라
54297	소규모 사무실 네트워크에 필요한 공유기와 스위칭허브 문의 (4)	언더바케이	2014-11	7192	0
소규모 사무실 네트워크에 필요한 공유기… (4) 2014-11 7192 1 언더바케이
54296	저전력 NAS 를 제작 중 Raid Card 선택 문의 드립니다. (5)	똑딱악어	2014-11	5132	0
저전력 NAS 를 제작 중 Raid Card 선택 문… (5) 2014-11 5132 1 똑딱악어
54295	서버 구성 관련 조언 부탁드립니다. (2)	oracleuser	2014-11	3534	0
서버 구성 관련 조언 부탁드립니다. (2) 2014-11 3534 1 oracleuser
54294	외산 대기업 서버에 별도로 SSD 구매 해서 넣어 사용들 하시는지요? (6)	oracleuser	2014-11	3875	0
외산 대기업 서버에 별도로 SSD 구매 해서… (6) 2014-11 3875 1 oracleuser
54293	x5650 제온 듀얼cpu용 보드좀 추천받고싶습니다. (10)	지존컴퓨터	2014-11	6283	0
x5650 제온 듀얼cpu용 보드좀 추천받고싶… (10) 2014-11 6283 1 지존컴퓨터