웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4305 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2968/5682

번호	제목Page 2968/5682	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (727)	정은준1	2014-05	4953400	0
[필독] 처음 오시는 분을 위한 안내 (727) 2014-05 4953400 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1489893	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1489893 1 백메가
54296	전송률이 아닌 Access Time(Seek Time?)에 초점을 맞춘다면요??	민봉기	2006-08	5137	44
전송률이 아닌 Access Time(Seek Time?)에… 2006-08 5137 1 민봉기
54295	Xeon 3.2GHz의 Heatsink 중에서 Passive 2U Heat Sink와 Active Heat Sink(with fan)… (2)	박기두	2006-02	5137	23
Xeon 3.2GHz의 Heatsink 중에서 Passive 2… (2) 2006-02 5137 1 박기두
54294	[질문] 29160에 15.4k 4세대용 2개 물리면 언밸런스인가요? (3)	강성진	2006-01	5138	15
[질문] 29160에 15.4k 4세대용 2개 물리면… (3) 2006-01 5138 1 강성진
54293	뜬금없는 질문입니다만.. (4)	유재영	2008-03	5138	15
뜬금없는 질문입니다만.. (4) 2008-03 5138 1 유재영
54292	vm용 제온cpu 고민중입니다. (5)	메이	2017-01	5138	0
vm용 제온cpu 고민중입니다. (5) 2017-01 5138 1 메이
54291	파이썬 프로그래밍 질문입니다. (18)	킴듸	2016-04	5138	0
파이썬 프로그래밍 질문입니다. (18) 2016-04 5138 1 킴듸
54290	2895 보드에서 팬 조절을 가능하게 하는 방법이 있습니까? (1)	한상헌	2005-12	5138	46
2895 보드에서 팬 조절을 가능하게 하는 … (1) 2005-12 5138 1 한상헌
54289	알리 배송 상태 문의드립니다. (4)	깡통이	2017-01	5138	0
알리 배송 상태 문의드립니다. (4) 2017-01 5138 1 깡통이
54288	[젠더 문의] 노트북을 분해했다가 멘붕이 왔습니다 ㅠㅠ (12)	Smile	2016-05	5138	0
[젠더 문의] 노트북을 분해했다가 멘붕이 … (12) 2016-05 5138 1 Smile
54287	XP 와 VISTA 정품 인증방식에 관한 문의 드립니다.	이광래	2007-05	5138	6
XP 와 VISTA 정품 인증방식에 관한 문의 … 2007-05 5138 1 이광래
54286	AMD 성능 표기에 대해서... (10)	박경호	2006-06	5138	20
AMD 성능 표기에 대해서... (10) 2006-06 5138 1 박경호
54285	바이오스 화면 변경 문의 드립니다. (8)	서울l승용	2014-02	5138	0
바이오스 화면 변경 문의 드립니다. (8) 2014-02 5138 1 서울l승용
54284	PCI-E 8ch 이상 SATA RAID 카드 추천 및 해외구매 문의 (1)	강준	2006-09	5138	11
PCI-E 8ch 이상 SATA RAID 카드 추천 및 … (1) 2006-09 5138 1 강준
54283	TX100 SP3 A/S 관련문의 입니다. (3)	멋쟁이	2015-03	5138	0
TX100 SP3 A/S 관련문의 입니다. (3) 2015-03 5138 1 멋쟁이
54282	D201GLY2에 쓰일 사제쿨러 추천부탁드립니다. (4)	김태현	2008-06	5138	23
D201GLY2에 쓰일 사제쿨러 추천부탁드립니… (4) 2008-06 5138 1 김태현
54281	MS-SQL서버 DB복제하는거 좀 가르쳐주실분 찾습니다. 급합니다. 사례하겠습니다. (8)	김건우	2006-03	5138	3
MS-SQL서버 DB복제하는거 좀 가르쳐주실분… (8) 2006-03 5138 1 김건우
54280	주식용 워크스테이션이란게 뭔 말인지.. (20)	봉래	2019-08	5139	0
주식용 워크스테이션이란게 뭔 말인지.. (20) 2019-08 5139 1 봉래
54279	질문 - 블로그 운영하시는 분들 봐주세요.^^ (4)	홍순철	2006-09	5139	18
질문 - 블로그 운영하시는 분들 봐주세요.… (4) 2006-09 5139 1 홍순철
54278	펜티엄 3용 쿨러 판매처를 알려주시면 감사하겠습니다. (4)	왕용필	2008-12	5139	4
펜티엄 3용 쿨러 판매처를 알려주시면 감… (4) 2008-12 5139 1 왕용필
54277	cpu업그레이드 후 os를 재설치 해야하나요? (7)	김형민	2005-12	5139	14
cpu업그레이드 후 os를 재설치 해야하나요? (7) 2005-12 5139 1 김형민