웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4256 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2138/5661

번호	제목Page 2138/5661	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (724)	정은준1	2014-05	4882788	0
[필독] 처음 오시는 분을 위한 안내 (724) 2014-05 4882788 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1421954	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1421954 1 백메가
70463	레이드 구성 문의 질문좀 드릴께요 ?? (6)	싱어송라이터	2012-07	4254	0
레이드 구성 문의 질문좀 드릴께요 ?? (6) 2012-07 4254 1 싱어송라이터
70462	VPN 을 서버 측에서 클라를 잡을 수 있는지요? (11)	메가날백	2017-07	4254	1
VPN 을 서버 측에서 클라를 잡을 수 있는… (11) 2017-07 4254 1 메가날백
70461	델 R720 - Dell DRAC Tools, includes Racadm 뭐하는 것인가요??? (4)	회원K	2014-03	4255	0
델 R720 - Dell DRAC Tools, includes Rac… (4) 2014-03 4255 1 회원K
70460	2CPU 비밀번호찾기를 했었는데, 이상한 메일이 왔네요... 중국어 가능하신분? (16)	형진	2019-01	4255	0
2CPU 비밀번호찾기를 했었는데, 이상한 메… (16) 2019-01 4255 1 형진
70459	이보드로 컴퓨터 조립 가능한가요? (8)	노아디	2016-07	4255	0
이보드로 컴퓨터 조립 가능한가요? (8) 2016-07 4255 1 노아디
70458	선 배열질문 (6)	AplPEC	2016-12	4255	0
선 배열질문 (6) 2016-12 4255 1 AplPEC
70457	HP 서버군의 윈도2008R2 설치시 hpssbem.exe 오류	김황중	2014-03	4255	0
HP 서버군의 윈도2008R2 설치시 hpssbem.e… 2014-03 4255 1 김황중
70456	넷기어 공유기로 바꾸고나서 속도가 제대로 나오질 않으네요. (2)	inquisitive	2014-01	4255	0
넷기어 공유기로 바꾸고나서 속도가 제대… (2) 2014-01 4255 1 inquisitive
70455	2003서버에서... (2)	윤호용	2006-10	4255	13
2003서버에서... (2) 2006-10 4255 1 윤호용
70454	아무래도 태블릿은 기본 세로형상태인것이 사용하기 낫겠죠? (5)	김건우	2016-01	4255	0
아무래도 태블릿은 기본 세로형상태인것이… (5) 2016-01 4255 1 김건우
70453	누나랑 자전거 구경 한바퀴.. (24)	여주농민76	2017-09	4255	0
누나랑 자전거 구경 한바퀴.. (24) 2017-09 4255 1 여주농민76
70452	파워 5v 출력 관련 문의드립니다 (6)	박견1	2016-08	4256	0
파워 5v 출력 관련 문의드립니다 (6) 2016-08 4256 1 박견1
70451	여자들은 왜 우유부단합니까??? (17)	김승현1	2015-06	4256	0
여자들은 왜 우유부단합니까??? (17) 2015-06 4256 1 김승현1
70450	우퍼 수리점 문의 (5)	에스오투	2017-12	4256	0
우퍼 수리점 문의 (5) 2017-12 4256 1 에스오투
70449	윈도우10 시디로 설치하기,,, (2)	불무골	2016-07	4256	0
윈도우10 시디로 설치하기,,, (2) 2016-07 4256 1 불무골
70448	tesla M1060 활용에 대한 질문 (4)	불타는SAM	2014-01	4256	0
tesla M1060 활용에 대한 질문 (4) 2014-01 4256 1 불타는SAM
70447	메모리 선택 어떻게 해야 하나요? (5)	Sunrise	2016-11	4256	0
메모리 선택 어떻게 해야 하나요? (5) 2016-11 4256 1 Sunrise
70446	Dell iDRAC에 무작위 접속시도 차단 (3)	SlaysD	2016-07	4256	0
Dell iDRAC에 무작위 접속시도 차단 (3) 2016-07 4256 1 SlaysD
70445	고속충전기를 구매해야할거 같은데요...사양은 다 비슷한데 충전케이블굵기도 중요한… (4)	김건우	2016-01	4256	0
고속충전기를 구매해야할거 같은데요...사… (4) 2016-01 4256 1 김건우
70444	리눅스 파이버채널 커널 드라이버 오류 질문 (8)	SiCMOS	2018-05	4256	0
리눅스 파이버채널 커널 드라이버 오류 질문 (8) 2018-05 4256 1 SiCMOS