웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4260 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2141/5661

번호	제목Page 2141/5661	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1424750	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1424750 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (724)	정은준1	2014-05	4885337	0
[필독] 처음 오시는 분을 위한 안내 (724) 2014-05 4885337 1 정은준1
70412	중국발 시게이트 EXOS 고용량 하드디스크들이 엄청 저렴하던데 (13)	신도현	2023-07	4259	0
중국발 시게이트 EXOS 고용량 하드디스크… (13) 2023-07 4259 1 신도현
70411	페이스북에서 동영상과 사진을 원하는곳에 배치하려면 어떻게 해야 하나요??? (1)	병맛폰	2014-01	4259	0
페이스북에서 동영상과 사진을 원하는곳에… (1) 2014-01 4259 1 병맛폰
70410	2003서버에서... (2)	윤호용	2006-10	4259	13
2003서버에서... (2) 2006-10 4259 1 윤호용
70409	우퍼 수리점 문의 (5)	에스오투	2017-12	4260	0
우퍼 수리점 문의 (5) 2017-12 4260 1 에스오투
70408	VPN 문의 (8)	푸하히	2016-08	4260	0
VPN 문의 (8) 2016-08 4260 1 푸하히
70407	중국어 키보드가 필요한데요.... (2)	백남억	2014-12	4260	0
중국어 키보드가 필요한데요.... (2) 2014-12 4260 1 백남억
70406	메모리 선택 어떻게 해야 하나요? (5)	Sunrise	2016-11	4260	0
메모리 선택 어떻게 해야 하나요? (5) 2016-11 4260 1 Sunrise
70405	동남아쪽과 파일공유 방안 (16)	하늘하늘	2016-07	4260	0
동남아쪽과 파일공유 방안 (16) 2016-07 4260 1 하늘하늘
70404	e5 1650v2 어디서 구매하면 될까요? (9)	슬루프	2015-01	4260	0
e5 1650v2 어디서 구매하면 될까요? (9) 2015-01 4260 1 슬루프
70403	dvi + d-sub만 있는 모니터에 hdmi to dvi 젠더와 ptv3000(무선화면전송기)를 썼는데…	김건우	2015-10	4260	0
dvi + d-sub만 있는 모니터에 hdmi to dvi… 2015-10 4260 1 김건우
70402	같은 하드디스크인데 전송율 차이가 나네요.. (2)	김덕준	2007-04	4260	3
같은 하드디스크인데 전송율 차이가 나네… (2) 2007-04 4260 1 김덕준
70401	2CPU 비밀번호찾기를 했었는데, 이상한 메일이 왔네요... 중국어 가능하신분? (16)	형진	2019-01	4260	0
2CPU 비밀번호찾기를 했었는데, 이상한 메… (16) 2019-01 4260 1 형진
70400	인텔 dx79sr 문의 (4)	푸하히	2016-01	4260	0
인텔 dx79sr 문의 (4) 2016-01 4260 1 푸하히
70399	이런 2핀 케이블 살수있는 곳있나요 (6)	2CPU최주희	2015-10	4260	0
이런 2핀 케이블 살수있는 곳있나요 (6) 2015-10 4260 1 2CPU최주희
70398	제온용 쿨러 추천 좀 해주세요!!!! (3)	박재영	2007-01	4260	27
제온용 쿨러 추천 좀 해주세요!!!! (3) 2007-01 4260 1 박재영
70397	우분투 서버 or 우분투? (5)	sffbig	2016-02	4260	0
우분투 서버 or 우분투? (5) 2016-02 4260 1 sffbig
70396	윈도우2016 을 ssd 32Gb 설치가 될까요?... 흐흐흐	김황중	2017-02	4260	2
윈도우2016 을 ssd 32Gb 설치가 될까요?..… 2017-02 4260 1 김황중
70395	인텔 서버 케이스에 asus 보드 조립시 문제 (8)	천상천하	2016-02	4260	0
인텔 서버 케이스에 asus 보드 조립시 문제 (8) 2016-02 4260 1 천상천하
70394	USB 메모리 사려는대 조언좀 부탁드립니다. (8)	방o효o문	2014-02	4260	0
USB 메모리 사려는대 조언좀 부탁드립니다. (8) 2014-02 4260 1 방o효o문
70393	핸폰을 바꿨습니다. 기존 핸폰을 완전 초기화하려는데.. (2)	김건우	2018-01	4260	0
핸폰을 바꿨습니다. 기존 핸폰을 완전 초… (2) 2018-01 4260 1 김건우