웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4435 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3565/5703

번호	제목Page 3565/5703	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1654122	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1654122 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5118703	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5118703 1 정은준1
42766	N40L 5.25베이 (2)	씨형	2015-01	4431	0
N40L 5.25베이 (2) 2015-01 4431 1 씨형
42765	구형 갤럭시탭 활용 문의 (6)	나비z	2020-01	4431	0
구형 갤럭시탭 활용 문의 (6) 2020-01 4431 1 나비z
42764	Windows 10 업그레이드 후 권한 문제 관련 (1)	서울사람	2015-09	4431	0
Windows 10 업그레이드 후 권한 문제 관련 (1) 2015-09 4431 1 서울사람
42763	UEFI 설치하면.. (스압주의)	센큐	2017-02	4431	0
UEFI 설치하면.. (스압주의) 2017-02 4431 1 센큐
42762	dvi + d-sub만 있는 모니터에 hdmi to dvi 젠더와 ptv3000(무선화면전송기)를 썼는데…	김건우	2015-10	4431	0
dvi + d-sub만 있는 모니터에 hdmi to dvi… 2015-10 4431 1 김건우
42761	10G 광네트워크 구성을 하려고 합니다. 이렇게 하면 될까요? (25)	JCnetwork	2023-10	4431	0
10G 광네트워크 구성을 하려고 합니다. 이… (25) 2023-10 4431 1 JCnetwork
42760	같은 하드디스크인데 전송율 차이가 나네요.. (2)	김덕준	2007-04	4431	3
같은 하드디스크인데 전송율 차이가 나네… (2) 2007-04 4431 1 김덕준
42759	옵테론 소켓AM2 시피유가 AM2 싱글보드에 장착이 되나요 (2)	윤한신	2007-03	4431	8
옵테론 소켓AM2 시피유가 AM2 싱글보드에 … (2) 2007-03 4431 1 윤한신
42758	Do you like wearing Hoodies? (2)	InezFAmerson	2022-01	4431	0
Do you like wearing Hoodies? (2) 2022-01 4431 1 InezFAmerson
42757	P410i 컨트롤러 락 푸는법 아시는 고수님 도와주세요. (4)	dreamer74	2015-11	4431	0
P410i 컨트롤러 락 푸는법 아시는 고수님 … (4) 2015-11 4431 1 dreamer74
42756	아수스 Z8NA-D6 질문 몇 가지 드립니다. (3)	총각	2016-01	4431	0
아수스 Z8NA-D6 질문 몇 가지 드립니다. (3) 2016-01 4431 1 총각
42755	OpenTM의 W230LED 모니터 드라이버 구합니다 (3)	전설속의미…	2016-01	4431	0
OpenTM의 W230LED 모니터 드라이버 구합니다 (3) 2016-01 4431 1 전설속의미…
42754	마이크로서버 gen8 문의 (7)	쌍cpu	2015-07	4431	0
마이크로서버 gen8 문의 (7) 2015-07 4431 1 쌍cpu
42753	멀티툴 끝판대장은 어떤 모델일까요 ?? (13)	화란	2019-01	4431	0
멀티툴 끝판대장은 어떤 모델일까요 ?? (13) 2019-01 4431 1 화란
42752	레노버 D30 메인보드도 IPMI가 되나요?? (3)	Fasda	2016-03	4431	0
레노버 D30 메인보드도 IPMI가 되나요?? (3) 2016-03 4431 1 Fasda
42751	무선랜카드 전자파 문제 (17)	소년시대	2015-03	4431	0
무선랜카드 전자파 문제 (17) 2015-03 4431 1 소년시대
42750	요 써멀컴파운드 어떨까요? (9)	인초리	2016-01	4431	0
요 써멀컴파운드 어떨까요? (9) 2016-01 4431 1 인초리
42749	카드 비교 사이트 추천 부탁드립니다... (6)	호박고구마	2017-12	4431	0
카드 비교 사이트 추천 부탁드립니다... (6) 2017-12 4431 1 호박고구마
42748	HDD, RPM이 높아지면 속도가 빠른가요? (12)	LevinF	2023-02	4431	0
HDD, RPM이 높아지면 속도가 빠른가요? (12) 2023-02 4431 1 LevinF
42747	로그인 방식에 대해서 - 네이버와 개인 사이트 (12)	가빠로구나	2015-06	4431	0
로그인 방식에 대해서 - 네이버와 개인 … (12) 2015-06 4431 1 가빠로구나