웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4412 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3579/5701

번호	제목Page 3579/5701	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (734)	정은준1	2014-05	5111674	0
[필독] 처음 오시는 분을 위한 안내 (734) 2014-05 5111674 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (232)	백메가	2015-12	1647268	25
(광고) 단통법 시대의 인터넷가입 가이드(… (232) 2015-12 1647268 1 백메가
42445	이산가족상봉을 할 때.., (5)	아름다운노을	2015-09	4413	0
이산가족상봉을 할 때.., (5) 2015-09 4413 1 아름다운노을
42444	cpu 코어들이 사라지는 신기한 경험 해보신분? (9)	쌍cpu	2015-05	4413	0
cpu 코어들이 사라지는 신기한 경험 해보… (9) 2015-05 4413 1 쌍cpu
42443	운영체제 백업을 하려면 어떤 프로그램이 좋을까요?? (2)	블루영상	2014-01	4413	0
운영체제 백업을 하려면 어떤 프로그램이 … (2) 2014-01 4413 1 블루영상
42442	소켓1151v2 메인보드에서 8슬롯 메모리 지원 하는게 있나요? (7)	sdlfkjwer	2019-08	4413	0
소켓1151v2 메인보드에서 8슬롯 메모리 지… (7) 2019-08 4413 1 sdlfkjwer
42441	Dell T620 에 일반 VGA 설치가 가능한가요? (3)	정은준1	2015-09	4413	0
Dell T620 에 일반 VGA 설치가 가능한가요? (3) 2015-09 4413 1 정은준1
42440	Z420 CMOS에서 SATA 모드 변경 문의드립니다 (5)	강한구	2016-03	4413	0
Z420 CMOS에서 SATA 모드 변경 문의드립니다 (5) 2016-03 4413 1 강한구
42439	"프리젠테이션 디스플레이 모드" 해제하는 방법좀 알려주세요. 한쪽 화면… (2)	범범이	2016-10	4413	0
"프리젠테이션 디스플레이 모드"… (2) 2016-10 4413 1 범범이
42438	저렴한 차량용 스피커 교체.. 질문드립니다. ^^ (14)	반성만	2019-10	4413	0
저렴한 차량용 스피커 교체.. 질문드립니… (14) 2019-10 4413 1 반성만
42437	e5-2620v4 듀얼로 서버하나 고려중입니다.	alexkan	2016-12	4413	0
e5-2620v4 듀얼로 서버하나 고려중입니다. 2016-12 4413 1 alexkan
42436	2CPU 입문하려고 준비중입니다! (11)	테세이라	2018-01	4413	0
2CPU 입문하려고 준비중입니다! (11) 2018-01 4413 1 테세이라
42435	Tesla GPU 거래 가능한 곳... (6)	SeaOtter	2014-10	4412	0
Tesla GPU 거래 가능한 곳... (6) 2014-10 4412 1 SeaOtter
42434	USB 3.0 믿을만 한가요? (13)	ITES	2015-06	4412	0
USB 3.0 믿을만 한가요? (13) 2015-06 4412 1 ITES
42433	파워버튼 8핀선 급합니다 (8)	라면먹고갈래	2015-10	4412	0
파워버튼 8핀선 급합니다 (8) 2015-10 4412 1 라면먹고갈래
42432	dell precision t5600 case 에 atx 보드를 장착 가능할까요? (4)	ery	2015-09	4412	0
dell precision t5600 case 에 atx 보드를… (4) 2015-09 4412 1 ery
42431	디비코 hdtv카드 샀는데... 드라이버 하나가 안깔려서 (3)	김기범	2007-04	4412	12
디비코 hdtv카드 샀는데... 드라이버 하나… (3) 2007-04 4412 1 김기범
42430	lin64 ws 산타로사 보드 쓰시는분 계신가요? lan 문제 (1)	차승환	2008-12	4412	4
lin64 ws 산타로사 보드 쓰시는분 계신가… (1) 2008-12 4412 1 차승환
42429	컴프터가 계속 다운이 된니다 (7)	나는나입니다	2014-05	4412	0
컴프터가 계속 다운이 된니다 (7) 2014-05 4412 1 나는나입니다
42428	x8dah 보드인데 자꾸 재부팅되요..원인이 뭘까요 (19)	수원서식	2016-07	4412	0
x8dah 보드인데 자꾸 재부팅되요..원인이 … (19) 2016-07 4412 1 수원서식
42427	2핀 꽂는곳에 3핀꽂아도 될까요? (1)	캡틴아메리카노	2015-04	4412	0
2핀 꽂는곳에 3핀꽂아도 될까요? (1) 2015-04 4412 1 캡틴아메리카노
42426	HDMI to Display Port 또는 HDMI to Dual link DVI-D (2)	북쪽하늘	2016-01	4412	0
HDMI to Display Port 또는 HDMI to Dual … (2) 2016-01 4412 1 북쪽하늘