웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4510 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2117/5708

번호	제목Page 2117/5708	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1676740	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1676740 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5142528	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5142528 1 정은준1
71832	"Microsoft SQl sever database" 미국인 채용관련하여 질문드립니다. (12)	까만머리앤	2015-11	4501	0
"Microsoft SQl sever database"… (12) 2015-11 4501 1 까만머리앤
71831	같은 하드디스크인데 전송율 차이가 나네요.. (2)	김덕준	2007-04	4501	3
같은 하드디스크인데 전송율 차이가 나네… (2) 2007-04 4501 1 김덕준
71830	갤럭시 노트9 소프트웨어 업데이트 궁금한 점이 있습니다. (14)	wguardian	2020-11	4501	0
갤럭시 노트9 소프트웨어 업데이트 궁금한… (14) 2020-11 4501 1 wguardian
71829	이런 2핀 케이블 살수있는 곳있나요 (6)	2CPU최주희	2015-10	4501	0
이런 2핀 케이블 살수있는 곳있나요 (6) 2015-10 4501 1 2CPU최주희
71828	미크로틱 라우터 OS 질문드립니다. (8)	하늘바라기	2015-09	4501	0
미크로틱 라우터 OS 질문드립니다. (8) 2015-09 4501 1 하늘바라기
71827	DDR4 PC 2400R 랭크 혼용하면 인식 안될수있나요? (7)	김성현ARM	2018-03	4501	0
DDR4 PC 2400R 랭크 혼용하면 인식 안될수… (7) 2018-03 4501 1 김성현ARM
71826	이럴땐 어떻게 해결해야 하나요?---포맷? (4)	김진용	2007-04	4501	4
이럴땐 어떻게 해결해야 하나요?---포맷? (4) 2007-04 4501 1 김진용
71825	t5500 부팅 문의 (5)	황진우	2015-07	4501	0
t5500 부팅 문의 (5) 2015-07 4501 1 황진우
71824	Windows10에서 Windows Picture and Fax Viewer 프로그램이 보이질 않습니다. (2)	김유중	2016-09	4501	0
Windows10에서 Windows Picture and Fax V… (2) 2016-09 4501 1 김유중
71823	vue, vuetify 링크 중간에 변수삽입 질문입니다... (7)	대한민국	2019-12	4501	0
vue, vuetify 링크 중간에 변수삽입 질문… (7) 2019-12 4501 1 대한민국
71822	[ 가상화 - 오픈스택 ] 성능 최적화 => NUMA + HUGEPAGEs + DPDK + vCPU pinning … (1)	전설속의미…	2017-11	4501	0
[ 가상화 - 오픈스택 ] 성능 최적화 =>… (1) 2017-11 4501 1 전설속의미…
71821	Dell c6100 - 4 servers in one 2U box 서버 얼마나 할까요? (5)	파렌	2014-10	4501	0
Dell c6100 - 4 servers in one 2U box 서… (5) 2014-10 4501 1 파렌
71820	시게이트 HDD 어떨까요? (6)	GoverZG	2015-01	4501	0
시게이트 HDD 어떨까요? (6) 2015-01 4501 1 GoverZG
71819	공유기를 이용해 DB서버,웹서버 내부통신하려고합니다... 공유기 추천 부탁드립니다 (10)	백인찬	2014-04	4501	0
공유기를 이용해 DB서버,웹서버 내부통신… (10) 2014-04 4501 1 백인찬
71818	HP GTX TITAN 질문입니다 (2)	홍세중	2014-07	4501	0
HP GTX TITAN 질문입니다 (2) 2014-07 4501 1 홍세중
71817	뜬금없지만....노트북 led 백라이트 교체해 보신분 계신가요?? (3)	gflops	2016-01	4502	0
뜬금없지만....노트북 led 백라이트 교체… (3) 2016-01 4502 1 gflops
71816	파일 복사만 하면 레이드가 풀립니다.흠... (2)	정명현	2007-04	4502	9
파일 복사만 하면 레이드가 풀립니다.흠... (2) 2007-04 4502 1 정명현
71815	VM Esxi VS VM Workstation?? (10)	푸하히	2016-02	4502	0
VM Esxi VS VM Workstation?? (10) 2016-02 4502 1 푸하히
71814	SCSI HDD에 DATA를 전송할 수 있는 방법이 없을까요? (10)	이장노	2019-01	4502	0
SCSI HDD에 DATA를 전송할 수 있는 방법이… (10) 2019-01 4502 1 이장노
71813	LTO테이프드라이브-클리닝하라는경고등이 뜨는데요 (2)	스무프	2018-12	4502	0
LTO테이프드라이브-클리닝하라는경고등이 … (2) 2018-12 4502 1 스무프