웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4322 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2147/5686

번호	제목Page 2147/5686	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1521129	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1521129 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (727)	정은준1	2014-05	4985109	0
[필독] 처음 오시는 분을 위한 안내 (727) 2014-05 4985109 1 정은준1
70799	Centos 6버전대 네트웍 설정해보신분?? (5)	김컴맹	2018-08	4321	0
Centos 6버전대 네트웍 설정해보신분?? (5) 2018-08 4321 1 김컴맹
70798	HP D2600 디스크 인클로저 ON/OFF (1)	어드민플레이	2015-04	4321	0
HP D2600 디스크 인클로저 ON/OFF (1) 2015-04 4321 1 어드민플레이
70797	RAID 추천 부탁드립니다. (6)	한성호	2014-09	4321	0
RAID 추천 부탁드립니다. (6) 2014-09 4321 1 한성호
70796	부팅 불가 현상에 대해 질문드립니다... (13)	PlayHobby	2020-08	4321	0
부팅 불가 현상에 대해 질문드립니다... (13) 2020-08 4321 1 PlayHobby
70795	아이폰 imessage 관련 질문 드려요 (14)	Nikon	2018-10	4321	0
아이폰 imessage 관련 질문 드려요 (14) 2018-10 4321 1 Nikon
70794	PCI-E 를 이런식으로 사용해도 괜찮을까요? (6)	김민철GC	2015-12	4321	0
PCI-E 를 이런식으로 사용해도 괜찮을까요? (6) 2015-12 4321 1 김민철GC
70793	레이드 구성 문의 질문좀 드릴께요 ?? (6)	싱어송라이터	2012-07	4321	0
레이드 구성 문의 질문좀 드릴께요 ?? (6) 2012-07 4321 1 싱어송라이터
70792	카페24를 써야하는건가요 .... PHP버전이 제대로 지원을안하는.. (5)	두리안	2015-10	4321	0
카페24를 써야하는건가요 .... PHP버전이… (5) 2015-10 4321 1 두리안
70791	POE로 기가인터넷 사용 가능한가요? (8)	아마카시	2019-02	4321	0
POE로 기가인터넷 사용 가능한가요? (8) 2019-02 4321 1 아마카시
70790	시게이트 HDD 어떨까요? (6)	GoverZG	2015-01	4321	0
시게이트 HDD 어떨까요? (6) 2015-01 4321 1 GoverZG
70789	외장 IPMI 모듈.. (10)	컴박	2017-04	4321	0
외장 IPMI 모듈.. (10) 2017-04 4321 1 컴박
70788	네트워크 연결 이렇게 사용이 가능 할까요? (11)	SpringValley	2014-02	4322	0
네트워크 연결 이렇게 사용이 가능 할까요? (11) 2014-02 4322 1 SpringValley
70787	미국 이베이에 있지만 실제는 유로화로 계산해야되는(독일제품)은 어떻게 구매해야되… (4)	김건우	2016-03	4322	0
미국 이베이에 있지만 실제는 유로화로 계… (4) 2016-03 4322 1 김건우
70786	WDS(윈도우배포서버)의 원격설치폴더 경로 변경	chotws	2016-11	4322	0
WDS(윈도우배포서버)의 원격설치폴더 경로… 2016-11 4322 1 chotws
70785	스위치에 일반허브연결하면 속도 떨어지나요? (13)	김건우	2018-07	4322	0
스위치에 일반허브연결하면 속도 떨어지나… (13) 2018-07 4322 1 김건우
70784	HP Z400 RAM 문의 (1)	혀기	2017-02	4322	0
HP Z400 RAM 문의 (1) 2017-02 4322 1 혀기
70783	ftp 정해진 시간에 미러링 하는 프로그램 있을까요.os는 윈도우10 입니다. (14)	땅부자	2019-01	4322	0
ftp 정해진 시간에 미러링 하는 프로그램 … (14) 2019-01 4322 1 땅부자
70782	이게 뭐가요 그리고 이거 삭제하고 싶은데 언어가 딸려서 통 (4)	최시영	2016-03	4322	0
이게 뭐가요 그리고 이거 삭제하고 싶은데… (4) 2016-03 4322 1 최시영
70781	z420 노턴고스트 (1)	마징가	2016-05	4322	0
z420 노턴고스트 (1) 2016-05 4322 1 마징가
70780	pcb 도금관련 문의 (2)	metaljw	2014-11	4322	0
pcb 도금관련 문의 (2) 2014-11 4322 1 metaljw