웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4473 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2141/5708

번호	제목Page 2141/5708	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5138970	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5138970 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1673460	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1673460 1 백메가
71341	흑백 레이저 복합기중에 가장 작은것 찾고 있습니다 (4)	미수맨	2016-08	4477	0
흑백 레이저 복합기중에 가장 작은것 찾고… (4) 2016-08 4477 1 미수맨
71340	메모리슬롯 핀 휨 수리방법? (4)	metaljw	2021-05	4477	0
메모리슬롯 핀 휨 수리방법? (4) 2021-05 4477 1 metaljw
71339	X8DTi 사용중에 삐~~ 하는 비프음 겪으신적있으세요? (3)	e5472	2016-04	4477	1
X8DTi 사용중에 삐~~ 하는 비프음 겪으신… (3) 2016-04 4477 1 e5472
71338	7610 옆면 열고 부팅이 안되는가요? (10)	깜박깜박가	2016-02	4477	0
7610 옆면 열고 부팅이 안되는가요? (10) 2016-02 4477 1 깜박깜박가
71337	기가바이트 ga-ep45-udr3 공홈에 바이오스 펌 F5f 설치하면 E5450 이용가능 하나요? (3)	MiniMi	2015-03	4477	0
기가바이트 ga-ep45-udr3 공홈에 바이오스… (3) 2015-03 4477 1 MiniMi
71336	엑셀 파일을 탐색기에서 미리 보기가 안될 때... (4)	여주농민76	2021-01	4477	0
엑셀 파일을 탐색기에서 미리 보기가 안될… (4) 2021-01 4477 1 여주농민76
71335	LSI Megaraid sas9361 펌웨어?바이오스 업데이트는 어디서하나요? (2)	코쿠	2017-08	4477	0
LSI Megaraid sas9361 펌웨어?바이오스 업… (2) 2017-08 4477 1 코쿠
71334	IP2개 이상인데 동일한 G/W 쓰고 나갈때 목적지를 지정할 수 있나요? (3)	행아범	2014-03	4477	0
IP2개 이상인데 동일한 G/W 쓰고 나갈때 … (3) 2014-03 4477 1 행아범
71333	넷기어 공유기로 바꾸고나서 속도가 제대로 나오질 않으네요. (2)	inquisitive	2014-01	4477	0
넷기어 공유기로 바꾸고나서 속도가 제대… (2) 2014-01 4477 1 inquisitive
71332	치매보험이 실제로 도움이 될까요? (3)	맑은부철	2016-01	4477	0
치매보험이 실제로 도움이 될까요? (3) 2016-01 4477 1 맑은부철
71331	hdcp 2.2 미지원 모니터 hdmi to dvi 컨버팅해서 저렴하게 티비로 쓸 방법은 뭘까요 (4)	김민수2	2021-07	4477	0
hdcp 2.2 미지원 모니터 hdmi to dvi 컨버… (4) 2021-07 4477 1 김민수2
71330	CachemanXP라는 프로그램 써보신분 계신가요?	류장호	2007-05	4477	8
CachemanXP라는 프로그램 써보신분 계신가… 2007-05 4477 1 류장호
71329	dell t20 파워업그레이드 후 파워선 소켓 문의 (3)	멋진남자	2016-02	4477	0
dell t20 파워업그레이드 후 파워선 소켓 … (3) 2016-02 4477 1 멋진남자
71328	상가 관리사무소를 몰아낼 방법은? (11)	나파이강승훈	2017-03	4477	2
상가 관리사무소를 몰아낼 방법은? (11) 2017-03 4477 1 나파이강승훈
71327	구형 그래픽 카드로 24인치 모니터 3개 연결시 질문이 있습니다. (7)	으라차차차	2017-12	4477	0
구형 그래픽 카드로 24인치 모니터 3개 연… (7) 2017-12 4477 1 으라차차차
71326	왜 2.5"는 2TB 하드가 외장으로만 나올까요? (6)	VSPress	2015-04	4478	0
왜 2.5"는 2TB 하드가 외장으로만 나… (6) 2015-04 4478 1 VSPress
71325	HP Z840에서 CPU 사용율에 대한 질문입니다 (9)	개미늘보	2020-12	4478	0
HP Z840에서 CPU 사용율에 대한 질문입니다 (9) 2020-12 4478 1 개미늘보
71324	Dell H310 host raid controller 를 윈도우 10 에서 컨트롤 할 수 있는지요 ? (4)	제온프로	2017-04	4478	1
Dell H310 host raid controller 를 윈도… (4) 2017-04 4478 1 제온프로
71323	ESXI처음 써봅니다. 업로드 속도질문드려요. (3)	메이	2017-02	4478	0
ESXI처음 써봅니다. 업로드 속도질문드려… (3) 2017-02 4478 1 메이
71322	5포트짜리 저렴한 기가비트 스위치허브를 구입하려고 합니다.iptime것 무난하겠지요? (13)	VSPress	2021-07	4478	0
5포트짜리 저렴한 기가비트 스위치허브를 … (13) 2021-07 4478 1 VSPress