웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

UnBoxing more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4333 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2295/5688

번호	제목Page 2295/5688	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1535056	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1535056 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (728)	정은준1	2014-05	4999231	0
[필독] 처음 오시는 분을 위한 안내 (728) 2014-05 4999231 1 정은준1
67861	비디오카드가 ....! (5)	klein	2010-05	7252	0
비디오카드가 ....! (5) 2010-05 7252 1 klein
67860	Windows xp 64bit 에디션을 설치하려고 합니다.. (8)	디제이크핫	2018-03	3866	0
Windows xp 64bit 에디션을 설치하려고 합… (8) 2018-03 3866 1 디제이크핫
67859	홈페이지 사진 업로드 할 때 이상현상...(이미지잘림) (6)	참세상맹글기	2010-05	11229	0
홈페이지 사진 업로드 할 때 이상현상...(… (6) 2010-05 11229 1 참세상맹글기
67858	pfsense 10g 지원여부.. . (5)	금콩커피	2019-05	3219	0
pfsense 10g 지원여부.. . (5) 2019-05 3219 1 금콩커피
67857	4년만에 PC업글(파워질문) (3)	진동현	2010-05	6213	0
4년만에 PC업글(파워질문) (3) 2010-05 6213 1 진동현
67856	[질문]Madcatz 의 RAT 7 드라이버 관련... (1)	앤디캔디	2020-08	1834	0
[질문]Madcatz 의 RAT 7 드라이버 관련... (1) 2020-08 1834 1 앤디캔디
67855	백업위하여서 무압축으로 tar파일 또는 zip파일 만들시에 (5)	그린	2018-03	3589	0
백업위하여서 무압축으로 tar파일 또는 z… (5) 2018-03 3589 1 그린
67854	freebsd 여러 설정 질문입니다~ (6)	비엘이브	2019-05	3017	0
freebsd 여러 설정 질문입니다~ (6) 2019-05 3017 1 비엘이브
67853	황당한 UDP 통신장애.. 어디를 살펴봐야 할까요? (16)	변호사손군	2023-08	2462	0
황당한 UDP 통신장애.. 어디를 살펴봐야 … (16) 2023-08 2462 1 변호사손군
67852	그동안 메모리에 대해 무지한거 같습니다. (3)	김충환	2010-05	8125	0
그동안 메모리에 대해 무지한거 같습니다. (3) 2010-05 8125 1 김충환
67851	웹사이트 크롤링 문의드립니다. (2)	삐돌이슬픔이	2014-11	4334	0
웹사이트 크롤링 문의드립니다. (2) 2014-11 4334 1 삐돌이슬픔이
67850	크롬 번역 기능에서 디폴트 번역 언어가 영어로 설정이 바뀌었는데 ....이걸 한글로 … (1)	윤경식	2018-04	4585	0
크롬 번역 기능에서 디폴트 번역 언어가 … (1) 2018-04 4585 1 윤경식
67849	목소리를 tts 나 ai 보이스로 만들어보고 싶은데 (3)	삐돌이슬픔이	2023-09	1840	0
목소리를 tts 나 ai 보이스로 만들어보고… (3) 2023-09 1840 1 삐돌이슬픔이
67848	l5420보드 질문입니다. (3)	마스터고양이	2014-11	4337	0
l5420보드 질문입니다. (3) 2014-11 4337 1 마스터고양이
67847	1607 v2 가오버가되나요? (8)	행복하세	2017-01	4845	0
1607 v2 가오버가되나요? (8) 2017-01 4845 1 행복하세
67846	광확산 아크릴 이나 PC 두께 문의 (3)	성기사	2019-06	2971	0
광확산 아크릴 이나 PC 두께 문의 (3) 2019-06 2971 1 성기사
67845	Raid 카드에 물려있던 하드인데요..	1김In1	2010-07	7854	0
Raid 카드에 물려있던 하드인데요.. 2010-07 7854 1 1김In1
67844	매트록스 VGA카드가 LCD에서도 차이가 나는지요? (3)	예관신규식	2010-07	9367	0
매트록스 VGA카드가 LCD에서도 차이가 나… (3) 2010-07 9367 1 예관신규식
67843	네이트온 원격제어가 되지를 않네요 (6)	예관신규식	2010-07	29444	0
네이트온 원격제어가 되지를 않네요 (6) 2010-07 29444 1 예관신규식
67842	요즈음도...제온 CPU 두개 장착시 스태핑넘버... (3)	싱어송라이터	2010-08	9593	0
요즈음도...제온 CPU 두개 장착시 스태핑… (3) 2010-08 9593 1 싱어송라이터