웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4309 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2151/5683

번호	제목Page 2151/5683	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1492263	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1492263 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (727)	정은준1	2014-05	4955796	0
[필독] 처음 오시는 분을 위한 안내 (727) 2014-05 4955796 1 정은준1
70647	[질문] Ip 전화기에 070 이식 (2)	교교교	2015-11	4309	0
[질문] Ip 전화기에 070 이식 (2) 2015-11 4309 1 교교교
70646	그래픽 카드랑 모니터랑 연결 문의 드립니다. (9)	jack33	2018-01	4309	0
그래픽 카드랑 모니터랑 연결 문의 드립니… (9) 2018-01 4309 1 jack33
70645	xenserver (또는 xcp-ng 에다가) 에서 endian firewall 을 돌리시는 분 계실까요? xe… (14)	나파이강승훈	2019-09	4309	0
xenserver (또는 xcp-ng 에다가) 에서 end… (14) 2019-09 4309 1 나파이강승훈
70644	네트워크를 사용하는 프로세스를 추적하고 싶은데요... (3)	김우진	2007-03	4309	15
네트워크를 사용하는 프로세스를 추적하고… (3) 2007-03 4309 1 김우진
70643	HP XW8600 램 호환이 왜 안될까요? (11)	백수가꿈	2018-08	4309	0
HP XW8600 램 호환이 왜 안될까요? (11) 2018-08 4309 1 백수가꿈
70642	MYSQL 배치파일 작성 관련 (27)	서린이	2020-06	4309	0
MYSQL 배치파일 작성 관련 (27) 2020-06 4309 1 서린이
70641	m6600 워크스테이션 인데요. 카톡 페이스톡이 안되는데요. 드라이버를 어떤 걸로 깔… (11)	신은왜	2019-03	4309	0
m6600 워크스테이션 인데요. 카톡 페이스… (11) 2019-03 4309 1 신은왜
70640	HP Z800에서 이런 메모리 에러가 뜨네요..원인 아시는분 계실런지요.. (5)	두cpu	2017-05	4309	1
HP Z800에서 이런 메모리 에러가 뜨네요..… (5) 2017-05 4309 1 두cpu
70639	개인 정보보호법 궁굼합니다 (5)	song05	2012-07	4309	0
개인 정보보호법 궁굼합니다 (5) 2012-07 4309 1 song05
70638	지정된 웹사이트 제외하고 접속을 하지 못하게 하는 방법이 어떤게 있을까요? (6)	루이스	2016-09	4309	0
지정된 웹사이트 제외하고 접속을 하지 못… (6) 2016-09 4309 1 루이스
70637	Synology 1511+ 하드트레이구입은 어디서?? (2)	데이비드	2014-02	4309	0
Synology 1511+ 하드트레이구입은 어디서?? (2) 2014-02 4309 1 데이비드
70636	HP GTX TITAN 질문입니다 (2)	홍세중	2014-07	4309	0
HP GTX TITAN 질문입니다 (2) 2014-07 4309 1 홍세중
70635	DVR 추천제품 좀 부탁드립니다. (3)	Ai20	2018-07	4310	0
DVR 추천제품 좀 부탁드립니다. (3) 2018-07 4310 1 Ai20
70634	그래픽코어가 왜 CPU 내장일까요? (8)	김영기	2015-04	4310	0
그래픽코어가 왜 CPU 내장일까요? (8) 2015-04 4310 1 김영기
70633	힛싱크에 팬 장착할때 바람의 방향에 대한 질문... (8)	FreeBSD	2015-05	4310	0
힛싱크에 팬 장착할때 바람의 방향에 대한… (8) 2015-05 4310 1 FreeBSD
70632	웹사이트 크롤링 문의드립니다. (2)	삐돌이슬픔이	2014-11	4310	0
웹사이트 크롤링 문의드립니다. (2) 2014-11 4310 1 삐돌이슬픔이
70631	메모리 선택 어떻게 해야 하나요? (5)	Sunrise	2016-11	4310	0
메모리 선택 어떻게 해야 하나요? (5) 2016-11 4310 1 Sunrise
70630	[요청]Dell Optiplex 9020 Windows7 Pro 64Bit 이미지 (2)	한여름밤의꿈	2017-01	4310	0
[요청]Dell Optiplex 9020 Windows7 Pro 6… (2) 2017-01 4310 1 한여름밤의꿈
70629	[솔라리스]TCP프로그램에 연결된 사용자 중 특정 사용자만 끊는방법 (3)	양시열	2017-11	4310	0
[솔라리스]TCP프로그램에 연결된 사용자 … (3) 2017-11 4310 1 양시열
70628	winny쓰시는분... (3)	윤호용	2006-10	4310	9
winny쓰시는분... (3) 2006-10 4310 1 윤호용