웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

견적 more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4499 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2122/5708

번호	제목Page 2122/5708	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1675987	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1675987 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5141374	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5141374 1 정은준1
71727	이베이 카운터 오퍼 (2)	박철	2015-09	4495	0
이베이 카운터 오퍼 (2) 2015-09 4495 1 박철
71726	m2.nvme ssd -> m2.sata ssd로 드라이브 복제하려는데요. 프로그램 문의 드립니다. (11)	미친감자	2022-01	4495	0
m2.nvme ssd -> m2.sata ssd로 드라이… (11) 2022-01 4495 1 미친감자
71725	노트북 전원 단자가 썬더볼트3 라면 어댑터 연결시 사용불가인가요? (7)	깜박깜박가	2019-07	4495	0
노트북 전원 단자가 썬더볼트3 라면 어댑… (7) 2019-07 4495 1 깜박깜박가
71724	Z820 SAS 컨트롤러 활성화 (4)	박철	2015-08	4495	0
Z820 SAS 컨트롤러 활성화 (4) 2015-08 4495 1 박철
71723	HP Z440 시도때도 없이 재부팅 됩니다. (26)	맑은여름	2020-06	4495	0
HP Z440 시도때도 없이 재부팅 됩니다. (26) 2020-06 4495 1 맑은여름
71722	미크로틱 제품은 어디서 사나요?? (8)	느낌	2017-03	4495	0
미크로틱 제품은 어디서 사나요?? (8) 2017-03 4495 1 느낌
71721	카드 비교 사이트 추천 부탁드립니다... (6)	호박고구마	2017-12	4495	0
카드 비교 사이트 추천 부탁드립니다... (6) 2017-12 4495 1 호박고구마
71720	컴퓨터 전원 코드 뽑아서 종료.. (4)	쿰척쿰척	2017-01	4495	0
컴퓨터 전원 코드 뽑아서 종료.. (4) 2017-01 4495 1 쿰척쿰척
71719	모든 레이드 컨트롤러는 IT로 변환할수 있나요? (8)	장동건2014	2014-07	4495	0
모든 레이드 컨트롤러는 IT로 변환할수 있… (8) 2014-07 4495 1 장동건2014
71718	멀쩡하던 모니터가...전원이 안켜지네요.... (5)	FreeBSD	2016-01	4495	0
멀쩡하던 모니터가...전원이 안켜지네요..… (5) 2016-01 4495 1 FreeBSD
71717	가정용 공유기 추천 부탁드립니다 (2)	하루카	2014-03	4495	0
가정용 공유기 추천 부탁드립니다 (2) 2014-03 4495 1 하루카
71716	산재보험 가입안되어있으면 나중에 실업급여 수급에 문제있나요? (2)	김건우	2017-12	4495	0
산재보험 가입안되어있으면 나중에 실업급… (2) 2017-12 4495 1 김건우
71715	Synology 1511+ 하드트레이구입은 어디서?? (2)	데이비드	2014-02	4495	0
Synology 1511+ 하드트레이구입은 어디서?? (2) 2014-02 4495 1 데이비드
71714	ORACLE SQL JOIN 쿼리문 질문드립니다. (11)	두슬아빠	2016-09	4495	0
ORACLE SQL JOIN 쿼리문 질문드립니다. (11) 2016-09 4495 1 두슬아빠
71713	piwigo 대체할만한 빠르고 가벼운 photo gallery 프로그램이 있을까요? (2)	바람곰돌	2021-01	4496	0
piwigo 대체할만한 빠르고 가벼운 photo g… (2) 2021-01 4496 1 바람곰돌
71712	제 목적에 맞는 pfsense 추가 패키지를 알고 싶습니다. (14)	강한구	2020-07	4496	0
제 목적에 맞는 pfsense 추가 패키지를 알… (14) 2020-07 4496 1 강한구
71711	파워 5v 출력 관련 문의드립니다 (6)	박견1	2016-08	4496	0
파워 5v 출력 관련 문의드립니다 (6) 2016-08 4496 1 박견1
71710	윗층 침수 피해로 천장 침수 피해시 청구와 보상범위....ㅡㅡ;;; (3)	으라차차차	2018-06	4496	1
윗층 침수 피해로 천장 침수 피해시 청구… (3) 2018-06 4496 1 으라차차차
71709	공기청정기 어떤게 좋나요? (9)	퍼싱글	2018-03	4496	0
공기청정기 어떤게 좋나요? (9) 2018-03 4496 1 퍼싱글
71708	grub 옵션 및 & 부팅 로그 관련 질문드립니다. (Debian 9.3 stretch사용)	조형	2017-12	4496	0
grub 옵션 및 & 부팅 로그 관련 질문드립… 2017-12 4496 1 조형