웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

네트웍 more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4329 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3540/5687

번호	제목Page 3540/5687	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (728)	정은준1	2014-05	4994202	0
[필독] 처음 오시는 분을 위한 안내 (728) 2014-05 4994202 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1530139	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1530139 1 백메가
42950	기가바이트 ga-8idx3 메인보드 메모리 관련	박재우	2006-12	4330	24
기가바이트 ga-8idx3 메인보드 메모리 관련 2006-12 4330 1 박재우
42949	원자력 발전소 주변 지역에서 쓰는 전기는 원전에서 나온 것일까요? (12)	LSSAH	2018-08	4330	0
원자력 발전소 주변 지역에서 쓰는 전기는… (12) 2018-08 4330 1 LSSAH
42948	저렴헌 SATA II 컨트롤러 추천해주세요. (5)	임진욱	2007-05	4330	5
저렴헌 SATA II 컨트롤러 추천해주세요. (5) 2007-05 4330 1 임진욱
42947	게시판에 사진 넣기가 안되네요. (1)	이창준	2015-05	4330	0
게시판에 사진 넣기가 안되네요. (1) 2015-05 4330 1 이창준
42946	웹호스팅 회사 추천해 주세요 (8)	GPGPU	2020-11	4330	0
웹호스팅 회사 추천해 주세요 (8) 2020-11 4330 1 GPGPU
42945	pcb 도금관련 문의 (2)	metaljw	2014-11	4330	0
pcb 도금관련 문의 (2) 2014-11 4330 1 metaljw
42944	USB 메모리 사려는대 조언좀 부탁드립니다. (8)	방o효o문	2014-02	4330	0
USB 메모리 사려는대 조언좀 부탁드립니다. (8) 2014-02 4330 1 방o효o문
42943	방화벽에서 웹 소켓 막기	박청명	2015-07	4330	0
방화벽에서 웹 소켓 막기 2015-07 4330 1 박청명
42942	카페24를 써야하는건가요 .... PHP버전이 제대로 지원을안하는.. (5)	두리안	2015-10	4330	0
카페24를 써야하는건가요 .... PHP버전이… (5) 2015-10 4330 1 두리안
42941	sata 확장카드중 8포트 짜리가 있을까요? (5)	슬기로운생활	2015-10	4330	0
sata 확장카드중 8포트 짜리가 있을까요? (5) 2015-10 4330 1 슬기로운생활
42940	공유기를 이용해 DB서버,웹서버 내부통신하려고합니다... 공유기 추천 부탁드립니다 (10)	백인찬	2014-04	4330	0
공유기를 이용해 DB서버,웹서버 내부통신… (10) 2014-04 4330 1 백인찬
42939	못쓰게 된 배터리를 어떻게 폐기하는게 정답인가요? (4)	김우진	2015-02	4330	0
못쓰게 된 배터리를 어떻게 폐기하는게 정… (4) 2015-02 4330 1 김우진
42938	오메가 3 뭐 드시나요? 산폐 위험에서... (7)	늘파란	2017-08	4330	0
오메가 3 뭐 드시나요? 산폐 위험에서... (7) 2017-08 4330 1 늘파란
42937	혹시 갤럭시 노트5 쓰시는 회원님들꼐 여쭤봅니다	햇님반변강쇠	2015-12	4329	0
혹시 갤럭시 노트5 쓰시는 회원님들꼐 여… 2015-12 4329 1 햇님반변강쇠
42936	win10올라왔습니다만.. 다시 win8.1돌아가기 버튼 사용시... (1)	송진현	2015-08	4329	0
win10올라왔습니다만.. 다시 win8.1돌아가… (1) 2015-08 4329 1 송진현
42935	하이퍼브이로는 이런 운영이 불가능한가요? (5)	나비z	2016-12	4329	0
하이퍼브이로는 이런 운영이 불가능한가요? (5) 2016-12 4329 1 나비z
42934	아답텍 29160 디스크 검사 (1)	이윤성	2006-08	4329	14
아답텍 29160 디스크 검사 (1) 2006-08 4329 1 이윤성
42933	dell t5500제품 rx460그래픽카드 사용 못하나요? (2)	곤도	2017-03	4329	0
dell t5500제품 rx460그래픽카드 사용 못… (2) 2017-03 4329 1 곤도
42932	320-2와 320-2x는 다른 건가요? (2)	윤치열	2007-09	4329	11
320-2와 320-2x는 다른 건가요? (2) 2007-09 4329 1 윤치열
42931	메모리관련 질문좀 드리겠습니다... (1)	조동섭	2007-02	4329	21
메모리관련 질문좀 드리겠습니다... (1) 2007-02 4329 1 조동섭