웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

QnA more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4480 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2135/5708

번호	제목Page 2135/5708	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (735)	정은준1	2014-05	5139464	0
[필독] 처음 오시는 분을 위한 안내 (735) 2014-05 5139464 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1674008	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1674008 1 백메가
71462	Dell H310 host raid controller 를 윈도우 10 에서 컨트롤 할 수 있는지요 ? (4)	제온프로	2017-04	4479	1
Dell H310 host raid controller 를 윈도… (4) 2017-04 4479 1 제온프로
71461	N40L 5.25베이 (2)	씨형	2015-01	4479	0
N40L 5.25베이 (2) 2015-01 4479 1 씨형
71460	용도에 적합한 3M 양면테이프를 찾고 있습니다 (9)	송주환	2017-04	4479	1
용도에 적합한 3M 양면테이프를 찾고 있습… (9) 2017-04 4479 1 송주환
71459	Windows 10 업그레이드 후 권한 문제 관련 (1)	서울사람	2015-09	4479	0
Windows 10 업그레이드 후 권한 문제 관련 (1) 2015-09 4479 1 서울사람
71458	이런 사기는 어떻게 잡을까요~ (5)	행복하세	2017-12	4479	0
이런 사기는 어떻게 잡을까요~ (5) 2017-12 4479 1 행복하세
71457	CPU E5-2609 의 지원 여부. (3)	머재긴	2015-07	4479	0
CPU E5-2609 의 지원 여부. (3) 2015-07 4479 1 머재긴
71456	P410i 컨트롤러 락 푸는법 아시는 고수님 도와주세요. (4)	dreamer74	2015-11	4479	0
P410i 컨트롤러 락 푸는법 아시는 고수님 … (4) 2015-11 4479 1 dreamer74
71455	노트북 전원 단자가 썬더볼트3 라면 어댑터 연결시 사용불가인가요? (7)	깜박깜박가	2019-07	4479	0
노트북 전원 단자가 썬더볼트3 라면 어댑… (7) 2019-07 4479 1 깜박깜박가
71454	작업 관리자 CPU 정보 오류 일까요? (4)	과암	2021-06	4479	0
작업 관리자 CPU 정보 오류 일까요? (4) 2021-06 4479 1 과암
71453	AVX랑 SSE 4.1/4.2가 비쉐라에서도 완벽 지원되나요? (2)	병맛폰	2014-03	4479	0
AVX랑 SSE 4.1/4.2가 비쉐라에서도 완벽 … (2) 2014-03 4479 1 병맛폰
71452	이 제품 구매해 주실 수 있는 분 계신가요? (17)	김형준1	2016-03	4479	0
이 제품 구매해 주실 수 있는 분 계신가요? (17) 2016-03 4479 1 김형준1
71451	dell t20 파워업그레이드 후 파워선 소켓 문의 (3)	멋진남자	2016-02	4479	0
dell t20 파워업그레이드 후 파워선 소켓 … (3) 2016-02 4479 1 멋진남자
71450	멀쩡하던 모니터가...전원이 안켜지네요.... (5)	FreeBSD	2016-01	4479	0
멀쩡하던 모니터가...전원이 안켜지네요..… (5) 2016-01 4479 1 FreeBSD
71449	나스 구축할려고 하는데 사양어느정도 가져가면되겠나요? (5)	레이저짱	2014-11	4480	0
나스 구축할려고 하는데 사양어느정도 가… (5) 2014-11 4480 1 레이저짱
71448	시스템이 제 성능을 못내는거같은데 왤까� (9)	유포리아	2017-03	4480	0
시스템이 제 성능을 못내는거같은데 왤까� (9) 2017-03 4480 1 유포리아
71447	스카시 외장케이블 질문드립니다.	조웅기	2007-02	4480	8
스카시 외장케이블 질문드립니다. 2007-02 4480 1 조웅기
71446	옵테론 소켓AM2 시피유가 AM2 싱글보드에 장착이 되나요 (2)	윤한신	2007-03	4480	8
옵테론 소켓AM2 시피유가 AM2 싱글보드에 … (2) 2007-03 4480 1 윤한신
71445	m2.nvme ssd -> m2.sata ssd로 드라이브 복제하려는데요. 프로그램 문의 드립니다. (11)	미친감자	2022-01	4480	0
m2.nvme ssd -> m2.sata ssd로 드라이… (11) 2022-01 4480 1 미친감자
71444	HP Elitedesk 800 G4 TWR의 나사 이름? (6)	김상섭	2020-07	4480	0
HP Elitedesk 800 G4 TWR의 나사 이름? (6) 2020-07 4480 1 김상섭
71443	IBM ServeRaid 4Mx 맛탱이 갔네요	이병기	2008-09	4480	25
IBM ServeRaid 4Mx 맛탱이 갔네요 2008-09 4480 1 이병기