웹사이트 크롤링 문의드립니다. :: 2cpu, 지름이 시작되는 곳!

PDS more

쓰기

웹사이트 크롤링 문의드립니다.

삐돌이슬픔이

2014-11

2014-11-24 23:15:03

조회 4328 추천 0

그림 관련사이트인데 사진이 약 20 만장 있구요 용량은 40 기가인데요 ...

이걸 크롤링하는거같아요... 3일째 받아간게 30 기가가 좀 넘어요...

초당 90 K ~ 350 K 가변으로 접속하고... 브라우저 아이디도 바뀌고

아이피는 한개인데.... 초당 약 1컨넥션~ 10 컨넥션 사이로 왔다갔다합니다.

일단 막고봐야 할까요 ?

만약 크롤링 허용한다면 어디에 제한을 두는게 운용에 차질이없을까요 ?

초당 컨넥션인가요 아니면 속도인가요 ?

아 서버사양은 i7 이구요 대역폭은 100 매가 APM+PHPBB 입니다.

미리 감사드립니다.

210610_PDS_7d699f04fe9a5ed737e93883e4765

짧은글 일수록 신중하게.



박 2014-11 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요. 별 도움안되는봇인듯합니다. 걍 차단하심이... 아님 이미지만 차단하시는것도 고려해볼만하겠구요.



조용geeksqu… 2014-11 답변감사합니다. 늦긴했지만 ip 로 차단했습니다. 답변감사합니다. 늦긴했지만 ip 로 차단했습니다.

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

2973/5687

번호	제목Page 2973/5687	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1529606	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1529606 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (728)	정은준1	2014-05	4993675	0
[필독] 처음 오시는 분을 위한 안내 (728) 2014-05 4993675 1 정은준1
54290	xw6600 에 xw8600 1050w 파워 문의 드립니다. (2)	이수원0	2013-11	3974	0
xw6600 에 xw8600 1050w 파워 문의 드립니… (2) 2013-11 3974 1 이수원0
54289	vm웨어 esxi 6.5 호환질문.. (1)	제라드TN	2019-10	2927	0
vm웨어 esxi 6.5 호환질문.. (1) 2019-10 2927 1 제라드TN
54288	백신 프로그램이 HP 프로그램을 바이러스로 인식하네요... (3)	호박고구마	2022-08	1555	0
백신 프로그램이 HP 프로그램을 바이러스… (3) 2022-08 1555 1 호박고구마
54287	델PSU875W 사타전원 색상구별 (6)	윈98	2015-04	5868	0
델PSU875W 사타전원 색상구별 (6) 2015-04 5868 1 윈98
54286	잡음 제거를 위한 매칭트랜스(?)를 구입하려합니다. (2)	조명수	2011-06	11296	0
잡음 제거를 위한 매칭트랜스(?)를 구입하… (2) 2011-06 11296 1 조명수
54285	[ESXi] Paththrough 설정 변경할 수 있는 방법 문의드립니다. (3)	쥬라직	2013-12	4004	0
[ESXi] Paththrough 설정 변경할 수 있는 … (3) 2013-12 4004 1 쥬라직
54284	esxi VM에 SSD로 인식하게 하려면 어떻게 해야할까요? (3)	deton	2022-08	1539	0
esxi VM에 SSD로 인식하게 하려면 어떻게 … (3) 2022-08 1539 1 deton
54283	리눅스 시스템로고 에러 (5)	metaljw	2018-08	11780	0
리눅스 시스템로고 에러 (5) 2018-08 11780 1 metaljw
54282	확장자 GHO 파일 압축해제 (6)	전진	2019-10	3428	0
확장자 GHO 파일 압축해제 (6) 2019-10 3428 1 전진
54281	서랍장은 진짜 제대로 된 원목으로 구입을 해야 한다는 것을 다시 한 번 느끼네요. (23)	신은왜	2019-10	3161	0
서랍장은 진짜 제대로 된 원목으로 구입을… (23) 2019-10 3161 1 신은왜
54280	10Gbe 어댑터와 4Gbe hba가 연결 가능할까요? (6)	이천풍	2016-06	3979	0
10Gbe 어댑터와 4Gbe hba가 연결 가능할까… (6) 2016-06 3979 1 이천풍
54279	ECC unbuffered 램 이제 안나오나요? (5)	CAT5E	2021-01	2574	0
ECC unbuffered 램 이제 안나오나요? (5) 2021-01 2574 1 CAT5E
54278	컴덕은 보통 업그레이드가 끝나면 뭐에 관심을 가지나요? (16)	소이치로	04-01	1296	0
컴덕은 보통 업그레이드가 끝나면 뭐에 관… (16) 04-01 1296 1 소이치로
54277	Dell r730xd 우분투 서버 설치후 부팅화면이 블랙이네요 (2)	강한구	2021-01	2431	0
Dell r730xd 우분투 서버 설치후 부팅화면… (2) 2021-01 2431 1 강한구
54276	노트북에 27인치에 2560*1440해상도 지원하는 모니터를 연결하고 싶은데.... (4)	굴다리교	2011-07	12658	0
노트북에 27인치에 2560*1440해상도 지원… (4) 2011-07 12658 1 굴다리교
54275	SSD가 인식이 안됩니다 (7)	회원K	2016-06	4216	0
SSD가 인식이 안됩니다 (7) 2016-06 4216 1 회원K
54274	듀얼 또는 쿼드 랜카드 구입. (1)	권순규	2011-07	6496	0
듀얼 또는 쿼드 랜카드 구입. (1) 2011-07 6496 1 권순규
54273	급) 질문 키보드 자판입력오류 (3)	무쏘뿔처럼	04-05	1550	0
급) 질문 키보드 자판입력오류 (3) 04-05 1550 1 무쏘뿔처럼
54272	침대 저렴히 빨리 가져다 주는 업체나 메이커가 있나요? (7)	김건우	2017-05	3532	0
침대 저렴히 빨리 가져다 주는 업체나 메… (7) 2017-05 3532 1 김건우
54271	파티션이 2개인데 윈도우 설치할때 (3)	갈릭푸드	2015-05	3603	0
파티션이 2개인데 윈도우 설치할때 (3) 2015-05 3603 1 갈릭푸드