robots.txt 와 meta 테그를 사용한 봇 접근 제한

BMT more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7654 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3863/5729

번호	제목Page 3863/5729	글쓴이	날짜	조회	추천
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (234)	백메가	2015-12	1790221	25
(광고) 단통법 시대의 인터넷가입 가이드(… (234) 2015-12 1790221 1 백메가
	[필독] 처음 오시는 분을 위한 안내 (737)	정은준1	2014-05	5265235	0
[필독] 처음 오시는 분을 위한 안내 (737) 2014-05 5265235 1 정은준1
37339	iodd 말인대요 (7)	방o효o문	2012-03	8373	0
iodd 말인대요 (7) 2012-03 8373 1 방o효o문
37338	HP Z220 SSF 사용중입니다. 그런데... (14)	epage	2020-01	4878	0
HP Z220 SSF 사용중입니다. 그런데... (14) 2020-01 4878 1 epage
37337	2cpu알림질문 (1)	AplPEC	2017-09	3435	0
2cpu알림질문 (1) 2017-09 3435 1 AplPEC
37336	Windows 10 WSL2 에서 MAC Address 고정 방법? (2)	엠브리오	2024-09	1050	0
Windows 10 WSL2 에서 MAC Address 고정 … (2) 2024-09 1050 1 엠브리오
37335	100기가 텍스트파일을 어떻게 하면 분할할수 있을까요? (8)	김훈1	2016-08	5394	0
100기가 텍스트파일을 어떻게 하면 분할할… (8) 2016-08 5394 1 김훈1
37334	VM 웨어 사용과 디스크 속도의 상관 관계 문의 (3)	땅부자	2018-12	2616	0
VM 웨어 사용과 디스크 속도의 상관 관계… (3) 2018-12 2616 1 땅부자
37333	윈도우 설치 완료된 버젼 배포 (10)	MikroTik이진	2017-09	4325	0
윈도우 설치 완료된 버젼 배포 (10) 2017-09 4325 1 MikroTik이진
37332	lg v20 용 배터리... 용량좀더 큰건 없을까요? (6)	김건우	2018-12	3903	0
lg v20 용 배터리... 용량좀더 큰건 없을… (6) 2018-12 3903 1 김건우
37331	계산기 어플중에 상수를 지정할수 있는게 있을까요? (2)	병맛폰	2017-09	3747	0
계산기 어플중에 상수를 지정할수 있는게 … (2) 2017-09 3747 1 병맛폰
37330	허브 문의드립니다. (35)	이희주	2018-12	3849	0
허브 문의드립니다. (35) 2018-12 3849 1 이희주
37329	비쥬얼베이직 무료로 다운로드 받을 수 있는 곳 있나요? (6)	차평석	2015-08	4515	0
비쥬얼베이직 무료로 다운로드 받을 수 있… (6) 2015-08 4515 1 차평석
37328	병원에서 왜? 블로그 서로이웃 신청을 할까요? (4)	정은준1	2016-09	5039	0
병원에서 왜? 블로그 서로이웃 신청을 할… (4) 2016-09 5039 1 정은준1
37327	z420에 내장 레이드 기능이 있나요? (6)	냥냥맨	2021-06	3781	0
z420에 내장 레이드 기능이 있나요? (6) 2021-06 3781 1 냥냥맨
37326	중고 3테라 하드가 700G로만 인식됩니다. (5)	김훈1	2015-08	6186	0
중고 3테라 하드가 700G로만 인식됩니다. (5) 2015-08 6186 1 김훈1
37325	asus p8b-x 보드 설치 관련 문의좀 드립니다! (2)	강삿갓	2018-12	3866	0
asus p8b-x 보드 설치 관련 문의좀 드립니… (2) 2018-12 3866 1 강삿갓
37324	U.2 SSD 인식 문제 질문드립니다.(Diskpart 미디어 없음) (8)	Carolus	2021-06	5332	0
U.2 SSD 인식 문제 질문드립니다.(Diskpar… (8) 2021-06 5332 1 Carolus
37323	micro 5 pin USB 케이블 접촉 불량... (16)	NeOpLE	2018-12	6585	0
micro 5 pin USB 케이블 접촉 불량... (16) 2018-12 6585 1 NeOpLE
37322	앞이빨 파절치료 문의드립니다. (13)	Frinc	2024-10	1277	0
앞이빨 파절치료 문의드립니다. (13) 2024-10 1277 1 Frinc
37321	z420 부팅이 되지 않습니다. 도움 부탁드립니다. (4)	혼자가는길	2020-02	3000	0
z420 부팅이 되지 않습니다. 도움 부탁드… (4) 2020-02 3000 1 혼자가는길
37320	7910 문제점 여러가지 질문좀 드립니다 (13)	가빠로구나	2017-09	4087	0
7910 문제점 여러가지 질문좀 드립니다 (13) 2017-09 4087 1 가빠로구나