robots.txt 와 meta 테그를 사용한 봇 접근 제한

QnA more

쓰기

robots.txt 와 meta 테그를 사용한 봇 접근 제한

무아

2011-06

2011-06-02 20:18:11

조회 7470 추천 0

웹 루트 폴더에 robots.txt 를 두고 모든 검색 봇이 검색 못하게 설정해두면 봇 규정상 검색않고 나가야 되는거죠?

User-agent: *

Allow: /

이렇게 해뒀는데

트래픽이 이상하게 많아서 봤더니

robots.txt 적용한게 올해 3월 중순인데

NHN 에서 트래픽을 유발하던 건 3월 이후 사라졌는데

구글에서는 계속 트래픽을 만드네요. 왜그런거죠?

...

짧은글 일수록 신중하게.



정희섭 2011-06 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다 Disallow 로 하셔야죠 ^^; 지금 설정은 말그대로 제발좀 긁어가세요 세팅입니다



박동권 2011-06 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요???? 헉.... 그렇네요. 그런데.. NHN은 저걸보고 안들어온건... 미리 쫄아버린 걸까요????

로그인 하시면 댓글을 남길 수 있습니다

쓰기

QnA

쓰기

3814/5680

번호	제목Page 3814/5680	글쓴이	날짜	조회	추천
	[필독] 처음 오시는 분을 위한 안내 (726)	정은준1	2014-05	4946644	0
[필독] 처음 오시는 분을 위한 안내 (726) 2014-05 4946644 1 정은준1
	(광고) 단통법 시대의 인터넷가입 가이드(ver2.0) (228)	백메가	2015-12	1483298	25
(광고) 단통법 시대의 인터넷가입 가이드(… (228) 2015-12 1483298 1 백메가
37333	구형 컴퓨터, OS 드라이버는 어떻게 설치해야되나요? (6)	편한세상	2016-04	4040	0
구형 컴퓨터, OS 드라이버는 어떻게 설치… (6) 2016-04 4040 1 편한세상
37332	리볼링 일반 열풍기로는 어려울까요? (5)	김제l김용환	2020-11	3363	0
리볼링 일반 열풍기로는 어려울까요? (5) 2020-11 3363 1 김제l김용환
37331	누드 SSD 활용법 문의드려 봅니다. (14)	파피푸페	2022-05	2121	0
누드 SSD 활용법 문의드려 봅니다. (14) 2022-05 2121 1 파피푸페
37330	만물상에서.. 팔겠죠? (5)	마네	2011-02	7917	0
만물상에서.. 팔겠죠? (5) 2011-02 7917 1 마네
37329	일반적인 용도에서 메모리속도가 체감차이가 있을까요? (6)	악땅	2013-10	6846	0
일반적인 용도에서 메모리속도가 체감차이… (6) 2013-10 6846 1 악땅
37328	NVS310 공동구매 벌크 LP브라켓 없으면 gen8에 장착못하죠? (6)	유재명	2013-10	20113	0
NVS310 공동구매 벌크 LP브라켓 없으면 ge… (6) 2013-10 20113 1 유재명
37327	마소 무선레이저마우스를 구입했는데...수평?이 안맞아요.^^ (2)	정병곤	2011-02	7804	0
마소 무선레이저마우스를 구입했는데...수… (2) 2011-02 7804 1 정병곤
37326	홈서버 구축하고 있습니다. 공유기 사양을 올려야 할까요? (13)	나몰라1	2015-02	5178	0
홈서버 구축하고 있습니다. 공유기 사양을… (13) 2015-02 5178 1 나몰라1
37325	ESXI 가상화 V2V 해보신분 계신가요?? (3)	멜랑꼴링	2019-08	3203	0
ESXI 가상화 V2V 해보신분 계신가요?? (3) 2019-08 3203 1 멜랑꼴링
37324	회사의 파일서버(백업서버) 구축할려고 합니다. (11)	호랑이곰	2011-03	21221	0
회사의 파일서버(백업서버) 구축할려고 합… (11) 2011-03 21221 1 호랑이곰
37323	FPGA 프로토타이핑 솔루션 많이 비쌀까요? (1)	윈도우10	2015-03	2843	0
FPGA 프로토타이핑 솔루션 많이 비쌀까요? (1) 2015-03 2843 1 윈도우10
37322	화물 1톤 LPI 차 있네요. (1)	한덩어리	2018-07	3860	0
화물 1톤 LPI 차 있네요. (1) 2018-07 3860 1 한덩어리
37321	제온 성능저하 (7)	Sunrise	2019-09	3042	0
제온 성능저하 (7) 2019-09 3042 1 Sunrise
37320	솔리게이트 0-3번 포트 인식안됨 (4)	회원K	2013-11	5335	0
솔리게이트 0-3번 포트 인식안됨 (4) 2013-11 5335 1 회원K
37319	Dell 워런티 이전했는데...NBD가 없어졌어요. (6)	아스란	2016-05	6265	0
Dell 워런티 이전했는데...NBD가 없어졌어… (6) 2016-05 6265 1 아스란
37318	microserver gen8 하드 온도 확인 방법 문의드립니다. (4)	컴맹주니	2017-04	3544	0
microserver gen8 하드 온도 확인 방법 문… (4) 2017-04 3544 1 컴맹주니
37317	dl20 gen10(s100i) centos 설치	Dominozlol	2020-12	2549	0
dl20 gen10(s100i) centos 설치 2020-12 2549 1 Dominozlol
37316	서버 구성 관련해서 질문드립니다 (16)	똘이라요	2022-06	1641	0
서버 구성 관련해서 질문드립니다 (16) 2022-06 1641 1 똘이라요
37315	SMART START 프로그램이 무엇 인지요? (10)	두cpu	2017-04	3406	0
SMART START 프로그램이 무엇 인지요? (10) 2017-04 3406 1 두cpu
37314	8배속 PCI-E 그래픽 카드는 어느것이 있는지요? (17)	왕용필	2011-04	12225	0
8배속 PCI-E 그래픽 카드는 어느것이 있는… (17) 2011-04 12225 1 왕용필