robots.txt 를 사용한 봇 접근 막기에서

무아   
   조회 3719   추천 0    

 게시판을 운영중인 웹사이트에 트래픽 초과문제가 생기는데 트래픽 유발하는 놈을 보니

bc.googleusercontent.com 라는데서 크롤링 하듯이 긁어가네요.


#HitsFilesKBytesVisitsHostname

Top 30 of 15132 Total Sites By KBytes
1162361.34%147841.73%990674333.59%140.02%240.23.226.35.bc.googleusercontent.com
219658616.21%15426518.06%365428712.39%1790.30%121.161.216.250
312447110.26%10250712.00%23445867.95%2460.42%218.50.99.55
41067738.80%8768210.27%19992056.78%1720.29%121.157.113.126
5498334.11%392544.60%9347753.17%800.14%220.126.244.47
653750.44%52940.62%4277261.45%410.07%87.221.225.35.bc.googleusercontent.com



robots.txt 에서 저기를 막고 싶은데 어떻게 해주면 될까요?

현재 설정은

User-Agent : *
Disallow : /

으로 되어있습니다.


혹.. 대소문자와 띄워쓰기 문제인가요? 인터넷에 보면

User-agent: *
Disallow: /

면 된다고 되어있는데 저랑 다른 부분은 대소문자와 띄워쓰기가 다르네요

...
짧은글 일수록 신중하게.
조용원 2018-03
봇설정 무시하고도 퍼갑니다.

진짜 구글이라면 문법이 틀리신거같아요

인터넷걸로 바궈보세요


QnA
제목Page 1716/5735
2015-12   1802425   백메가
2014-05   5277670   정은준1
2010-08   10955  
2013-07   6031   장동건2014
2014-12   3779   테돌아이
2022-02   3490   meviesta
2022-03   2099   짱짱맨
2016-03   5243   강물처럼
2017-02   5398   김현린
2017-02   3899   나파이강승훈
2018-05   7093   블루모션
2015-01   4386   병맛폰
2016-03   4067   신은왜
2022-03   1828   화란
2010-10   28708   삽질매니아
2010-10   6025   김건우
2016-03   7506   김건우
2023-11   8187   강삿갓
2015-01   4785   지니보이
2022-03   1863   악엔젤
2018-05   4237   캡틴아메리카노
2022-03   6226   HEUo김용민