무아게시판을 운영중인 웹사이트에 트래픽 초과문제가 생기는데 트래픽 유발하는 놈을 보니
bc.googleusercontent.com 라는데서 크롤링 하듯이 긁어가네요.
| # | Hits | Files | KBytes | Visits | Hostname | ||||
|---|---|---|---|---|---|---|---|---|---|
| Top 30 of 15132 Total Sites By KBytes | |||||||||
| 1 | 16236 | 1.34% | 14784 | 1.73% | 9906743 | 33.59% | 14 | 0.02% | 240.23.226.35.bc.googleusercontent.com |
| 2 | 196586 | 16.21% | 154265 | 18.06% | 3654287 | 12.39% | 179 | 0.30% | 121.161.216.250 |
| 3 | 124471 | 10.26% | 102507 | 12.00% | 2344586 | 7.95% | 246 | 0.42% | 218.50.99.55 |
| 4 | 106773 | 8.80% | 87682 | 10.27% | 1999205 | 6.78% | 172 | 0.29% | 121.157.113.126 |
| 5 | 49833 | 4.11% | 39254 | 4.60% | 934775 | 3.17% | 80 | 0.14% | 220.126.244.47 |
| 6 | 5375 | 0.44% | 5294 | 0.62% | 427726 | 1.45% | 41 | 0.07% | 87.221.225.35.bc.googleusercontent.com |
robots.txt 에서 저기를 막고 싶은데 어떻게 해주면 될까요?
현재 설정은
User-Agent : *
Disallow : /
으로 되어있습니다.
혹.. 대소문자와 띄워쓰기 문제인가요? 인터넷에 보면
User-agent: *
Disallow: /
면 된다고 되어있는데 저랑 다른 부분은 대소문자와 띄워쓰기가 다르네요
...
진짜 구글이라면 문법이 틀리신거같아요
인터넷걸로 바궈보세요