안녕하세요 2CPU 회원여러분, 잘 지내시죠?
지인의 웹사이트가 구글에 등록이 되어있지 않다고하여 구글의 웹마스터 도구를 통하여 크롤링 상태를
체크해 보니 상기와 같은 문제점이 발견되었습니다.
확인해 보니
연결할 수 없는 URL > robots.txt를 찾을 수 없습니다.
라는 식의 오류인데요 굳이 웹사이트에 차단할 필요가 없는 컨텐츠에 robots.txt 파일을 만들어서 올릴
필요가 있을까 하는 생각이 들더라구요,
제가 아는한 robots.txt 는 봇이 사이트의 내용중 일부컨텐츠들을 검색하지 못하도록 설정하는 기능을 하는것으로 알고있는데 굳이 구글에서 크롤링을 하면서 사이트내에 robots.txt 파일을 찾지 못한다는 오류때문에 사이트가 크롤링이 안된다는게 이해가 안됩니다.
그러면 사이트를 만들고나서 필히 robots.txt 파일을 업로드 해야하는건지요?
이런 문제는 어떻게 해결을 해야하는지 알려주시면 감사하겠습니다.
