如题所述
没有用 还是不行...
你可以登录FTP上你的网站,看看网站根目录下是否有这个文件,或者直接在你网站域名的后面加robots.txt访问看看,如http//你的域名地址/robots.txt 如果有这个文件,就会显示出一个列表出来,里面显示的就是允许蜘蛛访问抓去的目录敏感的目录最好都设置访问权限,让匿名用户无法访问,把敏感目录如网站后台目录、数据库备份目录都从robots.txt里删掉,不让蜘蛛抓取