BO-blog的robots.txt的推荐写法 - IDC资讯网_站长学院 - Java PHP Flex Python Ajax CSS 编程 开源 学习 总结 分享
    在BO-blog里面,一篇日志可以有5种URL写法,还有TAGS页面,分类页面,都有几种URL样式,并且这几种样式都能正确的访问,如果这些重复的页面因为某些原因被搜索引擎收录的话,有可能会被搜索引擎认为是在作弊,降低网站的权重。所以,必须限制一下搜索引擎的收录内容,这通过修改robots.txt文件来实现

    我的boblog选择的是基于PHP的URL优化,那么我的URL的为 www.idceye.com/blog/read.php/220.htm和www.idceye.com/blog/free/mianfei.php,这样我们得防止www.idceye.com/blog/read.php?220这种URL样式的出现,因此得在robots.txt后面加上这一句:Disallow: /read.php?*   意思是不收录URL中带有read.php?的页面这样的话,就不会担心像www.idceye.com/blog/read.php?220这种不会被使用的URL被收录

   再就是分类页面。为了SEO,一般都给分类设置别名,URL样式为:http://www.idceye.com/blog/go.php/category/free-resources/,但是还有另一个URL地址可以访问,那就是http://www.idceye.com/blog/go.php/go.php/category/8/,这样的话,必须屏蔽这个地址,还是要用到robots.txt,在里面加入这一项Disallow: /go.php/category/8/,有多少个分类就写多少个

   最后就是如果没跟图片设置防盗链的话,最好是去掉Disallow: /attachment/这一项,让搜索引擎能收录你的图片。

robots.txt内容大致如下:

Disallow: /read.php?*
Disallow: /go.php/category/0/
Disallow: /go.php/category/1/
Disallow: /go.php/category/2/
Disallow: /go.php/category/3/
Disallow: /go.php/category/4/
Disallow: /go.php/category/5/
Disallow: /go.php/category/6/
Disallow: /go.php/category/7/
Disallow: /go.php/category/8/
Disallow: /go.php/category/9/
Disallow: /go.php/category/10/
编程语言 | 评论(0) | 引用(0) | 阅读(4016)