在BO-blog里面，一篇日志可以有5种URL写法，还有TAGS页面，分类页面，都有几种URL样式，并且这几种样式都能正确的访问，如果这些重复的页面因为某些原因被搜索引擎收录的话，有可能会被搜索引擎认为是在作弊，降低网站的权重。所以，必须限制一下搜索引擎的收录内容，这通过修改robots.txt文件来实现

    我的boblog选择的是基于PHP的URL优化，那么我的URL的为 www.idceye.com/blog/read.php/220.htm和www.idceye.com/blog/free/mianfei.php，这样我们得防止www.idceye.com/blog/read.php?220这种URL样式的出现，因此得在robots.txt后面加上这一句：Disallow: /read.php?*   意思是不收录URL中带有read.php?的页面这样的话，就不会担心像www.idceye.com/blog/read.php?220这种不会被使用的URL被收录