WordPress自从2.1版本开始，在Privacy选项里面允许用户设置是否被搜索引擎索引。但是它只有2个选项，一个是允许所有搜索引擎的机器人（Spider）索引所有内容，另外一个就是不允许。其实robots.txt的用法有很多（robots.txt带来的好处），最近看了一些文章说，在WordPress中阻止Spider爬行一些目录和文件，不但可以有效的节省搜索引擎对服务器带宽的占用，还可以提高网站在搜索引擎中的排名，这篇文章说，通过将comment feeds与Trackbacks排除在外，他的网站访问量上升了11.3%。
通过我的Google Analytics来看，访问这里的人有2/3的是新访者，而这些新访者中又有2/3来自于搜索引擎，所以对于搜索引擎的优化还是很重要的。综合了上面2个例子，我把自己的robots.txt内容设置如下：
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback/
意思就是：
允许所有的搜索引擎的机器人（Spider）访问本站，
但是不能爬行以wp-开头的文件和目录，
不能爬行/feed/、/comments/feed/和/trackback/目录。
修改后可以使用Google网站管理员工具 - 诊断 - robots.txt 分析 测试一下。
Subscribe to:
Post Comments (Atom)
Post a Comment