首页 > 技术文档 > WordPress > [教程]WordPress配置友好robots
2013
03-27

[教程]WordPress配置友好robots

  WordPress 不但可以让用户在后台的“隐私设置”配置网站是否被搜索引擎收录,还可以编辑 robots 文件来限制网站上 Spider 爬行一些目录和文件,将 comment feeds 与 Trackbacks 排除在外,不但可以有效的节省搜索引擎对服务器带宽的占用,还可以提高网站在搜索引擎中的排名,提升网站访问量。

  什么是 robots.txt?
  robots.txt(统一小写)是一种存放于网站根目录下的 ASCII 编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。

  修改 WordPress 网站的 robots 文件,有以下益处:
  1.禁止 google 抓取博客的重复内容
  2.提升搜索引擎蜘蛛抓取博客网页链接的效率以提高索引页面
  3.提升博客权重
  4.robots.txt 作用是禁止google robots 抓取一些网站上的目录和内容

  北街博客的 robots.txt 内容设置如下:

# robots.txt for beijie
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /comments/
Disallow: /wap/
Disallow: /page/
Sitemap: http://www.ibeijie.cn/sitemap.xml
Sitemap: http://www.ibeijie.cn/sitemap_baidu.xml

  这个robots文件的大概意思:允许所有的搜索引擎的 Spider 访问本站,但是不能爬行以“wp-”开头的文件和目录,不能爬行 /feed/、/comments/feed/、/trackback/ 和 /page/ 等目录。

  修改完成以后可以使用 Robots.txt Checker 检测一下 robots.txt 是否符合规范。

最后编辑:
作者:北街
身高八尺,腰围也是八尺!

  1. 我的收录不正常 就是因为收录了我大量的tag页面
    我得把tag disallow

  2. Pingback: 对wordpress进行优化:建立robots.txt,对搜索引擎更加友好!(seo的一部份) @ Feng's blog