首页 > 上海日记 > [教程]WordPress配置友好robots
2013
03-27

[教程]WordPress配置友好robots

  WordPress 不但可以让用户在后台的“隐私设置”配置网站是否被搜索引擎收录,还可以编辑 robots 文件来限制网站上 Spider 爬行一些目录和文件,将 comment feeds 与 Trackbacks 排除在外,不但可以有效的节省搜索引擎对服务器带宽的占用,还可以提高网站在搜索引擎中的排名,提升网站访问量。

  什么是 robots.txt?
  robots.txt(统一小写)是一种存放于网站根目录下的 ASCII 编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。

  修改 WordPress 网站的 robots 文件,有以下益处:
  1.禁止 google 抓取博客的重复内容
  2.提升搜索引擎蜘蛛抓取博客网页链接的效率以提高索引页面
  3.提升博客权重
  4.robots.txt 作用是禁止google robots 抓取一些网站上的目录和内容

  北街博客的 robots.txt 内容设置如下:

# robots.txt for beijie
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /comments/
Disallow: /wap/
Disallow: /page/
Sitemap: http://www.ibeijie.cn/sitemap.xml
Sitemap: http://www.ibeijie.cn/sitemap_baidu.xml

  这个robots文件的大概意思:允许所有的搜索引擎的 Spider 访问本站,但是不能爬行以“wp-”开头的文件和目录,不能爬行 /feed/、/comments/feed/、/trackback/ 和 /page/ 等目录。

  修改完成以后可以使用 Robots.txt Checker 检测一下 robots.txt 是否符合规范。

最后编辑:
作者:北街
身高八尺,腰围也是八尺!
捐 赠如果您觉得这篇文章有用处,请支持作者!鼓励作者写出更好更多的文章!

[教程]WordPress配置友好robots》有 15 条评论

  1. 北街 说:

    请你帮忙看看我网站上的几个问题……

  2. 这些经验不错,学习了

  3. 北街 说:

    貌似你的站,已经不在呀?~

  4. 北街 说:

    我觉得有可能会有重复信息吧~

  5. 松糕鞋 说:

    应该这样做,有总比没有强啊

  6. 北街兄弟!支持!
    怎样子收录会更有效呢。

  7. Pingback 引用通告: 对wordpress进行优化:建立robots.txt,对搜索引擎更加友好!(seo的一部份) @ Feng's blog

  8. seo博客 说:

    翔子来看你了 北街兄弟~

  9. 吴熠 说:

    我的前几天已搞好了。呵呵!

  10. Louis Han 说:

    我的收录不正常 就是因为收录了我大量的tag页面
    我得把tag disallow

  11. 北街 说:

    @卢松松 得请你帮忙看看我网站上的几个问题……

  12. 卢松松 说:

    robots.txt我也应该好好设置一下了

  13. 小问 说:

    谢谢提供,参考了一下。

  14. hurri 说:

    为什么feed也不让爬呢?

留下一个回复

你的email不会被公开。

This site uses Akismet to reduce spam. Learn how your comment data is processed.