要正确设置网站robots.txt文件啊

2011年6月25日22:02:06 |发布: 乾元轩 |浏览:

刚心血来潮，在谷歌搜索框里输入site:www.imwen.com，然后翻到最后面看，却不想此刻我惊呆了，因为整页的搜索结果都是You are not login, Exiting...，这是搜索引擎没有登录网站后台（废话，搜索引擎都登录了网站后台，那还了得）被拒绝服务的信息。

我往前翻，郁闷了，好几页了，还是这个结果，一直翻了五页，才发现收录的正常网页。不过我立马就明白是我博客的robots.txt文件没有设置正确，让搜索引擎试图爬行了需要登录后台才能浏览的页面，这当然会导致访问出错，就如普通访客没有登录进不了后台一样。

这样的收录结果，对于网站来说，是不利的，别看现在谷歌收录了，对于我这个新站来说，还在沙盒里呢，记得卢同志有说过这个。我得重新调整一下robots.txt文件，才能让搜索引擎满意，一定程度上来说，间接对用户友好性会好点，因为搜索引擎索引越精确，搜索结果提供的内容质量也会比较好吧。总之尽量避免下面图中所示的这个情况出现了。

site搜索结果不友好信息，要调整robots.txt文件语法

至于robots.txt文件，百度一下，百度百科的答案就可以了。主要就是要建立一个robots.txt文件，叫做搜索引擎蜘蛛爬行许可文件吧。放在网站根目录下，robts.txt文件里基本语法是（括号内为注释内容）：

User-agent :  * （本句代码表示对哪些搜索引擎起作用，理论上*表示任何搜索引擎）
Disallow : / ADMIN / （Disallow表示不允许访问索引，例如本句的ADMIN文件夹）
Disallow : / DATA / （不爬行索引数据库文件夹及其里面的任何文件）
Disallow : / CSS / （不爬行索引样式文件夹及其里面的任何文件）
Disallow : / FUJIAN / IMAGE / （不爬行附件下的图片文件夹及其里面的任何文件）

总之，按照搜索引擎的游戏规则，作为网站一定要置放robots.txt文件，如果不清楚该怎么弄robots.txt里面的句法语法，那就什么都不填，就一个空的robots.txt，对搜索引擎而言，也是起作用的。

上面介绍的内容，我也是略有了解，有什么不对的地方，还请来此关照我的高人们尽情指点！

赏 支付宝打赏 微信打赏

新浪微博微信复制网址打印分享吧：

标签：zblog  网站优化  网站建设  seo  

« 上一篇下一篇 »

  • 评论:(17 )

已有 17 位网友发表了一针见血的评论,你还等什么？
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。

  • 17楼 雷小虎 回复该留言
    Post:2011-7-14 14:14:07
    robots搞错，后果真严重啊
  • 16楼 标语大全 回复该留言
    Post:2011-6-30 16:04:55
    嗯，这个文件要特别注意。不会写就干脆啥都不写还好。
  • 15楼 海外网站推广 回复该留言
    Post:2011-6-27 18:14:38
    学习了....
  • 14楼 先看看 回复该留言
    Post:2011-6-27 15:27:52
    这个我的好像还没有弄好啊
  • 楼 乾元轩 回复该留言
    Post:2011-6-27 16:53:11
    那就要弄一弄咯，呵呵
  • 13楼 长沙新娘跟妆 回复该留言
    Post:2011-6-27 14:55:37
    路过，自然要顶一下！
  • 12楼 鲜果 回复该留言
    Post:2011-6-27 10:52:16
    我感觉我的现在就写错了....
  • 11楼 心情阳光 回复该留言
    Post:2011-6-27 10:30:25
    一直没去弄过这个文件，wordpress默认配置没有吗？额，我得弄弄了！
  • 楼 vfeng 回复该留言
    Post:2011-6-27 10:32:28
    这个，要自己新建的
  • 10楼 oralce学习 回复该留言
    Post:2011-6-27 10:29:04
    这个文件和404都得设置好哦！
  • 楼 vfeng 回复该留言
    Post:2011-6-27 10:32:03
    是啊，少不了
  • 9楼 加盟 回复该留言
    Post:2011-6-27 10:26:35
    做这一行就是要坚持，就是老板不理解，做的挺郁闷！
  • 8楼 肖俊 回复该留言
    Post:2011-6-27 9:18:21
    不管是否考虑SEO因素，该禁止显示在搜索引擎里的还是要禁止。
  • 楼 vfeng 回复该留言
    Post:2011-6-27 9:32:34
    对的，出于安全性、速度性等种种因素，是不是[F]Shame[/F]
  • 7楼 混小子 回复该留言
    Post:2011-6-27 9:15:00
    你怕人家社工你 哈哈
  • 楼 vfeng 回复该留言
    Post:2011-6-27 9:31:57
    被你看穿了[F]Hehe[/F]
  • 6楼 加盟 回复该留言
    Post:2011-6-27 9:09:18
    俺们公司的网站也应该还在沙盒里呀！鸭梨很大！
  • 楼 vfeng 回复该留言
    Post:2011-6-27 9:31:38
    此种情况要坚持做好自己，呵呵。百度已经收录，虽然少，但至少有收录，呵呵
  • 5楼 网站优化 回复该留言
    Post:2011-6-26 15:29:49
    这个是一定要处理好的！
  • 楼 vfeng 回复该留言
    Post:2011-6-27 8:40:12
    对啊，不然就可能会吃亏
  • 4楼 太子虹 回复该留言
    Post:2011-6-26 15:00:47
    真不错,呵呵
  • 3楼 山野愚人 回复该留言
    Post:2011-6-26 14:21:07
    这个早就注意了哈
  • 楼 vfeng 回复该留言
    Post:2011-6-27 8:39:47
    有经验的人就会注意[F]Haha[/F]
  • 2楼 创业博客 回复该留言
    Post:2011-6-26 13:44:13
    这个很关键，啥时连你机密都被GG收录了！！
  • 楼 vfeng 回复该留言
    Post:2011-6-27 8:39:26
    [F]Cry[/F]某些文件夹忘记了放入disallow
  • 1楼 昭通SEO 回复该留言
    Post:2011-6-26 12:50:19
    还是要做robots.txt文件的，这样可以让机器人访问你的网站需要抓取的地方，提高速度
  • 楼 vfeng 回复该留言
    Post:2011-6-27 8:38:35
    是啊，这个文件必须的

最近发表

重要信息