SQL吧 网站源码下载 企业网站源码下载 免费网站源码下载

当前位置: 主页 > 站长 > SEO优化 > seo入门 >

展现最优质内容 正确配置Robots文件

时间:2013-05-10 10:21来源:网络整理 作者:SQL吧 点击:
展现最优质内容 正确配置Robots文件
企业站建365全包!先制作!后付款!600多套模版任你选择!晴网www.138.la专注企业站建仿站、域名、空间、云主机、服务器, 咨询电话:020-29031983 qq:2769485357

  一个网站要建立好良好的形象,必定要“扬长避短”。通过robots.txt来限制蜘蛛的爬行页面,不让蜘蛛爬行质量比力低劣的网页。

  Google,雅虎,微软就合作共同遵守统一的Sitemaps尺度,又公布,共同遵守的robots.txt文件尺度。Google,雅虎,微软各自在本身的官方博客上发了一篇帖子,宣布三家都支持的robots.txt文件及Meta标签的尺度,以及一些各自特有的尺度。下面做一个总结。

  三家都支持的robots文件记录包罗:

  Disallow - 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件:

  User-agent: *

  Disallow: /

  Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用,可以告诉蜘蛛某个目录下,大部分都不抓取,只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件,而只抓取其中cd下的文件:

  User-agent: *

  Disallow: /ab/

  Allow: /ab/cd

  $通配符 - 匹配URL结尾的字符。如下面代码将答允蜘蛛访问以.htm为后缀的URL:

  User-agent: *

  Allow: .htm$

  *通配符 - 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件:

  User-agent: *

  Disallow: /*.htm

  Sitemaps位置 - 告诉蜘蛛你的网站地图在哪里,格式为:

  Sitemap: (责任编辑:编辑部)

顶一下
(0)
0%
踩一下
(0)
0%
0
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
栏目列表
推荐内容