拓云科技一站式互联网+优质服务供应商!专注网站建设服务十年!
联系方式        
咨询电话:13452107902    
SEO NEWS
当前位置:首页 >> 官方动态 >> 推广学院

分享一下新手Robots.txt文件规范写法

作者 :拓云科技时间 :2018-09-26点击 :

下面我分享一下自己博客的Robots文件,并简单的说一下作用。

User-agent: *

Disallow: /comments/feed/

Disallow: /*/trackback

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /*?replytocom=

Disallow: /*/comment-page-*

Disallow: /?r=*

Disallow: /?p=*

Disallow: /page/

Allow: /wp-content/uploads/

Sitemap: http://***.me/sitemap.xml

Sitemap: http://***.me/sitemap_baidu.xml

上面的User-agent:*意思就是对所有的蜘蛛进行规则,Disallow想必大家英文稍微会一点的都懂。比如Disallow: /page/意思就是不要抓取/page下面的网页,以免造成降权。

晚上见有童鞋将Disallow: /*?replytocom=和Disallow: /*/comment-page-*类似的写成Disallow: *?replytocom=以及Disallow:*/comment-page-*特意说明一下,在百度官方的说明中,Disallow的地址必须以/这个斜杠开头,不加这个虽然可以但是不符合标准。


联系电话:13452107902

拓云CMS2.0建站系统 为SEO而生!我要建站 And 我要推广

  1. 版权所有:重庆拓云科技有限公司 - { 技精于专,做于细;业成于勤,守于挚 }

Copyright 2000-2018,www.cqty.net,All rights reserved