当前位置:首页 > 建站经验 > 网站SEO经验 > 正文内容

robots.txt蜘蛛收录规则文件常见方法

xmwl7个月前 (08-18)网站SEO经验176

robots.txt文件是搜索引擎收录规则文件,告诉搜索引擎哪些是不希望被收录的,可以定义为哪些目录允许搜索引擎抓取,哪些搜索引擎可以抓取,将以下代码根据需求另存为robots.txt存放到网站根目录中,即可生效。

禁止所有搜索引擎收录

User-agent: *

Disallow: /

禁止google爬虫

User-agent: Googlebot

Disallow: /

禁止百度爬虫

User-agent: Baiduspider

Disallow: /

禁止抓取后台目录

User-agent: *

Disallow: /admin/

Disallow: /user/

禁止收录所有动态页面

User-agent: *

Disallow: /*.asp  或 .php

禁止收录图片

User-agent: *

Disallow: .jpg$

Disallow: .png$

Disallow: .gif$

只允许收录html静态页面

User-agent: *

Allow: .html$

Disallow: /

以上规则可以根据实际需要组合使用。


版权声明:
本站资源和文章内容大部分收集于网络,
本站所有资源的版权均属于原作者所有,
本站资源只用于参考学习,请勿直接商用,
若由于商用引起版权纠纷,一切责任均由使用者承担。
若有侵权之处请联系站长我们会第一时间删除

本文由XM技术学习分享发布,如需转载请注明出处。

本文链接:http://xmwl.cc/seo/241.html

分享给朋友:

“robots.txt蜘蛛收录规则文件常见方法” 的相关文章