手机
当前位置:查字典教程网 >建站 >网站优化 >SEO教程 robots.txt文件常见用途
SEO教程 robots.txt文件常见用途
摘要:本文将为你介绍最常用的四种robots.txt文件格式。1.允许所有的搜索引擎访问网站的任何部分User-agent:*Disallow:(...

本文将为你介绍最常用的四种robots.txt文件格式。

1. 允许所有的搜索引擎访问网站的任何部分

User-agent: *

Disallow:

(或者也可以建一个空文件 "/robots.txt")

2. 禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

3. 禁止所有搜索引擎访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

4. 禁止网站上的程序文件被搜索引擎蜘蛛索引,这样可以节省服务器资源。

一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

User-agent: *

Disallow: /admin/ 后台管理文件

Disallow: /require/ 程序文件

Disallow: /attachment/ 附件

Disallow: /images/ 图片

Disallow: /data/ 数据库文件

Disallow: /template/ 模板文件

Disallow: /css/ 样式表文件

Disallow: /lang/ 编码文件

Disallow: /script/ 脚本文件

注:每个网站的文件夹名字可能会不一样

【SEO教程 robots.txt文件常见用途】相关文章:

新手SEO最常见的八个问题小结

SEO教程 网站地址URL规范化技巧

网站优化之网站内容伪原创方法集锦

搜索引擎喜欢UTF-8编码robots.txt

SEO Globalsources应用锚文本和关键字

利用黄色网站的标题做流量-

SEO 常见的作弊手法总结

学习seo的注意事项

SEO 百度的中文分词匹配技术

搜索引擎一定喜欢原创吗?站长做SEO原创的正确方法和流程

精品推荐
分类导航