Z-Blog博客创建设计robots.txt文件

Z-Blog博客创建设计robots.txt文件

😂 这篇文章最后更新于3434天前,您需要注意相关的内容是否还可用。

robots.txt文件,robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。相信大部分站长都知道其作用,通过它可以让搜索引擎蜘蛛不抓取网站的部分目录或文件。需要提醒的是,网站的目录或文件并不是被抓取得越多越好。使用z-blog博客的博主很多忽略或者不知道怎么写robots文件,于是把自己使用的robots文件放出来供各博主参考下。如果你不知道怎么写,可以创建一个空白的纯文本文件robots.txt放在根目录下(本站就是)。

 

以下是我的一个ZB博客使用的robots.txt文件:

#robots.txt for huhen.com
#User-agent: *
Disallow: /FUNCTION/
Disallow: /CACHE/
Disallow: /XML-RPC/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /CSS/
Disallow: /LANGUAGE/
Disallow: /DATA/
Disallow: /THEMES/
Disallow: /INCLUDE/
Disallow: /cmd.asp
Disallow: /c_option.asp
Disallow: /c_custom.asp
Allow: /
Allow: /sitemap.xml
Sitemap: https://huhen.com/sitemap.xml