Z-Blog博客创建设计robots.txt文件

robots.txt文件，robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。相信大部分站长都知道其作用，通过它可以让搜索引擎蜘蛛不抓取网站的部分目录或文件。需要提醒的是，网站的目录或文件并不是被抓取得越多越好。使用z-blog博客的博主很多忽略或者不知道怎么写robots文件，于是把自己使用的robots文件放出来供各博主参考下。如果你不知道怎么写，可以创建一个空白的纯文本文件robots.txt放在根目录下（本站就是）。

以下是我的一个ZB博客使用的robots.txt文件：

#robots.txt for huhen.com
#User-agent: *
Disallow: /FUNCTION/
Disallow: /CACHE/
Disallow: /XML-RPC/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /CSS/
Disallow: /LANGUAGE/
Disallow: /DATA/
Disallow: /THEMES/
Disallow: /INCLUDE/
Disallow: /cmd.asp
Disallow: /c_option.asp
Disallow: /c_custom.asp
Allow: /
Allow: /sitemap.xml
Sitemap: https://huhen.com/sitemap.xml