Z-Blog博客创建设计robots.txt文件

Z-Blog博客创建设计robots.txt文件

robots.txt文件,robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。相信大部分站长都知道其作用,通过它可以让搜索引擎蜘蛛不抓取网站的部分目录或文件。需要提醒的是,网站的目录或文件并不是被抓取得越多越好。使用z-blog博客的博主很多忽略或者不知道怎么写robots文件,于是把自己使用的robots文件放出来供各博主参考下。如果你不知道怎么写,可以创建一个空白的纯文本文件robots.txt放在根目录下。