一、概念解读 robots.txt 文件是搜索引擎蜘蛛来到网站之后访问的第一文件，它用于指令搜索引擎蜘蛛禁止抓取网站某些内容或指定允许抓取某些内容。 二、写法解读 （1）robots.txt 文件必须放置在网站根目录下。…