当前位置:河北网站建设 > SEO优化 > SEO技术 > robots.txt文件写法

robots.txt文件写法

发表日期:2018-07-19

robots.txt文件写法

  有些页面是我们不想让蜘蛛爬行收录的,有的时候一单收录会对我们网站的安全性有一定的隐患比如说收录到我们后台的地址,我们合理的利用robots可以很好地控制蜘蛛,告诉他哪个可以收录哪个不可以这样能够很快的集中权重,当然配合好Nofollow标签(不传递权重)可以更让我们游刃有余!
 
  百度百科对于Robots协议的解释:(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(RobotsExclusionProtocol),网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
 
  robots.txt语句:
 
  User-agent:*这里的*代表的所有的搜索引擎种类,*是一个通配符
 
  Disallow:/admin/这里定义是禁止爬寻admin目录下面的目录
 
  Disallow:/require/这里定义是禁止爬寻require目录下面的目录
 
  Disallow:/ABC/这里定义是禁止爬寻ABC目录下面的目录
 
  Disallow:/cgi-bin/*.htm禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
 
  Disallow:/*?*禁止访问网站中所有包含问号(?)的网址
 
  Disallow:/.jpg$禁止抓取网页所有的.jpg格式的图片
 
  Disallow:/ab/adc.html禁止爬取ab文件夹下面的adc.html文件。
 
  Allow:/cgi-bin/这里定义是允许爬寻cgi-bin目录下面的目录
 
  Allow:/tmp这里定义是允许爬寻tmp的整个目录
 
  Allow:.htm$仅允许访问以".htm"为后缀的URL。
 
  Allow:.gif$允许抓取网页和gif格式图片
 
  Sitemap:网站地图告诉爬虫这个页面是网站地图
 
  robots.txt写法举例:
 
  1、禁止所有搜索引擎访问网站的所有部分
 
  User-agent:*
 
  Disallow:/
 
  2、禁止百度索引你的网站
 
  User-agent:Baiduspider
 
  Disallow:/
 
  3、禁止Google索引你的网站
 
  User-agent:Googlebot
 
  Disallow:/
 
  4、禁止除Google外的一切搜索引擎索引你的网站
 
  User-agent:Googlebot
 
  Disallow:
 
  User-agent:*
 
  Disallow:/
 
  5、禁止除百度外的一切搜索引擎索引你的网站
 
  User-agent:Baiduspider
 
  Disallow:
 
  User-agent:*
 
  Disallow:/
 
  6、禁止蜘蛛访问某个目录
 
  (例如禁止admincssimages被索引)
 
  User-agent:*
 
  Disallow:/css/
 
  Disallow:/admin/
 
  Disallow:/images/
 
  7、允许访问某个目录中的某些特定网址
 
  User-agent:*
 
  Allow:/css/my
 
  Allow:/admin/html
 
  Allow:/images/index
 
  Disallow:/css/
 
  Disallow:/admin/
 
  Disallow:/images/
 
  在书写写这些语句的时候尤其注意的一点是冒号(:)和(/)之间要有一个空格符,如果这个空格没有加的话,是不能起到作用的,robots.txt文件一般放在网站的根目录下,而且命名必须是robots.txt。rbotts.txt文件
 
  在屏蔽目录的时候,注意,这里如果是阻止抓取某目录的话目录名字一定要注意“/”,不带“/”表示的是阻止访问这个目录页面和目录下的页面,而带上“/”则表示进阻止目录下的内容页面,这两点要分清楚。
 
  为了让搜索引擎更快的收录我们的内页,我们一般都会做一个百度地图或者谷歌地图,那么,Sitemap:+网站地图,还没有建设网站地图的请看这篇文章《推荐阅读:》这个命令就可以快速的引导搜索引擎蜘蛛来到你的地图页面对网站内页进行抓取。当网站的死链接过多处理非常麻烦的时候,我们可以利用robots来屏蔽这些页面,这样就可以避免网站因为死链接被百度降权。
 
  robots.txt可以很好地控制机蜘蛛,快开始制作你的这个robots文件吧
除非注明,文章均为河北网站建设原创。
转载请注明来自http://www.hbfddj.com/seo/seojishu/32.html

相关网站设计案例

相关新闻

robots.txt文件写法

有些页面是我们不想让蜘蛛爬行收录的,不想把权重分散,我们合理的利用robo...

日期:2018-07-19

分分钟让你的站长百度权重到1的关键词:slpeep

今天乐清SEO优化为大家带来2个提权重词slpeepking和窝迷坊,确实百度权重1...

日期:2018-07-19

SEO新手遇到的五十个问题

SEO优化知识对许多刚接触SEO新手是非常有帮助的,但是大部分新手在SEO优化...

日期:2018-07-19

SEO是什么?seo是什么意思?什么是seo?

SEO是什么?什么是seo?做为新手或者初学者如何来学习SEO优化,现在学习晚...

日期:2018-07-19

站长工具里面的百度权重是这样计算的

首先我们要知道什么是百度权重值:百度根据网站推广关键词的排名情况,判断...

日期:2018-07-19

百度图片关键词优化排名

百度图片关键词优化排名,想做一个我名字这个关键词的百度图片排序。之前想...

日期:2018-07-19

百度在移动端优化秘诀

做网站、做SEO优化的同学往往喜欢问百度各项关于标准的问题,在移动大潮席...

日期:2018-07-19

只是改下标题流量从1万翻倍到10万

一个好的网站标题能带10万倍流量,我们为什么要点击这个标题,最基本的结构...

日期:2018-07-19

百度索引量下降原因分析及解决方案

百度索引量是流量的基础,索引量数据的每一个变动都拨动着站长敏感的神经,...

日期:2018-07-19

百度算法调整后的总结2015年5月

2015年5月百度算法更新,这个月开始注定是一个不安分的时间段,很多企业站...

日期:2018-07-19

收缩