什么是robots协议？

2014/12/26 0:00:00 · 稿源：传诚信

robots协议：robots.txt是搜索引擎访问一个网站时要访问的第一个文件，用以来确定哪些是被允许抓取的哪些是被禁止抓取的。robots.txt必须放在网站根目录下，且文件名要小写。详细的robots.txt写法可参考http://www.robotstxt.org。

百度严格按照robots协议执行，另外，同样支持网页内容中添加的名为robots的meta标签，index、follow、nofollow等指令。

相关推荐
大家在看

关键词：

如何使您的网站成功？如何建设一个成功的网站？

您应该了解两个基本知识。优质的网页设计和独特的内容网站的设计对转换而言比您想象的要重要。一个在视觉上对访问者没有吸引力的网站很快就被留下了内......

网站营销网站策划网站知识

2019/12/25 0:00:00
w3.css-2015最新css框架

w3.css 是由w3schools在本年度推出的最新css框架grid系统与bootstrap类似宽度定义的class省略了前缀变得更......

w3.css 网站知识

2017/7/7 0:00:00
初步了解大家为什么用CSS来建设网站！

CSS是Cading Style Sheets的缩写，我们中文叫“级联样式表”使用CSS技术在网页的生产中可以更加精简，体积将被向下修改，并......

网站建设网站制作网站知识

2016/11/28 0:00:00
如何预防网站故障？

如何预防网站故障故障会为你的网站带来损失，直接影响用户体验和搜索引擎收录（SEO），因此预防工作显得尤为重要，选择优质的服务器提供商，保证良......

如何预防网站故障网站建设网站常见问题

2015/4/28 0:00:00
301返回码的含义是什么？

【301】301返回码的含义是“Moved Permanently”，百度会认为网页当前跳转至新url。当遇到站点迁移，域名更换、站点改版的......

301返回码的含义是什么 301返回码网站知识

2014/12/26 0:00:00
503返回码的含义是什么？

【503】503返回码的含义是“Service Unavailable”，百度会认为该网页临时不可访问，通常网站临时关闭，带宽有限等会产生这......

503返回码的含义是什么 503返回码网站知识网站常见问题

2014/12/26 0:00:00
404返回码的含义是什么？

【404】404返回码的含义是“NOT FOUND”，百度会认为网页已经失效，那么通常会从搜索结果中删除，并且短期内spider再次发现这条......

404返回码的含义是什么 404返回码网站知识网站常见问题

2014/12/26 0:00:00
怎么算是服务器连接异常？

服务器连接异常会有两种情况：一种是站点不稳定，Baiduspider尝试连接您网站的服务器时出现暂时无法连接的情况；一种是Baiduspid......

怎么算是服务器连接异常服务器连接异常网站知识网站常见问题

2014/12/26 0:00:00
什么是robots协议？

robots协议：robots.txt是搜索引擎访问一个网站时要访问的第一个文件，用以来确定哪些是被允许抓取的哪些是被禁止抓取的。robot......

什么是robots协议 robots协议网站知识网站常见问题

2014/12/26 0:00:00
什么是UA属性？

UA属性：UA即useragent，是http协议中的一个属性，代表了终端的身份，向服务器端表明我是谁来干嘛，进而服务器端可以根据不同的身份......

什么是UA属性 UA属性网站知识网站常见问题

2014/12/26 0:00:00

网站建设中网页强调谁？

网站建设中强调谁？怎么强调？在视觉设计上，我们是强调价格、运费、销售情况这些关键词本身呢？还是强调这些情况的结果或指数？从书写习惯的逻辑上，......

网站建设

2010/9/25 0:00:00
HTML5不可抗拒的9个理由

HTML5不可抗拒的9个理由如果您非常了解移动网络的重要性，您可能也非常了解HTML5。HTML5是开发移动网站和网站应用程序最有前途的开......

网站设计 HTML5 网站开发

2019/4/24 0:00:00
制作好网站的4个方法

建设网站是让网站在各大搜寻引擎里排名找到你的的第一个步骤，一个成功的网站必然在网站设计下了许多功夫。但还是会有许多设计师与企业主对网站设计方......

网站制作制作网站

2021/7/2 17:11:21
企业网站建设最大的用途是什么？

企业网站建设最大的用途是拿来展示信息、交流互动和产生交易。也就是说，网站的最终目的是要给人以可观、可用、可心、可信的感觉。这样的话，我们在网......

网站建设

2011/5/20 0:00:00
公务机包机网站制作栏目规划！

公务机包机网站制作栏目规划！一网站架构（功能模块）一级导航（页面） ......

网站制作

2012/8/11 0:00:00
网站设计元素中建立客户关系的的5种方法

网站设计元素中建立客户关系的的5种方法制作高质量的网站并非易事，但网站建设结束时的奖励可能非常重要。凭借周到的LOGO和网站设计元素，网站所......

网站设计网站营销

2019/3/13 0:00:00
企业定制建站

企业定制建站是就是网站建设团队根据您的需求描述（口述或者笔述），定制一套符合您当前需求的网站系统。一般开发周期比较长，而且费用相对比较高。目......

企业定制建站

2010/3/30 0:00:00
喜讯！我司作品，人教教学资源网荣获“出版业优秀内容资源平台”殊荣！

20160111 人教教学资源网 http:www.pepcbfx.com.cn在1月8日召开的2015新闻出版业互联网发展大会暨第九届全国......

人教教学资源网荣获“出版业优秀内容资源平台网站建设公司新闻

2016/1/11 0:00:00
设计页面，不可忽律色盲对颜色的敏感度

世界上近5％的人口是色盲。使用Outlook.com或Yahoo!的人数大致相同邮件。尽管数量众多，但营销人员很少会问选择正确的配色方案的......

网页设计颜色

2020/12/10 0:14:17
企业网站维护包括哪些项目

项目内　　容（热线电话：01062199213）域名、空间维护保证网站空间和 Email 空间的正常运转。为企业提供域名解析、域名转入、域......

网站维护企业网站维护

2010/5/13 0:00:00

热文

热门
最新

关键词

网站建设公司公司网页设计网站布局网页设计公司企业网站建设网站制作公司 H5开发网站设计网站建设网站制作网页开发北京网站建设网站知识网站建设公司响应式网站设计网页制作微信二次开发微信平台开发网页制作网站页面设计网站设计公司制作网页网站改版 ssl证书（HTTPS）网站安全企业邮箱网站备案做网站网站开发网站策划互联网新闻建站公司小程序开发 H5动画企业网站开发

客户服务

咨询热线

010-62199213

24小时咨询热线

139-1050-5354