User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC 这里定义是禁止爬寻ABC整个目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片robots.txt文件用法举例
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片robots.txt文件用法举例
本站文章均为永诺网站建设摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享,引用和转载,我们谢绝直接复制和抄袭!感谢...
猜你喜欢
联络方式:
电话:15038330582
邮箱:278477169@qq.com
扫描名片
我们猜你喜欢
-
学习辅导APP软件开发
一、需求分析 先了解开发软件的需求,产品的功能,设计,项目的预计工期,开发预算等。需求评估,功能的需求定制,设计需要求可行性报告,项目的完成工期和实际的开发评估。...
-
小程序软件开发申请注册流程
小程序已经火的有一段时间了,由于着急想要做小程序的不是很懂互联网这块,没办法接着做。我现在就说下关小程序的申请流程,方便各位接着申请。 一、在注册小程序钱先注...
-
开发一个社区团购APP软件
社区团购APP软件是为让本地社区的居民实现线上购物,开发一款这样的软件还要结合当地的居民消费水平,购物习惯,消费群体等定位的分析,社区团购软件的功能都有那些呢。 首...
-
开发做一个跑腿小程序软件多少钱
一、校园跑腿小程序软件项目客户来源介绍 校园跑腿的生意一直都是高校的大块蛋糕市场,校园生活由于人数多,需求量大。不仅学校注重这款的市场学生也看到了商机,陈总就是...
-
双休购电商app软件其实和普通的平台一样
双休这个事其实早就板上定钉钉了,只是部分的企业一直没有实行双休。但消费者就不买这个账了,因为他们相信只有双休的企业才能生产处高质量的产品,所以大部分都消费者开始提...
