User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC 这里定义是禁止爬寻ABC整个目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片robots.txt文件用法举例
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片robots.txt文件用法举例
本站文章均为永诺网站建设摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享,引用和转载,我们谢绝直接复制和抄袭!感谢...
猜你喜欢
联络方式:
电话:150 3833 0582
邮箱:278477169@qq.com
扫描名片

我们猜你喜欢
-
多商家平台入驻app
多商家入驻的平台属于是第三方的电商平台,类似京东,淘宝的商家模式平台,用户注册账号才能入驻,所有的商品都可以搜索到。 一、多商家入驻平台模式制度 1.通过线上的...
-
开发一个高质量APP软件
手机app软件是手机让互联网发展趋势更近一步,移动互联网应用几乎涵盖的所有的行业,日常生活,衣食住行,吃穿住等都和软件相关联。什么的软件程序才算是一个成功的软件程序,下...
-
云服务器与虚拟主机有什么区别
很多人都容易将云服务器与虚拟主机混为一谈,大致因为他们性能及安全性方便有不少相似的地方,那么云服务器与虚拟主机究竟有哪些明显区别呢?概念区分:云服务器是一种简单高效、安...
-
易货商城APP软件开发
易货商城软件是商城的一种,只所有的商城都是以物物交换形式,同等价值的商品实现交换。而平台的作用就是借助网络平台实现交换,不会受到地区的限制,保证了双方的安全交易,具有...
-
制作小程序的费用大概是多少
自己开发的只需要提供域名和服务器即可,按照市场价开发下来就需要一千元不到,但是找模块化的开发的话,就需要有简单的功能,还有特别的功能定制。想要开发一款在线小程序的平...