User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC 这里定义是禁止爬寻ABC整个目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片robots.txt文件用法举例
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片robots.txt文件用法举例
本站文章均为永诺网站建设摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享,引用和转载,我们谢绝直接复制和抄袭!感谢...
猜你喜欢
联络方式:
电话:15038330582
邮箱:278477169@qq.com
扫描名片

我们猜你喜欢
-
美丽天天秒链动2+1小程序模式股东分红软件开发
一、链动2+1小程序软件项目客户来源介绍 老板是在顺企网店铺找到我们的公司信息,这位是来自安徽地区的客户,老板的项目是做一款买牛奶的链动商城软件。链动模式要有一...
-
软件开发需要多少资金-收费高吗
很多人都会比较关注的软件开发这个方面的问题,如果要去做好软件的开发,那么也就应该要让自己能够了解清楚资金情况,这一点可以说是比较重要的,那么软件开发需要多少资金?有很...
-
一体化信息APP功能软件开发
手机时代都是依靠了互联网带起来的,互联网时代从来没有让我们失望过,都是带来各种各样的惊喜,例如共享汽车的APP软件,共享单车的APP软件,移动无先进支付,在线知识付费上课,在线...
-
酒店APP开发定制软件
在开发酒店管理APP软件的时候,普通功能的软件价格会在2w-5w之间,大功能的软件价格会在十几万,由于涉及到功能的复杂和功能全面,开发的价格就稍微高些,具体的开发功能也是按照...
-
物流APP软件功能开发解决方案
物流APP软件解决了当前物流输送的难题,为货车司机提供了货运信息传递平台,为客户匹配最近的送货司机。该软件整合了物流市场的分类,实现了互联网与琉信息的结合,物流信息广...