User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片robots.txt文件用法举例
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC 这里定义是禁止爬寻ABC整个目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片robots.txt文件用法举例
本站文章均为永诺网站建设摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享,引用和转载,我们谢绝直接复制和抄袭!感谢...
猜你喜欢
联络方式:
电话:150 3833 0582
邮箱:278477169@qq.com
扫描名片
我们猜你喜欢
-
志愿者系统定制APP软件开发
志愿者是一些经常帮别人的不求回报的人群,志愿者的初衷是帮助更多的社会人士,包括养老院的老人或者是留守儿童等。这样的社区服务能够充分的展示出人们的爱心,互帮互助的精...
-
教育app软件开发类型
移动互联网的发展推进,让教育行业也跟上了时代的发展,教育机构利用互联网的优势进行扩大规模,宣传品牌,实现相互提携的作用。教育平台app软件为用户提供在线教育方式,教育本...
-
各类短视频app软件功能开发
很多资讯都是通过文字形式传播的,现在受欢迎还是通过短视频,因为短视频不需要太多时间就能得到展现。目前比较火的就是抖音和快手,即使有两大巨头市场,只要短视频有自己的特...
-
即时通讯app语音聊天软件开发
数字经济时代的今天,所有的企业都想拥有自己的社交通讯聊天软件,因为社交平台是互联网的必须品。谁有了客户量谁就能掌握先机,为什么现在很多公司都在开发即时通讯的聊天工...
-
监控物联网软件开发
物联网关键技术 物联网的产业链:有标识,感知系统,信息传递和数据处理的模式方式。 关键技术:核心的技术是使用RFID射频识别技术、二维码识别扫码,传感器技术,短信通信...