User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC 这里定义是禁止爬寻ABC整个目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片robots.txt文件用法举例
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片robots.txt文件用法举例
本站文章均为永诺网站建设摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享,引用和转载,我们谢绝直接复制和抄袭!感谢...
猜你喜欢
联络方式:
电话:150 3833 0582
邮箱:278477169@qq.com
扫描名片

我们猜你喜欢
-
百度关键词优化怎么优化
一,如何确定相关关键词网站通常有三个关键词,起初,许多网站围绕这三个做关键词优化。这种优化的结果是激烈的竞争,忽略了其他可以获得流量的关键词。因为内容是围绕三个关键词连...
-
刷屏朋友圈的“跳一跳” 小程序究竟有多火热?
这两天想必大家在刷朋友圈时都看到了一款名为“跳一跳”的游戏,2017年12月28日,微信通过旗下多个公众号宣布上线“小游戏”,目前,iOS和安卓的用户,只需升级...
-
伪静态规则htaccess文件的写法
# apache伪静态规则将index.php?a=admin&c=login 伪装成admin/login.htmRewriteRule ^([a-zA-Z_]+)/([a-zA-Z_]+).html$ index.php?a=$1&c=$2将index.php?c=message 伪装成m...
-
房地产销售平台APP功能软件开发
房地产销售软件对房产发展的需求阶段 1.房地产与网络还处于是新的阶段,先认识互联网的作用,主动的拥抱互利网。顺应房地产的发展趋势,促进房产的转型升级,实现新的行业...
-
怎样定位关键词-怎么做好关键词的优化
一、英文阅读中的关键词的定位和优化: 1、定位: 错乱定位法 在雅思阅读的做题过程中会发现有时候即使定位词找对了但是在定位的过程中也可能效果不好,因为有些...