学而时习之 ● 不亦说乎

让价值共享,策划与设计,让品质从网站开始被认同

在做网站SEO优化中robots的写法
日期:2021-07-13编辑:天地心网络阅读:1357次标签:robots.txt的写法,怎么写robots.txt,生成robots.txt文件,上传robots.txt文件
robots.txt是搜索引擎中的一个协议,当你的网站有一些内容不想给蜘蛛爬取,那可以利用robots.txt来告诉蜘蛛不要去爬取这些页面,不爬取这些页面当然就不收录了。
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
robots.txt规则怎么写
新建一个txt文本,命名为robots.txt,比如说你不想给蜘蛛去爬你网站后台这个文件夹,那就就这样写,该文件放在网站根目录
 User-agent: *
 Disallow: /admin/
解释:
 User-agent: * 这个是代表所有搜索引擎
 Disallow: /admin/ 禁止爬取admin这个文件夹
 Disallow: / 代表根目录所有
 Allow: / 代表允许 例子:比如说你禁止webdesgn文件夹 但是你又想让他收录webdesign下的wangzhanjianshe 写法Allow: /webdesign/wangzhanjianshe/*.html 收录webdesign下的wangzhanjianshe下的所有html
如果你只想对百度有效,那就这样写。User-agent: Baiduspider 这样只对百度有效,其它搜索引擎不受限制。
搜索引擎蜘蛛的名字:Baiduspider 百度蜘蛛、Googlebot 谷歌蜘蛛、Bingbot 必应蜘蛛、360Spider 360蜘蛛、Sogouspider 搜狗蜘蛛
热点文章
  • 随着外贸云2021年全国渠道盛典的落幕,外贸云深圳运营中心天地心网络斩获众多荣誉及奖项,前来宁波总部参会的管理层团队1月18日兴致勃勃来到中国十大影视基地、国家AAAA级景区——象山影视城
    日期:2021-01-20 浏览次数:1357
  • 外贸云深圳运营中心天地心网络在此次盛典斩获:外贸云2020年度【卓越贡献奖】即全国区团队销售冠军、在全国130多个运营中心中拿下【星级运营中心】【服务之星奖】【2020年度全国区个人销售冠军奖】等众多荣誉以及现...
    日期:2021-01-19 浏览次数:1357
联系我们
CONTACT US
24小时销售专线:18126531247
24小时投诉专线:18126530270
服务咨询:0755-29057711
图文传真:0755-29171400
服务邮箱:kefu@tiandixin.net
公司地址:深圳市龙华区龙观路展润国际大厦15楼(整层)
免费为您提供网站建设方案、外贸谷歌优化推广方案、SNS社交媒体营销方案、百度关键词优化方案等....