• 广州南沙区以物联网创新应用探索消防大数据管理模式 2019-04-21
  • 我老张工经历过中国计划经济时代,实践过计划经济,岂能不知计划经济?!现在的市场经济,我也有了实践感受。比较之,深感计划经济是适合社会主义的,而市场经济是不适合社 2019-04-16
  • 栗战书主持召开十三届全国人大常委会第五次委员长会议 决定十三届全国人大常委会第三次会议6月19日至22日举行 2019-04-15
  • 春节我在岗:3分钟沙画告诉你 做消防员的家人是种怎样的体验 2019-04-13
  • QS2018全球留学报告,这些专业就业率最高! 2019-04-13
  • 美国已经获得了,美国期望的金融开放,其他的美国已经不在乎了。本人早就断定,中美合作奢谈共赢。美国需要的是进入和控制中国,中国需要的是出口创汇。 2019-04-10
  • 日本大阪6.1级强震4死逾300伤 工厂及店铺恢复运营 2019-04-10
  • 六安市市长毕小彬做客人民网 2019-04-05
  • 广州市黄埔警方:深化警企共建机制 2019-04-03
  • 男子谎称哥哥当师长能帮上军校 骗13万余元被抓 2019-04-02
  • 以“上海精神”开辟合作发展新境界 2019-04-02
  • 今日武汉中考考生可看考点考场 进行英语听力试听 2019-04-01
  • 广州计划于7月6日公布中考成绩 8日开始录取 2019-03-29
  • 法国将缩短出签时间促进旅游业发展 2019-03-29
  • 忻州市两名干部接受纪律审查和监察调查 2019-03-26
  •  手机版 | 登陆 | 注册 | 留言 | 设首页 | 加收藏
    当前位置: 网站首页 > 行业资讯 > 文章

    新疆35选7走势图带连线:程序中的robots.txt在什么情况下可以修改

    新疆35选7的开奖号 www.sypti.com 时间:2016-05-09    点击: 次    来源:网络    作者:佚名 - 小 + 大

    robots.txt是什么:

    robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。

    当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

    另外,robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

    什么情况下可以修改:

    当你在程序中新增加文件夹的时候,而且该文件夹不想被搜索引擎抓取时,就可以修改了,使用记事本打开,然后在最下面添加Disallow: /文件夹名称/即可。

    一般情况下我们个人网站考虑不让搜索引擎抓取是出于?;ひ?、增加安全性、做搜索引擎优化而进行的,按照这样的思路,哪些文件夹设置为拒绝抓取就一目了然了

    上一篇:系统所需要的运行环境有哪些购买什么样的空间

    下一篇:用手机访问网站会自动跳转到手机版

    版权声明 | 关于阿布之家|阿布家.. | 广告服务 | 免责声明 | 联系我们 | 网站帮助
    新疆35选7的开奖号  |   QQ:155096168  |  地址:广东省广州市番禺区康乐路康乐园  |  电话:--  |  
  • 广州南沙区以物联网创新应用探索消防大数据管理模式 2019-04-21
  • 我老张工经历过中国计划经济时代,实践过计划经济,岂能不知计划经济?!现在的市场经济,我也有了实践感受。比较之,深感计划经济是适合社会主义的,而市场经济是不适合社 2019-04-16
  • 栗战书主持召开十三届全国人大常委会第五次委员长会议 决定十三届全国人大常委会第三次会议6月19日至22日举行 2019-04-15
  • 春节我在岗:3分钟沙画告诉你 做消防员的家人是种怎样的体验 2019-04-13
  • QS2018全球留学报告,这些专业就业率最高! 2019-04-13
  • 美国已经获得了,美国期望的金融开放,其他的美国已经不在乎了。本人早就断定,中美合作奢谈共赢。美国需要的是进入和控制中国,中国需要的是出口创汇。 2019-04-10
  • 日本大阪6.1级强震4死逾300伤 工厂及店铺恢复运营 2019-04-10
  • 六安市市长毕小彬做客人民网 2019-04-05
  • 广州市黄埔警方:深化警企共建机制 2019-04-03
  • 男子谎称哥哥当师长能帮上军校 骗13万余元被抓 2019-04-02
  • 以“上海精神”开辟合作发展新境界 2019-04-02
  • 今日武汉中考考生可看考点考场 进行英语听力试听 2019-04-01
  • 广州计划于7月6日公布中考成绩 8日开始录取 2019-03-29
  • 法国将缩短出签时间促进旅游业发展 2019-03-29
  • 忻州市两名干部接受纪律审查和监察调查 2019-03-26