您的当前位置:华乐网 > 建站 > SEO >

    网站网页都被屏蔽了为什么还能被收录到

    来源:站长资源平台 作者: 编辑:华乐网 时间:2019-01-31 01:54
    导读: 这个问题困惑我很久了,为什么我网站的网页被robots屏蔽了之后,我从网站日志分析后还会能看到被百度抓取和收录呢?不是说屏蔽了以后就不会被抓取和收录了吗?这些页面都是我们老板千叮万嘱不让展现在百度的,

      这个问题困惑我很久了,为什么我网站的网页被robots屏蔽了之后,我从网站日志分析后还会能看到被百度抓取和收录呢?不是说屏蔽了以后就不会被抓取和收录了吗?这些页面都是我们老板千叮万嘱不让展现在百度的,现在都不知道怎么交差了,求解释。

        

    网站网页都被屏蔽了为什么还能被收录到

      我经常遇到这样的情况,很多人都来问我:“为啥屏蔽了的页面还被抓取?”这里我简单的说下吧,一般有两种情况:


      第一种是:对已经收录的网页使用robots屏蔽,老网页按照robots规则的删除时间会很长,这个时候可能会造成百度没有遵守robots规则。


      第二种情况是:如果你屏蔽的页面或栏目存在大量的外链,那么这个网页或栏目的URL会被百度收录,但内容不会被百度索引,一般这样的多见于首页域名。当然,如果你连URL都不想被收录,可以针对蜘蛛返回404即可。


        本文来源于互联网,如有疑问请及时联系站长资源平台官方客服,谢谢!


    责任编辑:华乐网

    打赏

    取消

    感谢您的支持,我会继续努力的!

    扫码支持
    扫码打赏,你说多少就多少

    打开支付宝扫一扫,即可进行扫码打赏哦

    网友评论:

    公司简介 发展历程 网站申明 服务协议 联系我们 广告服务 网站地图 TAG标签 商务合作

    Copyright © www.hahacn.com 华乐网 版权所有 工信部备案:渝ICP备16007400号-3
    本站所有资讯来源于网络 如有侵权请联系QQ:737597453 技术支持米微科技
    Top