怎样知道网站有没有屏蔽百度蜘蛛的抓取

上述的例子中,把Disallow: /改成指定的屏蔽目录就可以了,通常情况下,网站的后台目录是需要屏蔽的,只要指定的要屏蔽的目录,其他页面就会自动默认允许抓取了。另外还有一种方法就是把Disallow: /改成Allow: /,Allow的意思是指允许抓取的目录或页面。

有些站长在优化网站的过程中,会遇到这样一个问题:我网站的关键词布局没问题、内容质量没问题,并且规律性的更新网站内容,同时也有持续在一些高权重平台发布外链,为什么百度蜘蛛就是不收录的的网页?对于这样的问题,笔者认为首先要知道网站是否有屏蔽了百度蜘蛛的抓取,因为有些站长在建站初期的无意识操作下屏蔽了百度蜘蛛,这也是比较常见的。下面笔者来教大家怎样查看网站有没有屏蔽百度蜘蛛的抓取。


想知道网站有没有屏蔽百度蜘蛛的抓取,有两种方法

第一种:查看网站的robots.txt文件,此文件一般在网站的根目录下,显示如下:

User-agent:*

Disallow: /

这样的表示是屏蔽所有搜索引擎蜘蛛的抓取。

User-agent: Baiduspider

Disallow: /

这样就表示屏蔽了百度蜘蛛抓取。

那要怎样才能让百度蜘蛛抓取呢?笔者举个例子,如下:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-content/

上述的例子中,把Disallow: /改成指定的屏蔽目录就可以了,通常情况下,网站的后台目录是需要屏蔽的,只要指定的要屏蔽的目录,其他页面就会自动默认允许抓取了。另外还有一种方法就是把Disallow: /改成Allow: /Allow的意思是指允许抓取的目录或页面。

第二种:查看网站的页面代码中是否设置屏蔽

在网站页面代码之间,有没有follow">或者follow">的代码,如果有,把这段代码删除即可。

通过以上两种方法都可以查看一个网站是否有屏蔽了百度蜘蛛的抓取。

相关推荐

  • 如何有效提升伪原创内容的质量
  • 系统推荐
  • 一个页面是否可以存在多个不同的关键词
  • 拿到一个网站如何优化
  • 更改关键词会不会对网站排名产生影响
  • 有没有什么方法可以快速获得排名和流量
  • 网站SEO优化为什么见效慢
  • 热门关键词
    html html 排名 挖掘 相关

    转载时请带上 https://www.yliaosq.cn(Y聊社区)

    关于部分帖子带链接说明


    1、“Y聊社区 www.yliaosq.cn”部分文章信息来源于网络转载是出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性。 如其他媒体、网站或个人从本网下载使用,必须保留本网注明的“稿件来源”,并自负版权等法律责任。如对稿件内容有疑议,请及时与我们联系。   
    2、“Y聊社区 www.yliaosq.cn”致力于提供合理、准确、完整的资讯信息,但不保证信息的合理性、准确性和完整性, 且不对因信息的不合理、不准确或遗漏导致的任何损失或损害承担责任。本网站所有信息仅供参考,不做交易和服务的根据, 如自行使用本网资料发生偏差,本站概不负责,亦不负任何法律责任。   
    3、任何由于黑客攻击、计算机病毒侵入或发作、因政府管制而造成的暂时性关闭等影响网络正常经营的不可抗力而造成的损失, 本网站均得免责。由于与本网站链接的其它网站所造成之个人资料泄露及由此而导致的任何法律争议和后果,本网站均得免责。   
    4、本网站如因系统维护或升级而需暂停服务时,将事先公告。若因线路及非本网站控制范围外的硬件故障或其它不可抗力而导致暂停服务, 暂停服务期间造成的一切不便与损失,本网站不负任何责任。   
    5、本网站使用者因为违反本声明的规定而触犯中华人民共和国法律的,一切后果自己负责,本网站不承担任何责任。   
    6、凡以任何方式登陆本网站或直接、间接使用本网站资料者,视为自愿接受本网站声明的约束。   
    7、本声明未涉及的问题参见国家有关法律法规,当本声明与国家法律法规冲突时,以国家法律法规为准。   
    8、本网站如无意中侵犯了媒体或个人的知识产权,请来信告之邮箱地址admin@yliaosq.cn,本网站将立即给予删除。

    官方运营-Sean丶♥

    552 SEO文章 文章

    评论