【陕西SEO】蜘蛛陷阱的利弊及如何识别蜘蛛陷阱?

少羽.
少羽.
少羽.
3892
文章
92
评论
2019年7月28日17:50:57【陕西SEO】蜘蛛陷阱的利弊及如何识别蜘蛛陷阱?已关闭评论 4.1K

很久没有更新SEO系列教程了,今天也是没什么事情就给你们简单说一下蜘蛛陷阱的利弊及如何识别蜘蛛陷阱

【陕西SEO】蜘蛛陷阱的利弊及如何识别蜘蛛陷阱?

什么是蜘蛛陷阱?
说到蜘蛛陷阱,这是个很虚的东西。没有非常正规的说法,蜘蛛陷阱就是网站通过技术漏洞或者认为方式造成的一种策略,一旦搜索引擎开始抓取到站点某个 URL 后,就会通过该页面发现新链接从而诱使搜索引擎蜘蛛无限循环的抓取,也就造成了进去后就无法出来,类似站群的思维方式,这种情况就被称之为蜘蛛陷阱。

如何判断识别网站是否存在蜘蛛陷阱?
这里少羽认为有两种非常简单的方法就能够判断出网站当前是否存在蜘蛛陷阱的情况:

一、网站统计/网站日志,通过直接查看搜索引擎抓取的 URL 中是否存在大量不正常的 URL 地址;

二、网站抓取频率,几乎所有的搜索引擎站长平台都提供的抓取频率和抓取压力的反馈,如果抓取频率突然出现异常的高时,那么很有可能出现蜘蛛陷阱的情况了。

哪些情况容易造成蜘蛛陷阱?
站内搜索

这是几乎所有站点都会存在的功能,由于其功能的特殊性,搜索关键词不确定,搜索时的 URL 也基本为动态情况,例如 WordPress 程序的站点默认搜索就是“https://24bp.cn/?s=关键词”的链接,而这样的动态链接就有无数的可能,如果不利用 robots.txt 文件进行屏蔽,那么搜索引擎是可能会收录这些搜索结果页面,这种原理也是被一些超级外链或者自动外链的工具所利用。

分页、feed

这种情况少羽认为最常见的就是出现在 WordPress 程序上面,文章的评论分页以及 feed,会给一篇文章内容造成重复的页面,虽然不至于直接造成蜘蛛陷阱,但是从网站优化的细节考虑,建议还是通过 robots.txt 禁止屏蔽,如果是评论分页也可以通过页面头部添加“rel=canonical”来规范指向文章 URL。

产品类网站

大多的电子商务网站平台以及产品类的网站都会存在的一个问题,例如一双鞋子有多个不同的尺码颜色等,但是其描述内容和展示都会是一样的,所以很多网站就会出现大量不同的 URL 而且几乎一样的页面,这样也非常容易造成蜘蛛陷阱,浪费搜索引擎资源,重复的页面也会破坏网站 SEO,同样可以通过 robots.txt 和页面头部添加“rel=canonical”来规范页面统一性。

简单总结
蜘蛛陷阱这个问题说大不大说小不小,有人利用这些陷阱提升网站的收录和抓取,虽说不可取却也有可能在短时间内获得不错的收录和排名效果,当然这些可能都只是短时间的,如果网站确确实实存在这些问题,而你想要做好网站,那么记得及时处理。

少羽.
  • 本文由 发表于 2019年7月28日17:50:57
  • 除非特殊声明,本站文章均为原创,转载请务必保留本文链接
【黑帽SEO】SEO的html劫持和html劫持代码 陕西SEO

【黑帽SEO】SEO的html劫持和html劫持代码

这段时间有个人问我黑帽SEO的html劫持是怎么做的,代码又是什么样子的,然后就有了这篇文章。大家可以看看,学习一下。 下面的message中的关键词并不是你的关键词,而是给网站原有的人看的。 找到i...
【陕西SEO】搜索引擎的蜘蛛是如何爬的,如何吸引蜘蛛来抓取页面 技术园

【陕西SEO】搜索引擎的蜘蛛是如何爬的,如何吸引蜘蛛来抓取页面

搜索引擎的蜘蛛是如何爬的,如何吸引蜘蛛来抓取页面 搜索引擎的工作过程大体可以分成三个阶段: (1)爬行和抓取:搜索引擎蜘蛛通过跟踪链接发现和访问页面,读取页面HTML代码,存到数据库。 (2)预处理:...
【陕西SEO】网站抓取频率是什么,如何提高网站抓取的频率? 技术园

【陕西SEO】网站抓取频率是什么,如何提高网站抓取的频率?

网站抓取频率是什么,如何提高网站抓取的频率? 每天都有数以万计的URL被搜索引擎爬行、抓取。这些URL透过相互链接,构成了我们现存的互联网关系。它在SEO日常工作中,扮演着重要的角色,并且给网站优化,...
【陕西SEO】最新刷百度下拉框代码 技术园

【陕西SEO】最新刷百度下拉框代码

前言 我在一个博客看见有个工具,但是是付费的。就找了一圈,找到这个代码。 我是十分不建议刷的,百度算法也是很强大的。本站并没有使用。请各位谨慎使用。 正文 百度下拉框的优势是可以让你的公司名或者个人信...
广告也精彩