所谓的UA, 其实就是它自己在进行自我介绍。
任何客户端都可以把用户 Agent 这一部分的内容直接编写成 Baiduspider 这个字符串, 所以在只看到这一行单独的文本内容的时候, 完全不具备进行身份验证的价值。
从更稳妥的角度来讲, 一个比较靠谱的做法就是把完整的请求信息给记录下来, 这其中包括了 IP 地址, 用户代理 UA, 访问的具体时间, 请求的路径是什么, 返回的状态码是多少, 还有响应所需要的时间有多长之类的东西, 只有当手头的数据全都齐全之后, 才能去比对分析同一个 IP 地址的行为是不是连得上串儿, 或者是能不能符合那种正常的抓取习惯什么的, 要是发现日志里的字段缺胳膊少腿的不完整的话, 那我们就得先去补上这个日志的格式问题, 等到把这部分做好了以后再去谈那个识别的事情才对, 其实去补这几个字段的活儿并不算太难, 花费的工作量也不大, 但是, 这么做却能够省掉后面大家来回翻来覆去地吵架以及误封账号带来的那些麻烦和危险因素。
。
反向解析与IP段怎么核对
百度官方会公布蜘蛛的 IP 段, 站长平台也有验证工具。
万一服务器或者 CDN 没提供反向解析功能的话, 大家可以稍微退后一步去查那个 IP 的归属段，拿去和官方公布的列表做一下比对。千万要注意, 绝对不要因为某一个 IP 的行为有点反常, 就把整个归属段都给封掉了, 因为在同一个归属段里面, 肯定还有那些正在正常抓取的 IP 地址。
日志行为比身份更值得看
真实的蜘蛛在进行抓取的这个动作, 通常是有其一定规律可循的, 具体表现为: 抓取的重点集中于站点的主要栏目上面, 它是按照链接来逐层推进的, 对于重要的页面它会进行重复访问, 同时还必须要遵守关于 robots 的规则。
相比之下, 异常的请求则常见的表现形式有: 随机地扫描各种路径、频繁地请求后台地址、完全忽略 robots 或者集中在那些敏感文件上。只有把行为特征和身份验证这两者放在一起去看的时候, 你的判断才会比较稳定。
除了去看路径之外, 还需要把状态码的分布情况也看仔细了。
状态码出现异常这一现象, 往往比路径出现异常这一现象要更早暴露出站点所存在的问题。
方法一减少无效抓取
所谓的无效抓取现象, 其成因主要是由这样几个类型的网页所导致的, 这包括了那些因为存在着海量的参数组合从而被创造出来的筛选页面, 还包括了那些内容互相之间完全重复的标签页面, 以及那些虽然已经不再在线但是仍然被人通过链接所指代的陈旧地址。
另外, 还存在另一种非常普遍的浪费现象, 那就是抓取陷阱, 这通常是由于日历功能、无限滚动加载机制, 以及会话 ID 的随意生成, 从而导致同一份内容被衍生出了无数个不同的 URL 地址。
在规则生效之后, 你千万不要马上去扩大屏蔽的范围, 你应该先看一看实际的状况是怎么样的。
方法二让重要页面更容易被发现
降低无用的消耗那仅仅是开始的环节, 接下来必须要把网站的抓取机器人引导到关键的页面上去。
入口的位置设置得越浅, 抓取机器人顺利接触到核心页面的可能性就会越大, 同时内容的更新速度也能变得非常及时。
sitemap 这个文件里面, 只需要留下那些需要被搜索引擎收录的、规范的网址链接。要定期地把那些已经失效的条目清理掉。同时呢, 还得把这个 sitemap 提交到站长平台上面去。
通过查看日志, 来确认这些页面是不是真的已经被搜索引擎成功地抓取到了, 而不是仅仅意味着这些地址只是被记录在案而已。
常见误区
- 我们仅凭用户代理字符串这一行数据, 就做出判断, 认定这就是百度爬虫发出的真实抓取的请求行为。
- 一旦发现异常请求出现, 就直接封禁其所在的整个IP地址段。
- 使用 robots 来一次性地把全部参数页屏蔽掉, 这样做可能会误伤那些原本正常的页面内容。
- 有些人总是只去关注抓取的次数这一个方面, 而完全不去理会实际抓取时所经过的路径是怎样的, 同时也对返回的状态码情况视而不见。
上线前逐项确认
你把那几样东西放进工作列表去, 每完成一项就勾选一下, 如果没通过的话你就得写清楚具体的原因以及补做的时间。
- 把日志字段给补全, 去记录那个IP、UA、路径还有状态码。
- 需要对那些看起来不太靠谱的IP地址, 一个一个地去分别做正向的解析操作和反向的解析操作, 并且进行核对。
- 把访问IP和官方公布的蜘蛛段进行一对一的对比。
- 按照url模式来统计, 把抓取量的数字和收录量的数字放在一起算一算它们之间的比例关系。
- 先把那些已经断掉的链接给清理掉, 然后把那种参数组合出现重复的页面给合并到一块儿去进行处理。
- 要为核心页面补全站内的入口, 然后把 sitemap 提交上去。
常见问题
有请求伪装成百度蜘蛛，会带来哪些具体的实际危害？
常见的危害现象主要有骗取页面内容、探测后台路径、消耗服务器资源, 还有让日志统计变得不真实。如果只凭借用户代理就决定放行或者屏蔽, 那么可能会错误地伤害到那些真正的抓取行为, 也可能会放过那些怀有恶意的请求。
只有同时使用 IP 地址和访问行为来进行双重验证, 才能够把这两类访问区分清楚。
百度蜘蛛的抓取频次明显下降，需要马上处理吗？
先看那些页面是被抓取的, 以及它们返回的是什么状态。如果频次是下降了, 但是像重要页面这样的内容仍然被很稳定地进行了抓取, 那么通常是不需要去进行干预的。
如果这些重要页面在很长时间里都没有被进行抓取, 这时候是需要检查一下看看是否是含有大量的死链, 或者服务器的响应速度是很慢, 再或者是 robots 文件有误阻拦了抓取的情况。抓取频次的本身并不是一个目标, 真正有效的抓取行为才是那个核心要素。
这篇内容主要给大家分享一下 SEO 实操方面的一些经验, 不过具体的效果受到很多因素的影响, 比如说行业竞争的激烈程度、网站本身的基础怎么样, 以及搜索算法的变化情况等等, 在这里并不保证能够获得很高的排名。
免责声明：网所有文字、图片、视频、音频等资料均来自互联网，不代表本站赞同其观点，内容仅提供用户参考，若因此产生任何纠纷，本站概不负责，如有侵权联系本站删除！邮箱:207985384@qq.com https://ainiseo.com/jishu/14060.html
