这几天有个SEO小伙伴,私信我说,它发现在网站日志了,看到百度蜘蛛在疯狂抓取右侧栏的日历信息,导致服务器偶然是加载异常。
问这样的事情该怎么办?
其实,回答这个问题,非常简单,原则上,根据百度SEO建议,我们认为最直观的策略就是去除这部分功能。
毕竟,对应网站权益来讲,日历貌似并不重要。
否则,它还是有诸多不利的,比如:
①浪费大量的抓取页面
②有损百度蜘蛛对目标站点质量评估,大量重复抓取。
③很难站点有理想的排名
如果长周期这样死循环下去,在特定时间周期过后,可能会导致目标站点抓取频率大幅度下降的情况。
因此,我们在做网站SEO的过程中,一定要注意:
1、网站结构
如果并不是大型网站,我们这里建议,最好选择相对结构简单,清晰的框架,作为网站基础配置信息,一个是便于搜索引擎爬行,另外一个便于用户抓取。
同时,对于目录层级相对比较深的站点,它更加有利于页面的爬行与抓取。
如果我们选择目录结构相对比较多,并且繁琐的结构作为网站内容框架,前期没有海量内容做支撑,还是不太搜索引擎友好的。
2、网站内链
在前一段时间周期,我们非常清楚,特别是熊掌ID那个时间周期,很少有目标网站会做站内链接,完全独立于页面内容,辅助搜索引擎判断目标页面的主题和重要性。
在某种程度上,它降低了网站内部链接的关联性,使得一些价值页面变得孤立,从而导致很多页面,在长周期运营的过程中蜘蛛爬行不到,而因为缺少点击率,导致排名大幅度下降,甚至索引消失。
3、网站死链
如果你的网站建设超过3年,那么在这个过程中,原则上,可能会涉及到改版的问题,很长一段时间,由于人员的变更,就导致网站一些页面URL被遗忘,当内容被删除后,这部分链接,往往成为了死链接。
没有进行合理删减的话,会导致内部链接识别失误,从而影响页面的抓取与评估。
总结:尽量不要让网站存在相关性元素,而导致目标站点被大幅度的重复抓取,这样非常不利于网站SEO。