查看: 3462|回复: 4

百度蜘蛛一直抓取卡盟页面被删除的链接怎么办?

[复制链接]
发表于 2020-4-4 11:16:39 | 显示全部楼层 |阅读模式
1卡盟币
一个月之前删掉了一些卡盟文章内容,通过卡盟日志发现,百度蜘蛛还在抓取这些被删除的链接,都删掉一个月了还能抓取,不知道蜘蛛是怎么发现的,现在有什么好的办法不让蜘蛛抓取这些链接

回复

使用道具 举报

发表于 2020-4-4 11:17:02 | 显示全部楼层
提交死链,或者设置卡盟404顺其自然,一般设置了后再抓一次就不抓了。还有一种可能是来的假蜘蛛
回复

使用道具 举报

发表于 2020-4-4 11:17:23 | 显示全部楼层
提交死链,做好404
回复

使用道具 举报

发表于 2020-4-4 11:17:31 | 显示全部楼层
百度蜘蛛就是流氓,总是跟你反着来,等哪天抓到他揍他一顿就好了
回复

使用道具 举报

发表于 2020-4-4 11:17:50 | 显示全部楼层
可以站长平台提交死链,另外做好服务端的404判断,所有访问不了的链接都应该是到404页面
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

卡盟论坛(http://www.18kmw.com/bbs/)是18卡盟导航旗下的卡盟交流平台,是不是遇到卡盟相关问题没法解决?是不是遇到了卡盟骗子?是不是遇到卡盟搭建问题?一切的卡盟相关问题都可上卡盟论坛解决。
© 2001-2013 Comsenz Inc.Powered by Discuz!X3.4 
快速回复 返回顶部 返回列表