18卡盟导航
卡盟论坛
卡盟优化
卡盟收录
搜索
本版
帖子
用户
用户登录
立即注册
快捷登录:
现在加入卡盟论坛,我们一起来交流
用户登录
立即注册
快捷登录:
卡盟论坛
›
卡盟论坛专属交流平台(2020年重新开放)
›
卡盟/网站求助专区(解决相关问题)
›
百度蜘蛛一直抓取卡盟页面被删除的链接怎么办?
返回列表
发帖
查看:
3462
|
回复:
4
百度蜘蛛一直抓取卡盟页面被删除的链接怎么办?
[复制链接]
378
378
当前离线
积分
161
发表于 2020-4-4 11:16:39
|
显示全部楼层
|
阅读模式
1
卡盟币
一个月之前删掉了一些
卡盟
文章内容,通过卡盟日志发现,百度蜘蛛还在抓取这些被删除的链接,都删掉一个月了还能抓取,不知道蜘蛛是怎么发现的,现在有什么好的办法不让蜘蛛抓取这些链接
我来回答
回复
使用道具
举报
obeckham
obeckham
当前离线
积分
99
发表于 2020-4-4 11:17:02
|
显示全部楼层
提交死链,或者设置卡盟404顺其自然,一般设置了后再抓一次就不抓了。还有一种可能是来的假蜘蛛
回复
使用道具
举报
roger2001c
roger2001c
当前离线
积分
147
发表于 2020-4-4 11:17:23
|
显示全部楼层
提交死链,做好404
回复
使用道具
举报
shuka
shuka
当前离线
积分
63
发表于 2020-4-4 11:17:31
|
显示全部楼层
百度蜘蛛就是流氓,总是跟你反着来,等哪天抓到他揍他一顿就好了
回复
使用道具
举报
ad爱迪生
ad爱迪生
当前离线
积分
32
发表于 2020-4-4 11:17:50
|
显示全部楼层
可以站长平台提交死链,另外做好服务端的404判断,所有访问不了的链接都应该是到404页面
回复
使用道具
举报
返回列表
发帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
快速回复
返回顶部
返回列表