网站在上线之后,为了避免受攻击,我们通常会给网站套上CDN,个人站长一般会选择免费的CDN,如Cloudflare。在给网站加上CDN后,我们尝试访问网站域名,会访问到CDN随机分配的ip地址,这样就隐藏了网站源ip(避免网站受攻击)。
“Cloudflare可以帮助受保护站点抵御包括分布式拒绝服务攻击(DDoS, Distributed Denial of Service)在内的大多数网络攻击,确保该网站长期在线,同时提升网站的性能、访问速度以改善访客体验。”
但如果搜索引擎蜘蛛也直接访问CF(cloudflare的简称)获取随机ip,每次抓住的ip都发生变化,并且相对于蜘蛛直接抓取源站ip的平均耗时长,就会影响到蜘蛛对网站的抓取频次,不利于SEO优化。因此,就需要配置蜘蛛回源抓取。
本文介绍通过DNSPod设置蜘蛛回源的方法。
第一步 注册DNSPod账户
官网:https://www.dnspod.cn/
第二步 后台添加域名


第三步 更改域名dns
添加域名之后,如果域名之前在别的平台进行的解析,会显示“DNS不正确”,点击更改dns


第四步 添加线路分组(蜘蛛线路)
1)添加记录,选择线路类型,里面先添加线路分组

2)蜘蛛线路选这几个,然后保存线路

第五步 添加解析记录
1)添加A记录
线路选择刚才建立的线路分组,记录值为自己的服务器ip

这样蜘蛛独立抓取的ip就设置成功了。
2)添加CNAME记录
不要忘记添加CNAME记录,对接到CDN(如cloudflare),挂个免费的CF隐藏ip。

蜘蛛回源配置完成,可以实现访客通过CDN访问的同时,蜘蛛通过分组直接访问服务器源ip。
DNSPod专业版
免费版DNS可以尝试升级至专业版,建议购买dnspod专业版,更便宜的购买途径:

无错源码所有资源来自会员发布以及互联网收集,不代表本站立场,如有侵犯你的权益请联系管理员,站内发信联系 我们会第一时间进行审核删除。站内资源为网友个人学习或测试研究使用,未经原版权作者许可,禁止用于任何商业途径!本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。请在下载24小时内删除!
如果遇到付费才可观看的文章,建议升级传奇VIP。全站所有资源“任意下免费看”。本站资源少部分采用7z压缩,为防止有人压缩软件不支持7z格式,7z解压,建议下载7-zip,zip、rar解压,建议下载WinRAR。如遇解压需要密码,请尝试使用www.wucuoym.com来解压,如若仍有问题,请联系站长。