在推特限制未登录抓取内容后 谷歌爬虫也被拦截导致无法呈现新内容 – 蓝点网
埃隆马斯克最近以解决非法抓爬推特内容以及滥用等问题限制了推特内容的推特呈现，例如在没有登录账号的限制新内情况下禁止浏览推特任何内容，已经登录的未登无法情况下，新注册账号每日可浏览 500 个推文、录抓拦截老账户每日可浏览 100 个推文、取内开通 Twitter Blue 订阅则可以浏览 10000 个推文。容后容蓝
这些限制导致不少正常用户经常遇到超限问题而无法继续浏览内容，谷歌埃隆马斯克称这是爬虫一项临时性措施，不过没提什么时候才解除限制。也被
另一方面禁止未登录浏览内容也导致谷歌搜索这类爬虫无法获取内容，导致点网之前在谷歌上搜索某些内容时会呈现推特内容，呈现比如搜索埃隆马斯克时会呈现马斯克最新发布的推特推文。
现在谷歌爬虫试图访问推特时因为也是限制新内没登录的，谷歌又不可能去给马斯克送钱开 API，未登无法所以结果就是录抓拦截谷歌也无法获取内容了，这导致原本谷歌整个索引器里共收录了 4.7 亿条结果、然后暴跌到 1.8 亿，目前情况有所好转，索引器里变成了 2.43 亿条，不过与之前相比还是少了很多。
谷歌的爬虫是自动抓爬内容的，原本在推特上会抓爬大部分没有锁定的账户并收录其内容，但如果爬虫发现无法抓爬等情况，就会自动从索引器里剔除数据，这也是搜索结果出现暴跌的原因。
至于现在为什么又恢复了一部分暂时还不清楚，不知道推特是不是给谷歌开了后门可以继续抓爬内容。毕竟对推特来说谷歌也能贡献流量，用户从搜索结果点击进入推特后还是要登录才能浏览。
本文地址：http://8824862.shgenru.com/html/135d89198973.html
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。