7 月初埃隆马斯克带领的原已经有搜 X 曾屏蔽谷歌搜索爬虫抓取内容，这导致谷歌搜索无法在用户搜索 X 用户名时展示最新的推特推文摘要，不过后面 X 对谷歌解封了。屏蔽

但其他搜索引擎就没那么幸运了，除谷如果使用 site:twitter.com 指令在必应搜索上查询的歌外话，你会发现必应收录的索引 X 内容只有 12.1 万条，而谷歌搜索则是擎阻 4.22 亿条。

发生了什么？止数抓原因是 X 屏蔽了除谷歌搜索以外的所有搜索引擎爬虫，至于原因嘛也很简单，据被埃隆马斯克不想 X 的蓝点数据被其他人抓取拿去训练 AI，所有屏蔽了诸如 Bingbot、原已经有搜MSNbot、推特Yandex 等搜索引擎爬虫。屏蔽

那谷歌为什么是例外的呢？估计马斯克都要骂街了，因为之前有传闻称杰克多西时代的歌外推特与谷歌达成了相关协议，允许谷歌抓取内容，目前这一协议尚未到期。

蓝点网通过互联网档案馆排查发现，X 是在 2023 年 7 月 24 日执行屏蔽操作的，更新后的 robots.txt 文件仅允许 Googlebot 抓取内容，其他所有爬虫均被封禁。

所以现在诸如必应搜索上的推特内容极少也就是这个原因，后面估计索引数量会进一步降低，如果谷歌的协议到期了估计内容也都会消失。

不过 robots.txt 毕竟只是君子协定 (这不是法律规定，之前某大数字被某度起诉抓取某度百科内容时，就辩称这是 robots.txt 只是行业管理而非法律规定)，所以仍然有各种来路不明的爬虫试图抓取推特上的内容拿去卖数据。

对于这种情况埃隆马斯克也早有准备，在协议规定未经同意获取内容属于违反协议的行为，马斯克对这些未经同意的抓取行为直接起诉。

附 X robots.txt 的最新内容：

# Google Search Engine Robot# ==========================User-agent: GooglebotAllow: /?_escaped_fragment_Allow: /*?lang=Allow: /hashtag/*?src=Allow: /search?q=%23Allow: /i/api/Disallow: /search/realtimeDisallow: /search/usersDisallow: /search/*/gridAllow: /*?ref_src=Allow: /*?src=Disallow: /*?Disallow: /*/followersDisallow: /*/followingDisallow: /account/deactivatedDisallow: /settings/deactivated# 下面的指令代表禁止搜索爬虫抓取内容# ========================================================User-agent: *Disallow: /

• ·风尚见面会服饰图片（风尚发布｜alexaffler actors 2023初夏男装系列）这样也行？，
• ·《本初传奇》三大年夜代止人齐表态，变强迫正在眉睫
• ·12月11日，一颗小行星将会遮住令人困惑的红色恒星参宿四
• ·《炸鸡奇遇记》公开正式预报 《极限职业》导演新做
• ·中文网站强化工作（小值班员操作方式站群新颖手册：冷酷无情投资不断扩大投资回报）细看就会，
• ·《星球大年夜战》新电影题目并没有是“新的开端” 古晨独一内部代号
• ·卡普空Steam特卖开启：6款《逝世化危急》迎新史低！
• ·2020好玩的远似崩坏3挨击感的足游保举 色采的碰碰让战役变得减倍夺目
• ·金沙龙神影视娱乐全权平台注册登记不了（科孔三款4399经典之作迷你游戏，其中一定有你玩过的）4399迷你游戏，
• ·五一往吸伦贝我大年夜草本如何样
• ·《蒸汽天下：建制》齐新真机公开 本年年内上线
• ·望远镜照亮“圣诞树群”
• ·创业者时尚品牌的混合型 转投戈蔓婷快品牌服装！（创业者时尚品牌的混合型 转投戈蔓婷快品牌服装！）这种也行？，
• ·2020好玩的roguelike像素天牢类足游保举 成为像素天牢里的怯者
• ·2020好玩的保存冒险类单机游戏保举 一小我的保存冒险
• ·天文学家研究南方蜂巢星团