Reddit 限制除 Google 之外的搜索引擎抓取其内容

  在 Reddit 与 Google 达成了价值数亿美元的内容授权协议之后,它限制了除 Google 之外的搜索引擎爬虫抓取其内容。如果使用 Bing、DuckDuckGo、Mojeek、Qwant 或任何其它替代搜索引擎,设定“site:reddit.com”搜索 Reddit 内容,你看不到过去一周的任何结果。微软代表证实,Reddit 于 7 月 1 日更新了它的 robots.txt 文件,阻止了很多搜索引擎和 AI 工具抓取内容。

  https://searchengineland.com/microsoft-confirms-reddit-blocked-bing-search-444385

  https://tech.slashdot.org/story/24/07/24/1832237/googles-exclusive-reddit-access