近日，百度百科已开始屏蔽包括谷歌、必应等在内的多数搜索引擎的抓取权限，此举旨在防止这些搜索引擎和其他爬虫未经授权抓取其内容，用于训练人工智能模型。根据百度百科的robots.txt文件更新显示，目前只有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数搜索引擎被允许抓取其内容。谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他非白名单爬虫均被明确禁止访问百度百科的数据。
近日，百度百科已开始屏蔽包括谷歌、必应等在内的多数搜索引擎的抓取权限，此举旨在防止这些搜索引擎和其他爬虫未经授权抓取其内容，用于训练人工智能模型。根据百度百科的robots.txt文件更新显示，目前只有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数搜索引擎被允许抓取其内容。谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他非白名单爬虫均被明确禁止访问百度百科的数据。