股票杠杆的规则 过河拆桥?为防“爬虫”爬取数据训练AI,百度百科屏蔽了谷歌等友商
2024-10-15近日有报道称,为了防止未经允许的“爬虫”爬取数据用于训练AI,百度百科已经屏蔽了谷歌、必应等大多数搜索引擎。百度啊百度,你也学会过河拆桥了? 有网友扒出了百度百科的robots.txt文件,发现允许放行的白名单中,只有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)几个搜索引擎,而谷歌、必应、微软MSN、UC的Yisouspider以及其他搜索引擎的爬虫已被列入了禁止名单。 众所周知,搜索引擎的工作原理,就是依靠“爬虫”到不同的网站上爬取数据