出海网消息,调查机构Human Forward把英国版的测试搬到美国,用8个购物助手测了200家零售商和直面消费者的品牌。能顺利读取的48家大型零售商里,只有2家允许AI代理完成结账;200个站点中有98个直接拒绝爬虫或页面打不开。
最反常的是规则与行为的背离:63个拦截爬虫的站点里,58个在robots.txt里声明欢迎AI抓取。测试还发现,8个助手中7个被问到床垫品牌Purple时答成了颜色,品牌在机器认知里没有实体身份。距离黑五不足一个月,可自查的有三处,robots.txt放行名单、商品页结构化数据、品牌词在助手回答里指向谁。