第三百九十六章网络爬虫-《超级淘宝店》
第(2/3)页
方泽顿时猜到了这个高阶人工智能是从哪里来的,自己好像把人工智能的相关技术交给国家才没多久,国家居然这么快就制造出了自己的人工智能。
方泽让辉夜开始监视这个人工智能,看看这个新生的人工智能在做些什么。
辉夜很快就做了回复。
国家建造的这个人工智能已经完全的接入了全世界的网络,并且大规模的制造爬虫开始爬去所有的资料。
所谓的爬虫就是一种网络工具,可以从网站上爬去,又叫网络爬虫。
可能一般人没有听说过这个名词,但实际上,爬虫才是网络上最大的流量制造者。
网络上百分之八十的流量都是爬虫,这是一个流传很广的话,虽然有一点夸张成分,但是让爬虫行业的相关人员估算的话,爬虫制造的流量也至少在百分之五十以上。
有很多验证码之类的东西,除了防黑客之外,主要也是为了防爬虫的,虽然实际上除了麻烦到真正的网民之外,并没有什么卵用。
不过这么做的目的也是为了提高爬虫的成本,而不是为了防止他。
什么是网络爬虫,网络搜索引擎其实就是一种爬虫,但是这是一种良性的爬虫,并不会对网站的服务器造成太大的负担。
而数量最多的其实是商业爬虫。比如有三家卖一模一样商品的网站,如果网站的后台检测到了曾经有一个ip访问了网站,对于网站上的商品很感兴趣,但是并没有购买。
这个时候网站的负责人就会觉得是不是因为价格的原因导致了这个客户的流失,所以他就会雇人,或者成立专门的部门,从另外两家的网页上爬取商品价格进行对比,
当爬虫获取到了资料返回之后,另外两家的网站负责人就会发现,有一个ip访问了他们的网页,但是并没有购买他们的商品,他们就会觉得是其他的什么因素,比如他们的价格比不上其他两家的,他们的介绍写的不华丽,于是他们也会使用爬虫去爬取其他两家的商品资料,然后其他两家自然也发现了又有客户造访,但是没有购买商品,于是就这么无限循环了下去。
第(2/3)页