A.简单低级的网络爬虫,数据采集速度快,伪装度低,如果没有反爬机制,它们可以很快地抓取大量数据,甚至因为请求过多,造成网站服务器不能正常工作,影响了企业的业务开展
B.反爬机制也是一把双刃剑,一方面可以保护企业网站和网站数据,但是,另一方面,如果反爬机制过于严格,可能会误伤到真正的用户请求
C.如果既要和“网络爬虫”死磕,又要保证很低的误伤率,那么又会增加网站研发的成本
D.反爬机制不利于信息的自由流通,不利于网站发展,应该坚决取消
B.为搜索引擎从万维网上下载网页,是搜索引擎的重要组成部分
C.爬虫从一个或若干个初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件
D.网络爬虫的行为和人们访问网站的行为是完全不同的