![](https://static.youtibao.com/asksite/comm/h5/images/m_q_title.png)
[单选题]
()又称全网爬虫,爬行对象由一批种子URL扩充至整个Web,主要为门户站点、搜索引擎和大型Web服务提供商采集数据
A.深层页面爬虫
B.增量式网络爬虫
C.聚焦网络爬虫
D.通用网络爬虫
![](https://static.youtibao.com/asksite/comm/h5/images/m_q_a.png)
D、通用网络爬虫
![](https://static.youtibao.com/asksite/comm/h5/images/solist_ts.png)
A.深层页面爬虫
B.增量式网络爬虫
C.聚焦网络爬虫
D.通用网络爬虫
D、通用网络爬虫
A.其基本方法是按照深度由低到高的顺序,依次访问下一级网页链接,直到不能再深入为止
B.处于较浅目录层次的页面都可以首先被爬行
C.爬虫在完成一个爬行分支后返回到上一链接节点进一步搜索其它链接,直到所有链接遍历完
D.比较适合垂直搜索或站内搜索
A.它更容易构建大规模的抓取项目
B.它同步处理请求,速度非常快
C.它可以使用自动调节机制自动调整爬行速度
D.提供了一个爬虫任务管理界面,可以实现爬虫的停止,启动,调试,支持定时爬取任务
A、通用网络爬虫通常采用并行工作方式,但需要较长时间才能刷新一次页面。
B、通用网络爬虫适用于为搜索引擎搜索广泛的主题,有较强的应用价值。
C、聚焦爬虫根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。
D、增量式爬虫在需要的时候爬行新产生或发生更新的页面,并重新下载所有页面