在爬虫技术开发方面，爬虫分为三类爬虫：（1）分布式爬虫：Nutch（2）JAVA爬虫：Crawler4j、WebMagic、WebCollector（3）非JAVA爬虫：scrapy（基于Python语言开发）分布式爬虫一般应用于大量数据爬取，用于爬取海量URL的场景。
爬虫可以干什么？
现在互联网行业这么发达,每天在互联网上出现的数据不计其数.我们仅以一个网站来说,他每天的信息变化就很多.你要想靠人工去收集这些信息,肯定不现实的.这就出现了爬虫技术.我们让机器来帮助我们收集信息.这样就可以不肥力气掌握一点信息了.爬虫主要还是用来抓数据的,那我们可能有疑问,数据有什么用.当然,对于我们这种平头老百姓,再多的数据也不过是文字.但是对于一些企业.有了这些数据就可以做分析.可以批量加工成自己的信息.当然你爬虫,你也可以爬自己的api接口,这就演变出来自动化测试的东西.爬虫这种事,毕竟是`窃取`别人的东西,自己偷偷的爬点小电影啥的玩玩就好,不能搞太大,搞太大,就有人搞你了 .哈哈~~。
用爬虫技术能做到哪些有趣的事情？
导语：大数据时代，爬虫技术的作用，超出很多人的想象。爬虫是啥可能有些小伙伴不太清楚爬虫技术，这边用比较简单的例子，跟各位小伙伴普及下，可能有些地方不够严谨，不过大概意思应该差不多。我们最常接触的爬虫技术，大概是：百度的搜索引擎。可能有些一看到“搜索引擎”这个词，就不想往下看。那么我用更简单的方式来说明，“搜索引擎”就是基于爬虫技术。
你可以把这个玩意当做一只蜘蛛。蜘蛛在一张蜘蛛网上面爬来爬去的，找寻它的食物，这只蜘蛛就是爬虫，这张网就是互联网。那么百度的蜘蛛干了什么事情呢？我们每天，互联网都会诞生千万亿的信息，而这只蜘蛛就在互联网上，到处爬取信息，把对它有用的信息，收录起来。当用户搜索的某个词的时候，蜘蛛就会把他搜集到信息，展示给各位小伙伴查看。
这个是最简单的搜索引擎！不过期间包含非常多的核心算法，小编也不懂，不过上述应该能够让大家了解什么是爬虫技术。应该有很多互联网工作的小伙伴都懂这个原理，他们口中会经常说“蜘蛛”，基本上就是指这个。只不过有时候对象可能变成“谷歌”“搜搜”或者“360搜索”，但是基础原理都差不多。爬虫的作用那么爬虫技术有什么作用？用简单粗暴的方式来回答，现在是大数据时代，数据就是王的时代，爬虫技术是获取数据快速而有效的方法。
比如你是一家生产女性bra的商家，你想想要生产销量非常好的bra，那么你想知道，我们天朝的妹纸们底哪些款式或者颜色。甚至你还想细分到各个年龄层，17岁到25岁的妹纸喜欢什么款式，25岁到35岁的妹纸喜欢什么款式。那么这个时候要怎么办？最简单的方法，就是去看下各个电商平台上，售卖出去信息，而这些数据太过庞大，靠人工去统计，基本上是不可能。
这个时候爬虫技术就非常有用了！比如w3cschool上100多个免费的爬虫实战中，就有一个上述的项目！小伙伴如果对python爬虫技术有兴趣的话，可以私信w3cshool“爬虫”。来免费试学《python零基础入门》和《python爬虫技术：完全掌握爬虫技术》的信息！同时还搭载100多个免费的python爬虫小项目！爬虫技术能做什么除了上述一个比较神奇的例子之外，其实爬虫还能够做很多事情！上面那张图，都是爬虫技术在的实际运用，而且！是免费，提供源代码，获取方式上面已经提到了。
具体的还包含机器学习，大数据分析等比较好玩的技术。另外有些小伙伴问为什么要用python，这边得澄清下，爬虫技术不仅仅是python这门编程语言可以实现，Java、PHP都可以做到，而且也能做的非常好！只是目前爬虫技术领域比较热门的编程语言是python，所以小编用python来举例！以上，如果你喜欢这篇文章，给我来个赞，好么。
爬虫是什么？为什么Python使用的比较多？
首先您应该明确，不止 Python 这一种语言可以做爬虫，诸如 PHP、Java、C/C 都可以用来写爬虫程序，但是相比较而言 Python 做爬虫是最简单的。下面对它们的优劣势做简单对比：PHP：对多线程、异步支持不是很好，并发处理能力较弱；Java 也经常用来写爬虫程序，但是 Java 语言本身很笨重，代码量很大，因此它对于初学者而言，入门的门槛较高；C/C 运行效率虽然很高，但是学习和开发成本高。
