Python下的爬虫库，一般分为3类。抓取类urllib(Python3)，这是Python自带的库，可以模拟浏览器的请求，获得Response用来解析，其中提供了丰富的请求手段，支持Cookies、Headers等各类参数，众多爬虫库基本上都是基于它构建的。建议学习了解一下，因为有些罕见的问题需要通过底层的方式解决。
requests，基于urllib，但是更方便易用。强烈推荐掌握。解析类re：正则表达式官方库，不仅仅是学习爬虫要使用，在其他字符串处理或者自然语言处理的过程中，这是绕不过去的一个库，强烈推荐掌握。BeautifulSoup：方便易用，好上手，推荐掌握。通过选择器的方式选取页面元素，并获取对应的内容。
lxml：使用lxml.etree将字符串转换之后，我们可以使用XPath表达式来解析网页，终极推荐。XPath对于网页解析的支持非常强大，而且很容易上手。它本来是设计出来进行XML元素选择的，但是它同样支持HTML。pyquery：另一个强大的解析库，感兴趣的可以学习下。综合类selenium：所见即所得式爬虫，综合了抓取和解析两种功能，一站式解决。
很多动态网页不太容易通过requests、scrapy直接抓取，比如有些url后边带了加密的随机数，这些算法不太好破解，这种情况下，只能通过直接访问网址、模拟登陆等方式请求到页面源码，直接从网页元素中解析内容，这种情况下，Selenium就是最好的选择。不过Selenium最初设计出来，是用于测试的。
强烈推荐。scrapy：另一个爬虫神器，适合爬取大量页面，甚至对分布式爬虫提供了良好的支持。强烈推荐。以上这些是我个人经常使用的库，但是还有很多其他的工具值得学习。比如Splash也支持动态网页的抓取；Appium可以帮助我们抓取App的内容；Charles可以帮助我们抓包，不管是移动端还是PC网页端，都有良好的支持；pyspider也是一个综合性的框架；MySQL(pymysql)、MongoDB(pymongo)，抓到了数据就要存储，数据库也是绕不过去的。
哪些Python库让你相见恨晚？
python中令人拍案叫绝的库实在太多了。python本身就是万能胶水，众多强大的库/模块正是它的优势。这里仅仅简单举些例，排名不分先后。文末附python库大全。1、爬虫神器scrapy框架。配上scrapy-redis组件，轻松开发一个分布式爬虫。言语无法表达我的景仰。2、matplotlib绘图库，绘图神器。
3. you-get下载神器。国内外主流如的60多个网站的视频都支持下载。下图勾分别为支持视频、图像、音频。使用方法也是超简单，以下是个人下载哔哩哔哩李宏毅教授的视频。基本满速下载。4. 顺便说说另一个下载利器wget，只要给下载地址，就能下载。5. jieba 中文分词工具6.pip 相信用过python的人都知道pip install。
7.Django框架，Python 界最流行的 web 框架。8.PIL,图像处理模块。个人的《网络爬虫之简单验证码识别》就有用到此模块。9. logging ，日志功能模块，使用超简单超方便。10. keras，以 tensorflow 或者 theano 为后端的深度学习封装库，快速上手神经网络。
11. plotly，协同 Python 和 matplotlib 工作的 web 绘图库真的太多了，具体还是看python资源大全1.英文版。https://github.com/vinta/awesome-python2.对应中文翻译。https://github.com/jobbole/awesome-python-cn如果对您有帮助，请您点赞支持，谢谢。
