点点网站开发技术分享

运行爬虫时，控制台会打印出scrapy日志信息，我们可以控制scrapy日志显示等级。

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。

Selenium是针对Web应用的开源自动化测试工具，通过编写模拟用户操作的脚本，它会打开浏览器Web应用进行黑盒测试。可以方便的用于功能测试、兼容性测试、 稳定性测试及并发测试。目前已被主流浏览器厂商广泛支持，同时也是很多其它自动化测试工具(比如，RobotFramework)的底层核心技术。

之前用php的时候也爬取过别人网站的数据，那时候采集数据，感觉自从python火起来之后就变为爬虫了，甚至让人觉得一说到爬虫代指的就是python了，不过想想来看使用python制作爬虫比当年使用php采集简直容易简单的太多了，php那时候只能自个写正则进行繁琐的匹配，python不光可以使用正则，第三方库使用xpath和BeautifulSoup进行目标解析让我不用正则就能轻松爬取到想要的数据，一个字“太爽了”！！！

openpyxl模块是一个读写Excel 2010文档的Python库，如果要处理更早格式的Excel文档，需要用到额外的库，openpyxl是一个比较综合的工具，能够同时读取和修改Excel文档。其他很多的与Excel相关的项目基本只支持读或者写Excel一种功能。