目　录
基础篇
第 1章　Python基础及网络爬虫　1
1.1　了解Python语言　1
1.1.1　Python是什么　1
1.1.2　Python的应用现状　2
1.2　配置安装Python开发环境　3
1.2.1　在Windows上安装　3
1.2.2　在Ubuntu和macOS上安装　3
1.2.3　IDE的使用：以PyCharm为例　4
1.2.4　Jupyter Notebook简介　6
1.3　Python基础知识　7
1.3.1　“Hello,World!”与数据类型　7
1.3.2　逻辑语句　12
1.3.3　Python中的函数与类　14
1.3.4　更深入了解Python　16
1.4　互联网、HTTP与HTML　16
1.4.1　互联网与HTTP　16
1.4.2　HTML　17
1.5　Hello Spider　19
1.5.1　编写第 一个爬虫程序　19
1.5.2　对爬虫的思考　21
1.6　分析网站　22
1.6.1　robots.txt与Sitemap简介　22
1.6.2　网站技术分析　24
1.6.3　网站所有者信息分析　25
1.6.4　使用开发者工具检查目标网页　26
章节实训：Python环境的配置与爬虫的运行　28
思考与练习　28
第 2章　静态网页抓取　29
2.1　从抓取开始　29
2.2　正则表达式　30
2.2.1　什么是正则表达式　30
2.2.2　正则表达式的简单使用　31
2.3　BeautifulSoup爬虫　33
2.3.1　安装BeautifulSoup　33
2.3.2　BeautifulSoup的基本用法　35
2.4　XPath与lxml　37
2.4.1　XPath　37
2.4.2　lxml与XPath的使用　38
2.5　遍历页面　40
2.5.1　抓取下一个页面　40
2.5.2　完成爬虫　41
2.6　使用API　42
2.6.1　API简介　42
2.6.2　API使用示例　44
章节实训：哔哩哔哩直播间信息抓取练习　47
思考与练习　47
第3章　数据存储　48
3.1　Python中的文件　48
3.1.1　Python中的文件读写　48
3.1.2　对象序列化　50
3.2　Python中的字符串　50
3.3　Python中的图片　51
3.3.1　PIL与Pillow模块　51
3.3.2　Python与OpenCV简介　53
3.4　CSV文件　54
3.4.1　CSV简介　54
3.4.2　CSV的读写　54
3.5　数据库的使用　56
3.5.1　MySQL的使用　56
3.5.2　SQLite 3的使用　57
3.5.3　SQLAlchemy的使用　58
3.5.4　Redis的使用　59
3.5.5　MongoDB的使用　60
3.6　其他类型的文档　61
章节实训：使用Python 3读写SQLite 3数据库　63
思考与练习　64
进阶篇
第4章　JavaScript与动态内容　65
4.1　JavaScript与AJAX技术　65
4.1.1　JavaScript语言　65
4.1.2　AJAX　68
4.2　抓取AJAX数据　69
4.2.1　分析数据　69
4.2.2　数据提取　72
4.3　抓取动态内容　76
4.3.1　动态渲染页面　76
4.3.2　使用Selenium　76
4.3.3　PyV8与Splash　81
章节实训：抓取人民邮电出版社热销图书信息　83
思考与练习　84
第5章　模拟登录与验证码　85
5.1　表单　85
5.1.1　表单与POST　85
5.1.2　POST发送表单数据　87
5.2　Cookie　89
5.2.1　Cookie简介　89
5.2.2　在Python中Cookie的使用　90
5.3　模拟登录网站　91
5.3.1　分析网站　91
5.3.2　Cookie方法的模拟登录　92
5.4　验证码　94
5.4.1　图片验证码　94
5.4.2　滑动验证　96
章节实训：通过Selenium模拟登录Gitee并保存Cookie　99
思考与练习　99
第6章　爬虫数据的分析与处理　100
6.1　Python与文本分析　100
6.1.1　文本分析简介　100
6.1.2　jieba与SnowNLP　101
6.1.3　NLTK　104
6.1.4　文本分类与聚类　106
6.2　数据处理与科学计算　108
6.2.1　从MATLAB到Python　108
6.2.2　NumPy　108
6.2.3　Pandas　112
6.2.4　Matplotlib　116
6.2.5　Scipy与SymPy　118
章节实训：美国新冠疫情每日新增人数的可视化　119
思考与练习　119
提高篇
第7章　爬虫的灵活性和多样性　120
7.1　爬虫的灵活性——以微信数据抓取为例　120
7.1.1　用Selenium抓取网页版微信数据　120
7.1.2　基于Python的微信API工具　123
7.2　爬虫的多样性　125
7.2.1　在BeautifulSoup和XPath之外　125
7.2.2　在线爬虫应用平台　127
7.2.3　使用urllib　129
7.3　爬虫的部署和管理　134
7.3.1　使用服务器部署爬虫　134
7.3.2　本地爬虫程序的编写　137
7.3.3　爬虫的部署　140
7.3.4　实时查看运行结果　141
7.3.5　使用框架管理爬虫　142
章节实训：基于PyQuery抓取菜鸟教程　144
思考与练习　145
第8章　Selenium模拟浏览器与网站测试　146
8.1　测试　146
8.1.1　什么是测试　146
8.1.2　什么是TDD　146
8.2　Python的单元测试　147
8.2.1　使用unittest　147
8.2.2　其他方法　149
8.3　使用Python网络爬虫测试网站　150
8.4　使用Selenium测试　152
8.4.1　使用Selenium测试常用的网站交互　152
8.4.2　结合Selenium进行单元测试　153
章节实训：使用Selenium抓取百度搜索引擎中关于“爬虫”的结果　154
思考与练习　155
第9章　爬虫框架Scrapy与反爬虫　156
9.1　爬虫框架　156
9.1.1　Scrapy简介　156
9.1.2　安装与学习Scrapy　157
9.1.3　Scrapy爬虫编写　159
9.1.4　其他爬虫框架介绍　161
9.2　网站反爬虫　162
9.2.1　反爬虫策略简介　162
9.2.2　伪装headers　163
9.2.3　代理IP的使用　165
9.2.4　控制访问频率　168
章节实训：使用“反反爬虫”策略抓取某日报网头版的标题内容　168
思考与练习　169
实战篇
第 10章　实战：保存感兴趣的图片　170
10.1　豆瓣网分析与爬虫设计　170
10.1.1　从需求出发　170
10.1.2　处理登录问题　171
10.2　编写爬虫程序　173
10.2.1　爬虫脚本　173
10.2.2　程序分析　176
10.2.3　运行并查看结果　178
第 11章　实战：抓取二手房数据并绘制热力图　179
11.1　数据抓取　179
11.1.1　网页分析　179
11.1.2　代码编写　181
11.1.3　运行并查看结果　183
11.2　绘制热力图　184
第 12章　实战：北京大兴国际机场航班出发时间数据抓取　189
12.1　程序设计　189
12.1.1　网页分析　189
12.1.2　将数据保存到数据库　190
12.2　爬虫编写　191
12.2.1　前置准备　191
12.2.2　代码编写　192
12.2.3　运行并查看结果　195
参考文献　　196