第1章　使用第三方库实现信息抓取 1
任务1　使用第三方库实现北京公交站点页面信息抓取 2
1.1.1　介绍爬虫 2
1.1.2　HTTP 5
1.1.3　HTML 9
1.1.4　使用第三方库实现爬虫功能 10
1.1.5　技能实训 14
任务2　使用第三方库实现北京公交站点详细信息抓取 14
1.2.1　lxml库 14
1.2.2　第三方库数据抓取及保存 17
1.2.3　技能实训 19
本章小结 19
本章作业 20

第2章　初探Scrapy爬虫框架 21
任务1　安装Scrapy爬虫框架并创建爬虫工程 22
2.1.1　根据使用场景划分爬虫种类 22
2.1.2　开发基于Scrapy爬虫框架的工程 25
任务2　学习并掌握Scrapy爬虫框架各模块的功能 30
2.2.1　Scrapy爬虫工程组成 30
2.2.2　Scrapy爬虫框架架构 34
本章小结 36
本章作业 36

第3章　提取网页数据 37
任务1 使用Scrapy的选择器提取豆瓣电影信息 38
3.1.1　Response对象 38
3.1.2　css选择器 42
3.1.3　多层级网页爬取 44
3.1.4　技能实训 49
任务2　使用正则表达式从电影介绍详情中提取指定信息 50
3.2.1　正则表达式 50
3.2.2　技能实训 55
本章小结 55
本章作业 55

第4章　Scrapy数据保存（文件、MySQL、MongoDB） 57
任务一　使用Feed exports将爬取的电影信息保存到常见数据格式文件中 58
4.1.1　Feed exports 58
4.1.2　技能实训 62
任务2　使用pipeline将爬取的电影信息数据保存到数据库中 63
4.2.1　Python操作MySQL数据库 63
4.2.2　pipeline模块 66
4.2.3　将数据保存到MongoDB中 68
4.2.4　技能实训 73
本章小结 73
本章作业 73

第5章　Scrapy反反爬技术 75
任务1 学习反爬虫和反反爬虫策略 76
5.1.1　反爬虫方法和反反爬虫策略 76
5.1.2　Scrapy设置实现反反爬 78
5.1.3　技能实训 85
任务2　学习Scrapy框架中更多常用的设置 86
5.2.1　抓取需要登录的网站 86
5.2.2　Scrapy常用扩展设置 90
本章小结 91
本章作业 91

第6章　Selenium+浏览器加载动态数据 93
任务一　使用Selenium和第三方浏览器驱动完成搜狐网页信息爬取 94
6.1.1　静态网页与动态网页 94
6.1.2　爬虫抓取动态网页的常用方法 98
6.1.3　Selenium+Chrome driver 100
6.1.4　技能实训 102
任务二　使用Selenium+Chrome+Scrapy完成京东商品信息爬取 102
6.2.1　Selenium的使用 102
6.2.2　Selenium提高效率的方法 108
6.2.3　技能实训 111
本章小结 111
本章作业 111

第7章　App数据爬取 113
任务一　使用Scrapy爬虫框架爬取雪球App基金频道新闻列表数据 114
7.1.1　App数据爬取介绍 114
7.1.2　App数据接口分析方法 116
7.1.3　使用Scrapy爬取App数据 126
7.1.4　技能实训 129
任务2 使用Scrapy爬虫框架爬取知乎App推荐栏目列表数据 129
7.2.1　爬取使用证书校验技术的App数据 130
7.2.2　技能实训 134
本章小结 134
本章作业 134

第8章　分布式爬虫Scrapy-Redis 135
任务1 搭建分布式爬虫运行环境 136
8.1.1　分布式爬虫框架介绍 136
8.1.2　搭建分布式爬虫运行环境 140
任务2 使用分布式爬虫完成对火车信息的爬取 147
8.2.1　Scrapy-Redis分布式爬虫 147
8.2.2　技能实训 153
本章小结 153
本章作业 154

第9章　Python数据分析 155
任务1 使用Pandas统计招聘信息中城市名称出现的次数 156
9.1.1　Python数据分析 156
9.1.2　NumPy 159
9.1.3　Pandas 163
9.1.4　技能实训 170
任务2　使用Matplotlib实现招聘信息中城市名称出现次数的可视化展示 170
9.2.1　数据可视化 170
9.2.2 技能实训 174
本章小结 174
本章作业 174

第10章　项目实训——爬取招聘网站数据 175
10.1 项目准备 176
10.2 难点分析 180
10.3 项目实现思路 187
本章小结 199
本章作业 199