第 1篇 数据采集　1
项目１ 了解数据采集　2
项目描述　2
知识准备　3
1.1　大数据　3
1.1.1　数据来源　3
1.1.2　数据类型　3
1.2　数据采集　4
1.2.1　数据采集的三大要求　4
1.2.2　数据采集方式　4
1.3　数据采集的应用行业　5
项目实施 “石头剪刀布”图像数据采集　6
1.4　实施思路　6
1.5　实施步骤　6
知识拓展　12
课后实训　12
项目２ 了解网络数据采集　14
项目描述　14
知识准备　15
2.1　网络爬虫的原理及流程　15
2.2　网页结构：HTML　15
2.3　第三方库：BeautifulSoup4　16
项目实施 爬取“石头剪刀布”静态页面数据　17
2.4　实施思路　17
2.5　实施步骤　18
知识拓展　21
2.6 urllib　22
2.7 requests　22
课后实训　23
项目３ 了解端侧数据采集　24
项目描述　24
知识准备　24
3.1　端侧数据采集概述　24
3.1.1 数据采集系统　25
3.1.2 数字输入/输出模块　25
3.1.3 模拟输入/输出模块　25
3.1.4 数据采集卡　25
3.2 数据采集端侧设备　25
3.2.1 图像采集设备：CCD传感器与CMOS传感器　26
3.2.2 音频采集设备：麦克风　27
3.3 端侧数据采集方式　27
3.3.1 图像采集　27
3.3.2 语音采集　28
3.4 EasyData智能数据服务平台　28
项目实施 视频抽帧数据采集　29
3.5 实施思路　29
3.6 实施步骤　29
知识拓展　31
课后实训　32
项目４ 数据存储与加载　33
项目描述　33
知识准备　34
4.1 数据编码　34
4.1.1 图像编码　34
4.1.2 文本编码　34
4.2 数据存储格式　35
4.2.1 图像数据存储格式　35
4.2.2 文本数据存储格式　36
4.3 数据加载及存储　37
4.3.1 图像数据加载及存储　37
4.3.2 文本数据加载及存储　38
项目实施 加载、操作并存储Excel表格文件　39
4.4 实施思路　39
4.5 实施步骤　39
知识拓展　40
课后实训　41
第 2篇 数据处理　42
项目５ 了解数据处理　43
项目描述　43
知识准备　43
5.1 数据处理工具　43
5.2 数据处理步骤　44
5.2.1 数据清洗　44
5.2.2 数据分析　45
5.2.3 数据可视化　45
5.3 数据处理行业应用　46
5.3.1 人脸识别　46
5.3.2 工业自动化　46
5.3.3 机器翻译　46
5.3.4 医疗健康分析　47
项目实施 EasyData处理文本数据　47
5.4 实施思路　47
5.5 实施步骤　47
知识拓展　52
课后实训　53
项目６ 图像数据处理　54
项目描述　54
知识准备　54
6.1 图像基础知识　54
6.1.1 图像的概念　55
6.1.2 图像的存储方式　55
6.2 图像数据处理方法　55
6.2.1 图像数据清洗　55
6.2.2 图像数据分析　56
6.2.3 图像数据可视化　56
6.3 Python库介绍　56
6.3.1 OpenCV库　56
6.3.2 Matplotlib库　57
6.3.3 os库　57
项目实施 “石头剪刀布”图像处理　58
6.4 实施思路　58
6.5 实施步骤　58
知识拓展　64
6.6 图像水平翻转　64
6.7 图像垂直翻转　66
6.8 图像对角翻转　66
课后实训　67
项目７ 文本数据处理　68
项目描述　68
知识准备　68
7.1 文本数据处理的应用　68
7.2 文本数据处理方法　69
7.2.1 文本数据清洗　69
7.2.2 文本数据分析与可视化　72
项目实施 对话情感倾向分析　73
7.3 实施思路　73
7.4 实施步骤　74
知识拓展　80
7.5 正态分布图法　80
7.6 聚类算法　80
课后实训　80
第3篇 数据标注　82
项目８ 了解数据标注　83
项目描述　83
知识准备　83
8.1 数据标注的概念　83
8.2 数据标注的类型　84
8.3 数据标注的意义　84
8.4 数据标注在行业中的应用　84
8.4.1 智能交通　84
8.4.2 智能语音　85
8.4.3 智能金融　85
8.4.4 智能家居　86
8.4.5 电子商务　86
项目实施 标注“花卉识别”数据集　87
8.5 实施思路　87
8.6 实施步骤　87
知识拓展　92
8.7 数据标注的难题　92
8.8 数据标注的角色　93
课后实训　93
项目９ 图像数据标注　94
项目描述　94
知识准备　94
9.1 常见的图像数据标注工具　94
9.2 常用的数据标注数据集　95
9.3 图像数据标注质量标准　96
9.4 图像数据标注的应用领域　96
9.4.1 自动驾驶领域　96
9.4.2 工业质检领域　98
9.4.3 智能安防领域　98
项目实施 标注“垃圾分类”数据集　99
9.5 实施思路　99
9.6 实施步骤　99
知识拓展　102
课后实训　103
项目10 文本数据标注　104
项目描述　104
知识准备　104
10.1 文本实体标注　104
10.2 文本情感分类标注　105
10.3 文本相似度标注　105
项目实施 标注“微博文本情感分类”数据集　105
10.4 实施思路　105
10.5 实施步骤　106
知识拓展　108
课后实训　108
第4篇 深度学习应用实战　110
项目11 深度学习图像分类应用实战　111
项目描述　111
知识准备　111
11.1 智能垃圾分类的行业背景　111
11.2 智能垃圾分类的流程　112
11.2.1 数据标注　112
11.2.2 模型训练　114
11.3 智能垃圾分类的应用　115
项目实施 垃圾分类　116
11.4 实施思路　116
11.5 实施步骤　116
知识拓展　138
课后实训　139
项目12 深度学习情感分析应用实战　140
项目描述　140
知识准备　140
12.1 情感分析的行业背景　140
12.2 智能情感分析的流程　142
12.2.1 数据准备　142
12.2.2 数据处理　142
12.2.3 数据标注　143
12.2.4 模型训练　143
项目实施 情感分析　144
12.3 实施思路　144
12.4 实施步骤　144
知识拓展　159
课后实训　160