第1章 人工智能多媒体计算概述 1
1.1 媒体与人工智能多媒体计算的基本概念 2
1.1.1 媒体定义及类型 2
1.1.2 数字媒体 3
1.1.3 多媒体及人工智能多媒体计算 3
1.2 人工智能多媒体计算的发展历史 4
1.2.1 人工智能多媒体计算发展的第1个里程碑：超文本 5
1.2.2 人工智能多媒体计算发展的第2个里程碑：多媒体操作系统Alto 5
1.2.3 人工智能多媒体计算发展的第3个里程碑：多媒体计算机Amiga 6
1.2.4 人工智能多媒体计算发展的第4个里程碑：运动图像压缩MPEG-4标准 7
1.2.5 人工智能多媒体计算发展的第5个里程碑：iPod/iTunes及流媒体 8
1.2.6 人工智能多媒体计算发展的第6个里程碑：人工智能多媒体 10
1.2.7 人工智能多媒体计算发展的第7个里程碑：生成式融媒体 10
1.3　人工智能多媒体模态计算技术发展概述 11
1.3.1 人工智能多媒体文本信息计算的发展阶段 12
1.3.2 人工智能多媒体语音信息计算的发展阶段 13
1.3.3 人工智能多媒体图像信息计算的发展阶段 13
1.3.4 人工智能多媒体动画信息计算的发展阶段 14
1.3.5 人工智能多媒体图形信息计算的发展阶段 15
1.3.6 人工智能多媒体视频信息计算的发展阶段 16
1.4 人工智能多媒体计算的行业发展现状 17
1.4.1 人工智能多媒体计算的产业结构 17
1.4.2 人工智能多媒体计算的应用领域 19
1.5 本章小结 20
习题 20
第2章 人工智能多媒体计算的理论基础 21
2.1 人工智能多媒体计算的数学基础 21
2.1.1 微积分 21
2.1.2 线性代数 24
2.1.3 概率论 30
2.2 人工智能多媒体计算的信号处理基础 33
2.2.1 信号 33
2.2.2 信号滤波 33
2.2.3 信号分析 34
2.3 人工智能多媒体计算的信息论基础 36
2.3.1 香农通信系统模型 36
2.3.2 信息的度量 37
2.3.3 信源编码 38
2.3.4 信道编码 39
2.4 人工智能多媒体计算的人工智能基础 40
2.4.1 机器学习 40
2.4.2 深度学习 45
2.5 本章小结 48
习题 48
第3章 人工智能多媒体文本信息计算 49
3.1 人工智能文本信息计算基础及里程碑式成果 50
3.1.1 人工智能文本信息计算基础 50
3.1.2 人工智能文本信息计算发展里程碑 51
3.2 人工智能文本信息计算算法 53
3.2.1 词袋模型 53
3.2.2 词频-逆文档频率 54
3.2.3 潜在语义分析 55
3.2.4 知识图谱 55
3.2.5 词嵌入与Word2Vec 60
3.2.6 循环神经网络/长短期记忆与序列到序列 62
3.3 现代人工智能文本信息计算算法：注意力机制与ChatGPT 65
3.4 人工智能文本信息计算应用：图像描述生成 71
3.5 本章小结 72
习题 73
第4章 人工智能多媒体语音信息计算 74
4.1 人工智能语音信息计算基础及发展里程碑 75
4.1.1 人工智能语音信息计算基础 75
4.1.2 人工智能语音信息计算里程碑 79
4.2 人工智能语音信息计算算法 80
4.2.1 语音特征分析与梅尔频率倒谱系数 80
4.2.2 语音识别与隐马尔可夫模型 82
4.2.3 语音合成之基音同步叠加算法 86
4.2.4 语音压缩与MP3算法 88
4.2.5 说话人识别与高斯混合模型 90
4.3 现代人工智能语音信息计算算法 91
4.3.1 语音通用与深度神经网络 91
4.3.2 语音大模型与Whisper 93
4.4 人工智能语音信息计算应用：中文语音识别系统 93
4.5 本章小结 94
习题 95
第5章 人工智能多媒体图像信息计算 96
5.1 人工智能图像信息计算基础和发展里程碑 97
5.1.1 视觉与图像简介 97
5.1.2 人工智能图像信息计算发展里程碑 98
5.2 人工智能图像信息计算算法 99
5.2.1 图像边缘检测算法与Canny 99
5.2.2 图像压缩算法与JPEG 103
5.2.3 图像复原算法与暗通道先验 109
5.2.4 图像识别算法与AlexNet 113
5.2.5 图像生成算法与GAN 116
5.2.6 图像目标检测算法与YOLO 122
5.3 现代人工智能图像信息计算算法：分割一切模型 125
5.4 人工智能图像信息计算应用：图像语义分割工具 126
5.5 本章小结 128
习题 128
第6章 人工智能多媒体动画信息计算 129
6.1 人工智能动画信息计算基础及发展里程碑 130
6.1.1 人工智能动画信息计算基础 130
6.1.2 人工智能动画信息计算里程碑 130
6.2 人工智能动画信息计算处理算法 131
6.2.1 动画关键帧插值与贝塞尔曲线 131
6.2.2 动作捕捉与光学动作捕捉算法 133
6.2.3 动画路径规划算法与Dijkstra算法 135
6.2.4 骨骼动画与蒙皮算法 136
6.2.5 动画物理模拟与布料模拟算法 138
6.2.6 群体动画算法与Flock-and-Boid模型 140
6.3 现代人工智能动画信息计算算法：GANimation动画生成 142
6.4 人工智能动画信息计算应用：教育应用 143
6.5 本章小结 143
习题 144
第7章 人工智能多媒体图形信息计算 145
7.1 人工智能图形信息计算基础及发展里程碑 146
7.1.1 人工智能图形信息计算基础 146
7.1.2 人工智能图形信息计算发展里程碑 148
7.2 人工智能图形信息计算基础及发展里程碑 149
7.2.1 计算机图形学的开端——Sketchpad的发明 149
7.2.2 图形用户界面 150
7.2.3 虚拟现实技术 153
7.2.4 图形处理器 155
7.2.5 AR技术与Google Glass 164
7.3 现代人工智能图形信息计算算法：NeRF/3D GS 166
7.3.1 图形表达与NeRF 166
7.3.2 图形渲染与3D GS 170
7.4 现代人工智能图形信息计算应用：医疗场景 175
7.5 本章小结 177
习题 177
第8章 人工智能多媒体视频信息计算 178
8.1 人工智能视频信息计算基础及发展里程碑 179
8.1.1 人工智能视频信息计算简介 179
8.1.2 人工智能视频信息计算发展里程碑 181
8.2 人工智能视频信息计算算法 183
8.2.1 模拟视频与PAL 183
8.2.2 数字视频与CCIR 601 184
8.2.3 数字视频压缩与MPEG-4 185
8.2.4 流媒体与iPod/iTunes 190
8.2.5 互联网视频与YouTube 192
8.2.6 短视频与Musical.ly 194
8.3 现代人工智能视频信息计算算法：Sora 196
8.4 现代人工智能视频信息计算应用：手术场景分析 199
8.5 本章小结 199
习题 200
第9章 融媒体及生成式融媒体经典应用 201
9.1 生成式融媒体模型与GPT-4o 202
9.1.1 生成式融媒体基础模型 202
9.1.2 GPT-4o 202
9.2 图文生成式融媒体系统 203
9.3 通用生成式融媒体系统 204
9.4 生物学生成式融媒体系统 206
9.5 虚拟真实世界 210
9.6 本章小结 214
习题 214
第10章 人工智能多媒体信息融合系统 215
10.1 人工智能多媒体信息融合系统概述 215
10.2 虚拟数字人系统 216
10.2.1 虚拟数字人的概念 216
10.2.2 虚拟数字人的发展 217
10.2.3 虚拟数字人的应用 218
10.2.4 虚拟数字人的未来趋势 219
10.3 增强现实系统 219
10.3.1 增强现实的概念 220
10.3.2 HoloLens—从二维到三维的革新 220
10.3.3 Vision Pro—空间计算设备 221
10.3.4 增强现实的未来趋势 222
10.4 沉浸式游戏系统 223
10.4.1 沉浸式游戏概述 223
10.4.2 虚拟现实游戏 223
10.4.3 增强现实游戏 225
10.4.4 元宇宙游戏 227
10.4.5 沉浸式游戏的未来趋势 228
10.5 本章小结 229
习题 229
第11章 人工智能多媒体计算的未来 230
11.1 多模态生成式多媒体 231
11.1.1 多模态生成式多媒体概述 231
11.1.2 文本生成模型的新进展 231
11.1.3 语音合成领域的突破 232
11.1.4 图像、图形生成模型的新突破 232
11.1.5 视频、动画生成技术的创新 233
11.1.6 多模态生成式多媒体的总结与未来展望 233
11.2 多媒体智能体 233
11.2.1 多媒体智能体的定义与意义 233
11.2.2 传感器与自主行动响应 234
11.2.3 环境信息提取、分类与理解 235
11.2.4 内容编辑与创作 235
11.2.5 情感与语音内容分析 236
11.2.6 多媒体智能体发展的总结与未来展望 237
11.3 多媒体信息技术的发展潜力 237
11.3.1 多媒体信息技术概述 237
11.3.2 计算网络云端化 237
11.3.3 交互显示硬件 238
11.3.4 人工智能与多媒体内容 241
11.3.5 多媒体信息技术的总结与未来展望 241
11.4 多媒体安全与伦理 241
11.4.1 多媒体安全与伦理概述 241
11.4.2 隐私安全 241
11.4.3 技术安全与责任认定 242
11.4.4 算法偏见 242
11.4.5 就业问题与数字鸿沟 242
11.4.6 结语 243
11.5 本章小结 243
习题 243
参考文献 244
后记 247