刚刚入门音频信号处理的小懵懂们总是会问这些问题（这些问题均摘自知乎），比如语音信号处理包含但不限于语音合成、语音识别、语音情感分析、车辆声音信号处理、麦克风阵列信号处理等方面的问题。
我之前存在这些疑问，如今看到这些问题后，便想给出一个回答，以保证后来的初学者能够迅速入门，不会耽误他们的科研和学习。嘻嘻。
如果对大家有帮助，欢迎大家进行一键三连，包括分享、点赞和在看。
入门书籍
从入门书籍开始说起，推荐的入门书籍有以下这些基本书籍。阅读这些书籍，能够对音频信号处理的基础知识有个大致的了解，还能掌握一些基本的音频信号处理方法。本文推荐的书籍没有先后排名顺序，大家可以挑选合适的书籍来阅读。
图片取自天猫店铺，侵删
书籍介绍：
本书对语音信号处理的基础、原理、方法和应用进行了介绍，同时也介绍了该学科领域近年来所取得的一些新成果、新进展以及新技术。全书一共分为十二章。- 声源定位方面，有双耳听觉定位原理及方法、传声器阵列模型、基于传声器阵列的声源定位算法分类等。
书籍介绍：
这本书是《语音信号处理（第 3 版）》推荐的配套实验教材。这本实验教材对语音信号处理的基本理论进行了阐述。并且基于 MATLAB 介绍了语音信号处理的实现方法和关键技术。内容包含语音情感识别。与前面的书籍配套使用能取得较好效果，我在网上下载过与之对应的源码文件。因为公众号文章不能粘贴百度云链接，所以如有需要，可以私信公众号“语音信号处理实验源码”来获取文件。欢迎大家找我私聊以获取相关内容呀！（期待你们打开窗口与我私聊哦~）
书籍介绍：
语音信号处理属于数字信号处理的一个重要分支。本书包含诸多数字信号处理的方法以及 MATLAB 函数。全书的章节总数为 10 章。第 1 到 4 章主要介绍语音信号处理方面的一些基本分析方法以及手段，同时也介绍了与之对应的 MATLAB 函数；第 5 到 9 章则是介绍语音信号的预处理和特征提取，涵盖了消除趋势项以及基本的减噪方法等内容，还包括端点检测、基音的提取以及共振峰的提取等，并且阐述了利用语音信号进行处理的基本方法，给出了多种提取方法以及相应的 MATLAB 程序；第 10 章结合各种参数的检测，介绍了语音信号的合成、语音信号的变速和变调处理，同时也介绍了时域基音同步叠加（TDPSOLA）的语音合成，并且给出了相应的 MATLAB 程序。调试复杂程序的方法和思路在附录 A 中给出了。悄悄说：本书的源码程序我有，可通过私信公众号“MATLAB 语音信号分析与合成”来获取。
前面推荐了两本中文书籍，接着推荐英文书籍翻译过来的教材。倘若你对信号与系统的知识有所遗忘，那么可以购买这本教材，或者在网上下载奥本海姆的《离散时间信号处理》来查看。所以推荐的就是这本书，其 PDF 可私信公众号“离散时间信号处理”获取，若未下载，快来私信我吧！只求私信后，顺便打赏一下本文鸭，谢谢各位大佬！）
书籍介绍：
本书对离散时间信号处理的基本理论和方法进行了系统论述，它是国际信号处理领域里的一部经典权威教材。内容涵盖离散时间信号与系统，还有 z 变换；包含连续时间信号的采样；涉及线性时不变系统的变换分析；有离散时间系统结构；包含滤波器设计方法；涵盖离散傅里叶变换；涉及离散傅里叶变换的计算；包含利用离散傅里叶变换的信号傅里叶分析；有参数信号建模；包含离散希尔伯特变换；涉及倒谱分析与同态解卷积。
书籍介绍：
本书堪称语音信号处理领域最新且最好的指导书与参考资料。作者依据其所开设的麻省理工学院研究生课程，对语音信号处理的主要原理、重要应用以及最新研究动态进行了介绍，同时指明了新的研究方向的进展情况与局限性。全书在理论与应用之间达成了极佳的平衡状态。讲解了用于理解离散时间语音信号处理的完整理论基础。接着介绍了语音信号处理方面的重要研究进展，包括正弦语音处理、语音时频分析以及非线性声学语音产生模型。这些进展情况在以往任何一本语音信号处理教科书中都未曾提及。本书在应用部分详细介绍了这些内容：有语音编码，还有语音增强；有语音综合，也有说话人识别；有语音降噪，以及语音信号恢复；还有动态范围压缩等。值得留意的是，在本书的原理和应用部分合理地添加了极为完整的实例以及 MATLAB 习题。本书适宜作为数字语音处理及相关方向的研究生教材，也能供有关领域的研究人员参考阅读。
以下两本书是在知乎上被【微软亚洲研究院】推荐的，为了列全所以引用了一下。
Lawrence Rabiner 以及 Biing-Hwang Juang 所著的《Fundamentals of speech recognition》这本书由清华大学出版社于 1999 年出版。
书籍介绍：
这是一本关于构成现代机器语音识别系统的基础知识和理念的理论性、技术性描述书籍。它涵盖了语音信号的产生、感知和声学语音特征，信号处理识别、模式比较技术，语音识别系统以及语音设计和实现的分析方法，隐马尔可夫模型的理论与实现，基于连接词模型的语音识别，大词汇量连续语音识别以及自动语音识别的面向任务应用。
主要内容：
本书由两位语音领域的泰斗合著，一位是前贝尔实验室主任 L. Rabiner 教授，另一位是美国国家工程院院士庄炳煌教授。他们完整论述了现代语音识别的基本问题和思想，涵盖了语音信号的产生与感知，还有语音信号的声学以及语音学特征等方面，也涉及到语音识别的信号处理和分析方法、模式比较，以及语音识别系统的设计和实现。详细介绍了特定任务语音识别。
书籍介绍：
在卡内基梅隆大学，我们花费了许多年进行口语语言技术研究。之后，我们在微软开始了口语语言研发工作。
我们完全明白，将一个先进的口语研究系统转化为一个真正能帮助人们提高生产力且具有商业可行性的产品绝非是一项小任务。这本书是为具有不同学术和实践背景的人而准备的。
这本书对所有这些特殊兴趣群体都将是有用的。
我们用很多章节来系统地介绍理解语音识别、文本到语音合成以及口语理解如何工作所需的基本理论。
主要内容:
本书全面论述了口语处理中涉及的理论和实践问题。口语处理包含多种知识，如声学、音韵、语音、语言、语用、话语等，且是多样多层次的。它涉及计算机科学、电子工程、数学、语法和心理学等多个领域。其应用包括语音识别、语音合成和口语理解。本书对上述应用所需的理论基础进行系统介绍，这些理论基础包含概率统计、信息论、模式识别、语音信号处理、语音特征表达、语音编码。接着从实践角度详细介绍了语音识别系统，其中包括声学模型、环境鲁棒性、语言模型、搜索算法尤其是大词汇搜索算法、包含数据准备和词典的语音合成技术、结构化特征、文本归一化、韵律、合成方法。最后还介绍了口语理解的相关内容。本书涵盖了口语处理中的基本理论以及需要解决的实际问题。
俞栋、邓力以及俞凯等人对深度学习进行了解析，具体是在语音识别实践方面进行解析。该解析内容被收录于《解析深度学习：语音识别实践》这本书中，该书由电子工业出版社出版，出版时间是 2016 年。
书籍介绍：
以及以循环神经网络为代表的若干先进深度学习技术。本书适合这样的学生、研究者或从业者阅读，他们有一定的机器学习基础或者语音识别基础。对于所有的算法以及技术细节，都提供了非常详尽的参考文献。并且给出了深度学习在语音识别中应用的全貌。
书籍介绍：
本书主要介绍的是在互联网场景下的交互式实时语音处理流程。其内容涵盖了智能语音助手、智能音箱以及音/视频会议等方面。具体而言，包含了实时语音信号处理这一部分，还有数字音效，以及网络传输编/解码和语音唤醒识别这四个部分。本书在阐述各部分内容时，首先从基本概念和原理开始。接着将理论与实践相结合，并且细致地分析了具有极大商业价值的实例，以此来帮助读者了解相关算法在工程上的实现方式。此外，为了让有兴趣的读者能够快速进行算法验证，并且将其改进后应用到实际项目中，作者把书中算法的源码进行了开源。
上面的这些书籍是关于语音方面的。如果研究方向是麦克风阵列信号处理，那么有以下两本值得推荐的书籍。这两本书写得挺好，其中有些方法在阵列中较为常见，建议去阅读。
书籍介绍：
阵列信号处理是信号处理领域的重要分支之一。它通过传感器阵列来接收空间信号。与传统的单个定向传感器不同，阵列信号处理具备灵活的波束控制能力，能有较高的信号增益，有着极强的干扰抑制能力，还具有更高的空间分辨能力等优点。正因如此，它具有重要的军事和民事应用价值，且有着广阔的应用前景。具体而言，阵列信号处理在多个领域得到了应用。它被用于雷达领域，也被用于声纳领域，还被用于通信领域、地震勘探领域、射电天文领域以及医学诊断领域等多种国民经济和军事领域。本书一共有 12 章，其主要内容涵盖了波束形成这一方面，涵盖了 DOA 估计这一方面，涵盖了二维 DOA 估计这一方面，涵盖了宽带阵列信号处理这一方面，涵盖了阵列分布式信源定位这一方面，涵盖了阵列近场信源定位这一方面，涵盖了稀疏阵列信号处理这一方面，涵盖了向量传感器阵列信号处理这一方面以及它们的 MATLAB 实现等方面。
书籍介绍：
空间谱估计是阵列信号处理中的一个重要研究方向。它在雷达领域有极为广阔的应用前景，在通信领域也有极为广阔的应用前景，在声呐领域同样有极为广阔的应用前景。本书深入地论述了空间谱估计的理论，系统地论述了空间谱估计的算法，还论述了一些理论方法之间的关系，总结了作者多年来的研究成果，也总结了国际上这一领域的研究进展。主要内容包含多维空间谱估计。
推荐课程
看完之前的那些书籍之后，大部分小伙伴想必已经入门了。这里存在一些课程，能够推荐给大家，让大家同步进行学习。
李宏毅《深度学习人类语言处理》国语(2020)（视频教程）
课程链接
数字语音处理 李琳山2019
%E2%80%8B
哥伦比亚大学有一门 e6870Speech Recognition 课程，其相关内容可在 stanchen/spring16/e6870/outline.html 查看。
大作业需要账号才能进入，然而杨超前辈将一份没有答案的作业整理好并放置在 github 上。
许开拓前辈的答案：
这是一门名为 Automatic Speech Recognition 的课程。它主要涉及语音信号的处理与识别相关内容。通过该课程的学习，学生能够掌握语音识别的原理与技术。
19-20的Lectures：
18-19的Labs:
18-19的coursework:
J&M所指的是：Daniel Jurafsky 以及 James H. Martin（2008 年）所著的《Speech and Language Processing》，该书由 Pearson Education 出版（第二版）。
R&H 所指的是：S Renals 以及 T Hain 在 2010 年的相关内容。在《计算语言学与自然语言处理手册》中，由 A Clark、C Fox 和 S Lappin 编辑，Blackwells 出版，其关于语音识别的章节为第 12 章，页码范围是 299 - 332。
Reading list写的很详细，大家可以查阅
Tomas Hain 的那部分爱难以放下，大家能够自行去搜索《Computational Linguistics and Natural Language Processing Handbook》这本书，从 299 页开始便是 Speech Recognition 部分。
本课程为英国爱丁堡大学的最新语音识别课程。其内容包含背景理论的介绍，还有语音信号的分析。同时涵盖 HMM 声学模型，以及基于神经网络的声学模型。此外还有相关技术，如解码、对齐和加权有限状态机，区分性训练，说话人识别和多语言识别等。该课程会介绍语音识别领域的最新进展，也会介绍相关的经典论文。课程作业包含用 Kaldi 工具来构建识别系统，这样有助于学习者获取实践经验。
推荐理由：该课程的内容具有系统性，同时涵盖了诸多较新的技术进展。学习该课程后，读者可以对当下语音识别领域有全面且深入的认知。
UCL的声学所课程：
语音的基础课程是数字信号处理，其英文表达为 Digital Signal Processing.
这是 2011 年秋季的语言处理课程，课程内容非常详细。
斯坦福开设了 CS224S 这门课程，同时也开设了 LINGUIST285 这门课程，它们都与口语语言处理相关。
中国科学技术大学开设了《语音信号处理基础》这门课程。
~zhling/Course_SSP/
工作准备
学习了诸多课程之后，最终的去向可能是去寻找工作，也可能是继续攻读博士学位。倘若要去寻找工作，建议大家尽早做好以下这些准备：
刷题，主要是刷剑指 offer 以及 leetcode 等题目。要及早开始准备刷题，这样在找工作时才不会慌乱。
2、学习以上书籍和课程，夯实专业基础知识
简历模板的获取方式为：在百度上搜索“wondercv”或者“latex 工作室”，然后参考这些模板来修改自己的简历，此简历是之后找工作时需要准备的。
Tips:
找工作时若能找到内推，就先找内推。牛客网上可找到内推信息。面试经验、内推信息以及刷题相关事宜都可去牛客网。在牛客网的讨论区能看到这些信息。在线编程处有编程题。可去 leetcode 官网刷题。最好有一本算法书，以确保对算法和数据结构较为熟悉，因为面试官会问到相关概念。
参考资料：
语音及语言处理（SLP）课程，还有相关资料进行分享（在知乎上）。作者是莫吉托燃烧吧，他准备学习并研究一下语音识别，想询问有哪些值得推荐的书籍、论文以及开源库呢？作者是微软亚洲研究院。
END
交流群
欢迎加入公众号读者群，与“音频信号处理”的小伙伴进行交流。目前群里有来自各个公司的师兄师姐，他们可以帮忙内推；还有在读的同学。你可以在公众号聊天框私信“加群”，并备注“昵称+学校/公司+研究方向”，比如“张三+上海交大/字节跳动+语音识别”，请按照此格式备注，谢谢合作！添加进群后，可在群里发送招聘、求职广告。若要发送其他广告，需咨询群主是否可以发送。谢谢理解~
投稿、合作欢迎联系：Boener@163.com
互动时刻：
对于音频信号处理入门，你有什么建议，欢迎点击留言板留言！
转一转
赞一赞
看一看
