重读R.Rabbinner数字语音信号处理—Chap2 The Speech Signal

这章主要讲一下 Phonetic representation 以及production of speech

如何表示语音

  1. phonemes 音素,有限的集合,大部分语言来说,phoneme的数量大概在32-64之间。
  2. 英语的话有ARPAbet表 / allophonic 变音,比如glottal(声门的停顿或者停止)
    • 这个表和第一章给出的一个图有点像,用英语的24个字母来表示这些,不需要其他的字母。
    • diphthongs 双元音,glides 喉音, nasals 鼻音, stops/plosives 爆破音,fricatives 擦音, affricates 塞擦音
    • 很多时候,phonemes在频域上都不一样,尽管SH 和 S 看起来像随机的噪声,但是元音的话,/UH/, /IY/ 和/EY/在结构上都是highly structures 而且是quasi-periodic(准周期的)
    • 有时间可以稍微入门一下,纠正一下发音以及理解语音。

Speech Production的模型

原书的图实在太过于简陋,在Voice Acoustics: an introduction[1]扒了张图下来,同时发现…这个入门网站将的东西还不错.

Source Filter Model
  • vocal tract,as a tube of nonuniform cross-sectional(横截面积非均匀) area that is bounded at one end by the vocal cords and at the other by the mouth opening. 声道,一端是声带,一段是嘴巴,和这两端的移动有关(中英文表达还真不一样

  • Voiced sound包括vowels,liquids/W/,glides and nasals,此时glottal周期性的开和关。声带也在变化。

  • unvoiced sound, created by constriction(收缩) in vocal tract.比如/SH/和/S/

  • 声带收缩constriction 和 quasi-periodic vocal tract vibration,比如/V/,/Z/

  • Plosive sounds /P/ and affricates such as /CH/ are formed by momentarily closing off air flow.

  • 关于formants,这段可以说是看了两遍才看懂。vocal tract 的变化和时域信号变化相比,还是很慢的,其实可以看做是声源,The resonance(谐振)是因为发音器官的变化。这些谐振频率叫做formant frequencies of the sound. The fine structure of the time waveform is created by the sound sources in the vocal tract, and the resonances of the vocal tract tube shape these sound sources into the phonemes.

  • 下面这张图[2]是从网上扒的

    Fant’s source -filter model of speech production:
  • 因为vocal tract的变化比较慢,所以我们可以假设在10ms内系统的相应差别不大

  • 这个线性系统的方程可以表示为
    H(z) = \frac{\sum_{k=0}^{M}b_kz^{-k}}{1-\sum_{k=1}^{N}a_kz^{-k}} =\frac{b_0\prod_{k=1}^{M}(1-d_kz^{-1})}{\prod_{k=1}^{N}(1-c_kz^{-1})}
    其中a_k是filter bank的系数(峰值),b_k是vocal tract的参数(一秒钟改变50-100次)。

    一些极点c_k 和单位圆(unit circle)很近,产生resonance来建模formant. 而且有时候用零点d_k来角膜nasal鼻音和fricative擦音。然而很多应用只包含了极点,这样参数估计能简单一点。

  • 对于Voiced Sound, 声门(glottal)的激励(excitation)决定了音高(pitch),周期性的平滑的glottal pulses 有一条harmonic line spectrum(谐波谱线), 随着频率身高,幅度下降。

  • 对于unvoiced sound, the linnear system is excited by a random number generator that produces a discrete-time noise signal with flat spectrum.

  • 在短时间内,是不变的。

More Refined Models

  1. 上面的介绍的模型,虽然适用于大部分语音处理的场景,但是based on many approximations, 有很多近似化处理,包括声源和这个系统是不相干的,是线性系统,离散连续时域声道能被近似为一个离散线性时不变(distributed continuous-time vocal tract system can be modeled by discrete linear time-invarient system).
  2. Fluid mechanics(流体力学)和acoustic wave propagation theory are fundamental physical principles.
  3. 后面还有很多人,对glottal flow, interaction of the glottal source and vocal tract in production, nonlinearities that enter into the sound generation and transmission.
  4. 还包括一些X-ray, MRI 的imaging 分析也是最近speech science的一部分

Summarize

  1. 短时间内比如说10ms内,语音信号可以看成是不变的
  2. voice sound的比如元音,鼻音,liquids,glides的周期性的开和关
  3. Plosive sound 是突然关闭的
  4. unvoiced sound glottal 是关闭的,激励是random noise
  5. Formant,resonance 和articulator比如舌,上颚牙齿之类的有关。
  6. 我们把语音信号和语音传输系统近似是线性时不变的,以及假设是没有interact的。
  7. 总体来说没有什么大问题,如果要拓展的话可以再把数字信号处理学一遍。

Reference


  1. https://newt.phys.unsw.edu.au/jw/graphics/Wolfe-et-al-Source-Filter.png

  2. Relevance of the glottal pulse and the vocal tract in gender detection

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,491评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,856评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,745评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,196评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,073评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,112评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,531评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,215评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,485评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,578评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,356评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,215评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,583评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,898评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,497评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,697评论 2 335

推荐阅读更多精彩内容

  • rljs by sennchi Timeline of History Part One The Cognitiv...
    sennchi阅读 7,257评论 0 10
  • 从湄公河到红海,我一分钟都没有走神地看完,或惊心动魄,或激动落泪。那些军人和平民失去生命的场景,让我更加深刻理解了...
    地球村的太阳阅读 1,264评论 3 5
  • 今天,看了一数学题从1到9中取8个不重复的数,使得 sum = a/b X(c+d)- (e X f) -g +h...
    木马音响积木阅读 174评论 0 1
  • 今天还是忙碌的一天,最近的业务量是越来越少了,感觉没有办几笔一天就过去了。确实有点累的厉害,肩膀特别疼。
    冯瑞_FR阅读 259评论 0 0
  • 我一定是太偏执,才会那么关心你; 我一定是不服输,才会那么喜欢你。 一直觉得自己是个很坚强的女生。突然,发现抵挡不...
    seven七月慌慌阅读 139评论 0 0