《计算理论导引》学习指南

本文尚在草稿状态,很难在短期内完成写作。发布出来旨在为初学者提供一些指引:书籍、资料、简介、历史还有我在不同年代的吐槽。请原谅我把吐槽也作为指南的一部分,必不可少的部分。--作者

教材

Introduction to the Theory of Computation ( ITOC ),
作者: Michael Sipser
出版社: Course Technology
出版年: 2012-6-27
ISBN: 9781133187790

ITOCv3

主要内容

ITOC主讲三大内容:

  • 什么是计算;
  • 什么可计算;
  • 如何度量计算的效率。

大致上来说,首先我们需要一种准确的表达法来说明到底计算本质上是什么。不同的科学家抽象出不同的计算模型,于是我们必须考查这些模型的表达能力(第一部分:什么是计算)。其次,我们发现计算是有局限的,不是什么问题都能计算,那到底什么是可计算的问题呢?有什么问题是不可计算的呢(或称为“不存在算法”)?(第二部分:什么可计算)如果某些问题是可解的,存在某种算法可以解决这个问题,那么这种算法的效率如何度量呢?我们需要一种通用的标准度量,並建立相关理论(第三部分:复杂性理论)。

需要强调的是,ITOCv3是本科教材,用于高年级的本科教学。

第0章 引论

  • 0.1 自动机、可计算性、复杂性

  • 0.2 数学表示与术语

  • 0.3 定义、定理与证明

  • 0.4 证明的类型

第1章 正则语言

Language(语言),对计算问题的高度抽象表达。整本书的重点是“计算“,如果能体会出在描述计算理论时语言的定义所产生的巨大作用,则理解就上了一个台阶。只是,第一章并不能产生这么大的效用,需持续关注。

1.1 有限自动机

概念:FA、语言、正则语言、正则操作
定理:正则语言类在正则操作(并、交、串联)下封闭;

1.2 非确定性

重点:体会计算的非确定性
难点:DFA与NFA的等价

对非确定性的两种解读:

  • 并行执行;
  • 总是猜对执行路径。哪一种更好?

问题:为什么我们需要“不确定性“?

1.3 正则表达

1.4 非正则语言

要点:自动机的计算局限性
难点:Pumping Lemma及其应用

第2章 上下文无关语言

2.1 上下文无关文法

重点:歧义性

问题1:为什么把能以不同方式生成的字符串称为歧义?
问题2:为什么需要“最左派生“这个定义?

2.2 下推自动机

问题0:下推自动机(PDA)比有限自动机的能力更强,主要体现在哪里?为什么PDA能力会更强呢?

问题1:在Lemma 2.21的证明中,如何确保可被匹配的串w一定会被匹配?
回答:构造算法是非确定性算法。重点体会非确定性选择的含义。

问题2:在Lemma 2.27的证明中,如果p不可达q,那么A_{pq}的构造是否还合法(会出现不合法的情况)?
回答:暂无

2.3 非上下文无关语言

2.4 (忽略)

第3章 丘奇-图灵论题

本章的主要内容是介绍图灵机及其相关概念,旨在进一步刻画计算(算法)的本质。重点区分两个概念:图灵可判定与图灵可识别。从算法的角度看,前者要求计算在有限步之后结束,而后者没有。明白了这种区别,对计算机的有限计算将会有更深入的理解。

3.1图灵机

一种计算模型,定义繁琐,但并无理解难点。

3.2 图灵机的各种变种

3.3 算法的定义

第4章 判定性

4.1 可判定语言

4.2 停机问题

重点:对角线法、停机问题不可判定的证明

关于停机问题的一种充满诗意的证明

5 可归约性

这一章的重点是理解归约的本质、过程与应用。

5.1 语言理论中的不可判定问题

针对RL与CFL的若干语言形成的判定性问题进行证明。

5.2 一个简单的不可判定问题:PCP问题

只是一个证明!PCP问题的描述很简单,其不可判定性倒是颇令人感到意外。这里除了一个结论,一个冗长的证明外,内容不多。

5.3 不可判定问题的形式化定义:映射可归约性

重点:Mapping Reducibility的定义

第6章 计算理论的高级专题

6.1. 递归定理

递归定理展示“程序自我复制是可能的”这样一个简单而令人吃惊的结论。

The Quine Page,里面收集了大量不同语言写成的Quine程序:自己输出自己源代码的程序。

待续

参考书

选课建议

首先,这是一门为有志气有思想不怕困难的同学开设的课程。其次,这是一门比较困难的理论课程,需要大量的阅读与思考。第三,学这门课很难立即给你带来那种让同学们羡慕的实践技能、那些传说中大公司招人所需的技能,但是它能给你带来思想上的重大转变(如果你认真学的话)。第四,如果你对理论不感兴趣,请不要选,尽管我知道所谓“不喜欢理论”的人通常不知道什么是理论。最后,如果你选择了读研,我建议你选,因为你选择读研就隐含地意味你必须面对理论,也许你不同意我这个看法也没关系。

ITOC 在某学院的本科开课历史

  • 2014年秋季,2012级网络工程专业首次授课;
  • 2015年秋季,2013级网络工程专业第二次授课;
  • 2016年秋季,2014级因故停开
  • 2017年秋季,2015级因故停开
  • 2018年秋季,2016级待定
    ......
  • 2023年春季,2022级(大一新生)开课!!!

以下废话

我年轻的时候曾经吐槽说:

  • TOC是科普,无论是全职师奶还是IT民工都可以读之且获得乐趣,何况一众非常有可能是拥有211重点大学双一流学科本科学位的全职师奶或者IT民工。

  • 阅读TOC不需要高IQ,不要总是拿自己的IQ忽悠自己和他人。

  • TOC是思维的训练,文化的熏陶,你们不缺少知识、不缺少信息,缺的是熏陶。

  • TOC是巨人出没的领域,你不走入巨人的领地,怎么能站到巨人的肩膀上呢?

2017年7月整理
2023年3月整理

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容