Talk

Hal Abelson

I'm looking for leadership and initiative. My group has a large number of undergraduate students and I look to our grad students to be role models and leaders. Compelling application essays should talk about actual accomplishments: applications you've created that others are using, technical organizations you've started or where you play a major role. There of course needs to be a track record of academic excellence. But the centerpiece of my group is empowering people of all ages through technology, as users and creators. That passion should come through in the essay-and it's even better if there's a track record to point to.

Karl Berggren

An application essay provides a number of useful information points when I'm reading a candidate's application. I'm mostly looking to see if the person can communicate clearly. Second, I'm trying to find out a bit about the person,especially their personality and motivation, and how they think about science and engineering. Finally, I'm interested in learning a bit about what circumstances have shaped the candidate's life. This is the place where I want to know if someone has taced exceptional challenges or took advantage of a unique opportunity to do something special. Because of the importance of writing in an academic environment, I'm looking to see if there is structure to the essay, and if paragraphs are well formed. For me, the essay is really not usually the main compelling reason to admit a student, but an essay that is over the top, or is poorly written or poorly structured, sometimes puts me off a candidate who otherwise would be a possible admit.

Adam Chlipala

I think it's useful to think of PhD applications as more like job applications than earlier educational applications. You are applying to be an apprentice researcher, and thus concrete research experience (attested to by knowledgeable supervisors in letters) is most useful to give evidence that you will succeed. Then the specifics vary by research area. I'm looking for specific technical skills and bigger-picture direction-setting skills. In my area, the former are a mix of software/hardware implementation at a decently large scale and comfort with rigorous math and logic. The latter come down to finding ways that computer systems are developed ineffectively today, and thinking up ways we could change the development tools-ideally applicants can point to cases where they were the ones driving that brainstorming, not just implementing ideas coming from supervisors. Giving some examples of project directions you want to explore is helpful both for showing that kind of initiative, and for helping potential advisors gauge fit with their own interests. However, don't worry that anyone will hold you to working on any of the specific ideas you list!

Fredo Durand

Mostly two things:

1/ Can the applicant think and write deeply and intelligently about state-of-the-art technical issues?

2/ What kind of technical area (very broadly speaking) are they interested in?

One challenge for applicants is that the two answers sometimes conflict: the first question requires narrowness, but you probably want to show you're interested in a broader set of topics to maximize the number of faculty members who feel they may want to work with you. So, I usually advise students not to restrict their essay to their past research, but have a paragraph or two at the end or beginning to list the areas that appeal to them. Ideally, the letter would give me a sense of how they attack an open problem, through the example of past projects (ideally research projects).

Regarding recommendation letters, I want to read about a candidate's potential to do research. The most insightful letters are from people who have supervised vou on a research project, or on a project that involves a fair amount of independence and creativity. I find letters from people who only know a candidate in a class context less useful, unless the student has done a particularly remarkable project. Letters from mentors in industry can be useful, especially if they do or have done research. However, not all applicants (including successful ones) have three letters that are equally thorough, and it's quite common to have 1 or 2 letters from people who really know you well from a research perspective and 1 or 2 that are a little more superficial.

Polina Golland

The essay should focus on your interests and look to the future. Describe what problem you would like to tackle in the future and approaches you might want to take. Even if I disapree with what the applicants write, it is revealing on how they think and gets me interested. Keep the description of your (very impressive) past projects to the minimum, mention them only as support for what you want to do in the future. Your CV, other sections of the applications, and recommendation letters will talk about past projects, and it's a pity to use your essay to rehash it again.

Leslie Kaelbling

对我来说，申请中最重要的事情是最好的推荐信，这一点优势非常明显。主要的研究推荐信应该证明申请者的创造力、独立性、勇气和完成事情的能力。其他的推荐信通常不太重要。我喜欢那些与众不同的申请者，我通常对那些自己做过一些事情，或者在一个不同寻常的地方做过一些事情的人比那些在一个非常高产和知名的研究小组中工作了四年、发表了很多论文的人更感兴趣。大部分的申请文书对申请既不积极也不消极。我记得并重视的是那些我从中学到了一些东西的文书——这些文书因为有强烈的或者新颖的观点，或者阐述了明确的愿景而真正有趣。我也喜欢感觉到申请者真的内心热爱研究——他们不是简单地申请做博士，因为这看起来像是通往其他东西的好跳板，或者是他人高度赞扬的事情。如果他们有解释的话，我不会在意几个不好的成绩：比如学生早期的成绩，或者某个学期困难的成绩，或者是探索的结果。【我更愿意看到一个学生有几个B或者一个C，但是他们挑战了困难的课程，而不是一个有完美GPA和完全标准本科课程的人。我对一个学生选修了两倍于正常课程量的课程完全不感兴趣——他们应该去做研究，而不是卷上课！】

David Karger

当我看一份申请文书时，我会问两个问题。

(1) 这个学生会对那些让我兴奋的事情感兴趣吗？

(2) 他们有没有必要的独立性和组织能力来为一个如我这样随和、无组织的导师工作？

对于第一个问题，我喜欢听你对哪些具体问题感兴趣，以及为什么。不是为什么你从四岁就开始热爱计算机科学，而是为什么你认为某些具体问题重要且有趣，以及你可能如何尝试解决它们。如果你看过我小组正在做的一些工作，并谈论为什么你觉得它有趣（不只是觉得它有趣），并可能给出一些进一步发展的想法，那么这肯定无害。但是，听到你自己的想法也很棒。你不必已经解决了这些问题，尽管谈论一个你已经解决的问题是很好的。

第二个问题特别针对我的指导风格。我给我的学生提供了大量的支持和反馈，但我不做很多管理工作。所以，我需要知道一个学生会采取主动，选择他们要工作的东西，对设计和实现做出决策，设定他们自己的截止日期并遵守它们，带着想法和问题来开会推动工作。仅在你的声明中声称这一点并没有什么意义，但我会在过去的工作（和推荐信）中寻找这种迹象。

Manolis Kellis

我希望看到几点：

(1) 思维的清晰度：这体现在文书中；他们对（领域，他们的工作如何融入，更广泛的视角，下一步等）的看法；他们描述成就的方式（组织，背景，创新的清晰度，他们能否解释问题，挑战，新颖性等）；当然，还有他们的成绩和成就。

(2) 研究成果：表明他们能创新，发明，发现问题，界定它们，完成任务，写论文，完成项目，打包代码，创建工具。

(3) 推荐信：证明他们的突出，创新，新颖，能够独立进展，但又有团队精神和合作。

(4) 技术：当然，他们的培训，严谨度，背景，成绩，竞赛等。

(5) 热情：特别是对于应用领域如基因组学生物学医学，显示他们真正关心应用领域，而不仅仅是算法，而且他们真正努力在他们选择的具体应用领域找到新的东西，并能够解释他们的结果并得出关于应用领域的结论。

Stefanie Mueller

对我来说，最重要的是申请人能够证明他们在我的研究领域有研究经验。招聘一个博士生是一个五到六年的承诺，所以对我来说，申请人能够向我证明我们将一起进行令人兴奋的研究非常重要。

当我阅读一份申请时，我首先检查申请人是否在与我研究小组工作相关的主题上在我的研究领域有发表论文。在此之后，我看推荐信的作者，看他们是否来自我研究领域的教员，以及他们是否谈论过申请人能够在我的领域进行研究。来自我研究领域之外的推荐信在确定申请人是否能够在我的领域进行研究上不是很有用。在此之后，我阅读文书，看申请人是否有我也会感到兴奋的想法。

Will Oliver

当我阅读一个研究生申请人的文书时，我试图了解学生及其研究兴趣的情况。这包括学生对研究的动机。这个人是谁，他们来自哪里，什么激发了他们对科学和工程的兴趣，这在他们的生活和他们的轨迹中如何体现出来？然后，我寻找研究经验的例子，定义得很宽泛。这可以是本科生研究员的经历，暑期实习，或者甚至是一个重大的业余项目（举几个例子）。我寻找那些项目中的有形产出，比如经过同行评审的出版物。然后我看学生在研究生院想要完成什么。在描述这些目标时，我欣赏真诚的知识好奇心和热情的表现。虽然这种方式自然会导致研究主题的一些特定性，但我也寻找一些灵活性和广度。例如，即使学生有一个首选的主题或小组，表达其他（通常是相关的）也会感兴趣的领域也是个好主意。

Al Oppenheim

很久以前，我的一位phd问我，我在选择与我一起工作的学生时，我看重什么。我快速而有点玩乐的答案是，我有四个标准：聪明，富有创造力的开箱即用的思考者，与人互动愉快，易于教导。仅从纸面上的申请和没有亲自见过申请人，这些特别是第二，第三和第四点往往很难评估。对于第一点可以根据成绩单有所了解。其他三点，可能主要来自参考信、个人陈述以及可能的个人交流。申请通常弱点是参考人的选择和参考信中缺乏细节，以及个人陈述的撰写。在写个人声明时，我通常建议潜在的申请人使用它作为一个机会，真正显示他们的动机、目标和个性，而不是试图模仿他们认为读者会给予高分的东西。如果个人声明是真诚和诚实的，它就会显示出来。如果不是，也会显示出来。

Gerald Jay Sussman

问题在于我们有太多的“优秀”申请人，他们中的大多数在我们的PhD项目中都会做得很好。大多数人会做好，可以发表的，但是增量的研究。我们接受了大量的优秀人才。但我正在寻找那些可能打破范式，开创新研究领域的候选人。

所以我在申请中寻找的是候选人有一个不寻常的观点的证据，也许与该领域的传统智慧有冲突。我愿意考虑狂人，但我也寻找技术技能和清晰思维与表达的证据，这将有趣的角色与狂人区分开来。 另外，申请中最有说服力的信息是来自以前的supervisor或教师的推荐信，他们证明了申请人的技能和创造力。

George Verghese

我阅读PhD申请的大部分时间都是在评估的初始阶段，这时我正在寻找看起来能在我们的部门或其内的广泛研究领域中茁壮成长并做出重要贡献的申请人。这次阅读中产生的申请文件然后会被传递给其他教职工进行更专注的评估。所以在初始阶段我不一定在寻找与我个人的研究兴趣或风格相匹配的人；这可以在稍后，当我查看被列入短名单的文书时，也许是由认为我可能想看看的其他教师发送给我的。

对于初始阅读，我首先检查申请人的学术记录，以确保他们至少能够处理我们研究生项目中的课程工作。早年的一些瑕疵可能没问题，但任何不强的总体学术记录可能会成为难以开始的地方（虽然我会快速地阅读整个申请，我觉得我至少应该这样做，对于一个付了申请费希望申请的申请人！）。

然后我寻找超越标准学术努力的活动的有形的、有记录的结果，无论是不寻常的、独立的项目（不是课程中的标准实验室项目），还是研究或实习。证实的重要部分在于推荐信，这些信必须反映出对申请人和他们的工作的真实、具体、调整的了解，以及相应的热情。一封听起来普通的信，虽然充满了极好的评价和将候选人评为真正卓越的评级，不会有太大的价值。我想知道信的作者看到的是卓越的成就（在学术和其他方面）和潜力，这是基于他们与申请人的互动和对申请人的了解。

最后，我转向学生的声明，以了解他们的声音，他们如何看待和呈现自己和他们的成就，以及他们在研究生工作中寻找什么。一份表现为成熟、真诚、对他们希望集中的领域有适当认识的精心编写的声明很重要。

Ryan Williams

阅读PhD申请时，我关注几个方面。首先（显而易见的）是我是否与申请人的兴趣相匹配。这并不一定意味着申请人正在研究与我完全相同的问题；这意味着我尝试理解他们在问题和主题上的品味，以及这如何与我研究小组研究的内容相配。另一个重要的事情是独立性（在研究、思想等方面）：我们收到来自世界各地的许多有才华的学生的许多申请，但我们没有看到太多显示出在他们的思考和行为上，与他们周围的人（包括他们的导师）不同的独立性的人。这可以在目标陈述中体现出来，但通常更多地体现在信件中。 “独立”可以有各种解释，我故意让这个术语有些模糊，因为我认为任何这些解释都很重要。另一个重要的事情是他们的沟通能力，特别是他们的写作。我总是仔细阅读文书，以及申请人提供的任何写作样本。当然，推荐信证明所有这些品质也非常有帮助。

很多论文通过一系列理论分析就只是加了个损失函数项，而这些理论分析可能没什么特别大的指导意义。

论文写作方面实验要做够，要往理论分析靠（的确有一些漂亮的理论得到算法的文章），然后就是对于卷的领域一定要多看论文（但他现在也做不到看相关领域内的全部文章了，这个领域变得比较卷了），防止做一半和别人撞了idea。

离线强化学习已经可以实用到火力发电（中国6个发电厂部署，效率提升0.5%带来400万的收益），交通控制等。

现在很多benchmark和实际场景差距非常大，有一些算法是在仿真表现很好现实环境上一塌糊涂，也有方法现实环境表现不错但是仿真很一般。

狭义相对论、广义相对论都是根据理论应有的的完整性提出来的，在提出后多年实验技术才成熟到可以检验这些理论。这展示了科研发展的一个主要方法：理论的完善性。

科研进展的另一种主要方法是发现了实验现象原有理论解释不了，然后修改原有理论，反复迭代这两步。

最后用温伯格的四条忠告作结：

• No one knows everything and you don't have to.

• Go for the messes, exploring the unclear, uncharted areas of sciences can lead to creative work.

• Forgive yourself for wasting time.（这个指的是实验失败、理论推导都可以被接受的，只要最后成功，之前的努力就不算浪费）

• Learn something about the history of science, or at a minimum the history of your own branch of science.

兴军亮老师说，假设你发现了一个很好的现象，千万不要把它当做trick（胡乱解释的话甚至可能是人生的污点），而要努力去找理论的解释。

我不认为神经网络就是NLP的终极解决方案，过几年（可能是5~6年）一定会有新的东西出来替代神经网络。

解决方案是不断向前发展的，1980年左右基于规则的自然语言理解是主流， 当时出现了基于统计的方法，语言学家觉得统计的不可能成功，但偏偏在所有任务上都超过了基于规则的。

2003年左右，神经网络的兴起也不被主流“统计”看好，因为毫无解释性和解决方案不优美，但是同样的事情发生了。

所以同学们不要觉得神经网络就是最终的结果了，事情一定会不断进步和发展的。

语言非常朴素：

“诸位是国家以后的战略科学家，要好好吃饭”，

“结婚前睁大眼睛，结婚后睁一只眼闭一只眼”，

“45岁前拿不到杰青后面就养养身体吧，可以躺平了”，

“我当初想劝一个硕士生和我读博：你都把我培养成了副研究员，再努努力把我培养成研究员呗。他不读，说要去大厂”，

“我这个人比较粗俗，你们不是说要做顶天立地的研究吗，我把仿生机器鱼带到高原做实验，看谁说我的研究没有高度”，

“YOLO是 you only look once（一见倾心）的缩写，程序员都有点闷骚，就把心意写到算法名称里了”。

1. 她说她人生的大事几乎没有一件是按照当初的想法发生的，但都和个人兴趣相关。

2. 随时都要准备好。机会是非常的多的。

3. 和别人，和自己相比，永远都要更好（她承认有人会不认同）

4. 要把自己培养得强大，内心要强大，要担得住事；锻炼身体，保持身体健康。她快60岁了，每天7小时睡眠，可以跑半马。

5. 要善于展现自身，比如因为能跑步录用了一位女生作HR。

6. 专业。在公司内有一技之长，转行的人可能更有优势。

7. 职业。就是来打工的，不要把自己当主人。在其位就要做好该做的事。不要因为社会不公平，你就更不公平。

8. 敬业。高材生每个人都可能很专业，很懂规则，但敬业不一样。即使给私人老板做事，也要很专注和用心。即使不是自己的事，也会因为自身认真而了解清楚。

9. 北大的人很不好用，人聪明，心气高，但不低下头干事；人大好使唤，不把自己看得很高。

10. 当老师是一件很奉献的事，因为老师太穷了，她后面就从人大老师去国企了。

11. 适应环境，但也要考虑自己的爱好，不要太强迫自己适应环境，要么组织要么自己出问题的。也不要频繁换工作。她不喜欢从一而终的工作，也不要频繁换工作。

12. 在金融领域的高层，是一群非常有个性，也非常有才的人，往往难以达成一致意见。组织中随和的人反而可能到留到最后。

13. 价值观：不要追求辉煌，要在乎长久——做人如此，投资如此。

14. 价值观：在困难中坚持，在危机中保全——自己如此，企业如此。

15. 当认为自己什么都能干、什么都可以干时，祸就埋下了——2019年海航陈峰语。

16. 平静的出生，平静的离去。

17. 《聪明的投资者》，《滚雪球》，中信出版社出了很多本。

18. 英文面试，很多海外部门。这也是展示自己的机会。

19. 到董事长面试的时候，专业、职业素养之类的都面完了，就和你拉家常一样：家里几口人、预期薪酬（自己要清楚定位）、有女朋友没、住哪儿。 帮助他们判断你以后会不会跳槽以及你对这份工作的认真程度。要诚实回答，但是可以投其所好地说，比如爱运动、规律。

背景

央企。

原中国华能集团华能资本服务有限公司董事长、党委书记。她是金融领域的专家型人物，毕业于中国人民大学财政金融学院，是九十年代的经济学博士。有着多年丰富的金融从业和企业管理经验。  在她退休之际，华能金融已成为管理13家机构、管理1.5万亿资产、当年利润达百亿元的金融集团。

华为专家马文龙（计算所毕业，包云岗为导师）分享云原生（把云当作操作系统，所有架构自己实现、存储计算状态分离，发展趋势是以内存为中心）的内容，问了两个问题：

• 读博期间和工作期间研究内容差别大么？回复：计算所这边博一博二就出去实习或者做企业项目，差别不大；现在他们每周都会组织论文分享会（paper weakly），了解最新的内容。

• 每个人都要对庞大的系统有所了解么？做出一点点创新会不会影响整体的架构？回复：各个部门各司其职，通过接口来合作；各个部件之间松耦合，难度没我想象中那么大。 还送了我一本书。

北大王选实验室邹磊讲知识图谱，这个东西融合了好几门学科（知识工程（符号主义、逻辑推断）、机器学习（连接主义、神经网络、自然语言处理）、数据库（底层架构）等），虽然大模型对这个领域造成了冲击，但是在垂直领域（金融等）还是有用处的。此外我还知道了google的搜索做得这么好，背后是建立了一个巨大的知识图谱。

计算所杰青蒋树强讲具身智能，他认为虽然现在大模型已经展现了通用人工智能的倾向，但是还处于发展初期。他的PPT做得很好，发的论文也用到了新的技术：图神经网络、因果推断等，但是也说明离真正在现实中让具身智能在机器人上实现是一个比较困难的事情。蒋树强老师是一位扎实的大佬。

老司机耿进财，博士面试技巧：

• 别紧张

• 英语口语有多好练多好，这是印象分

• 你不需要真的有东西，只要看起来有点东西，表述完整、清晰、有逻辑性即可

科研本来就不容易，度过寻找灵感的至暗时刻本身就是对智识与身心的极大考验。如果此时再把努力程度和道德责任联系在一起，给自己增加一些无形的压力，无异于让走钢丝的杂技演员再扛一担货物。

把科研作为一种生活方式，才能真正“可持续科研”——这就是属于科研工作者的长期主义。任何一个希望把思考科研问题作为终身事业，而不仅仅是无情压榨美好青春的研究者，都值得把人生的其他维度放在和科研本身同等重要的地位。这不是对于科研的倦怠，相反，在我看来这才是对于科研本身的至高尊重，因为我们已经从所能把握的最高尺度，即人的一生，来最大化自己的科研产出和影响力了。

文献阅读课程，向世明老师看来是把每个人的PPT都仔细看了，下面是他讲的一些要点：

• 每个人都要会transformer，vit和detr（如何设计预测头）这两个搞会了其他就差不多了。

• 开放世界是一个热点，搞清楚我们的目标是啥，放在脑子里去看文章。

• 全天候的检测的话就要红外线，这个领域的特点是是弱特征，少样本，可能还要满足实时响应，轻量化的属性，要是回所后没啥感兴趣的方向，可以选这个，他也在做。

这是我总结的一些 中文科技论文（特别是学位论文）写作上要注意的地方：

（1）、要避免论文口语化，语句必须简洁。

（2）、前后逻辑不强，逻辑体现在句子内，在段落内以及在段落与段落之间。这一点在绪论一章里面要特别注意。

（3）、应用顿号的地方用了逗号。注意，中文里面同一非句子级排列主体是需要用顿号的。

（4）、一些变量没解释。

（5）、句子太长，没断句。

（6）、参考文献信息不全，以及格式不统一、不规范。另外，参考文献不得采用etal来省略作者，除非作者特别特别多。

（7）、“[81]提出了一种” 这种以文献编号作为主语的，绝对不允许。即使在英文里面，也不允许。

（8）、在写作的时候，不该断句的地方断句了，这也会造成论文写作质量下降。

（9）、增加句子简洁性和逻辑性的一个很好的办法是，举个例子，问自己这样的问题：“这句话目前由40个字构成，但我现在必须要将其减少到25个字，我应该怎么做？”。所以，不要用口语，不要因为篇幅要求而采用简单的文字堆叠式的罗列。关键在于：要在写作中体现逻辑。

（10）、第一次出现的英文简写，要写全其英文全部单词，无论它多么有名。

（11）、不要太多的 “我们”，能去掉的地方则尽量去掉。

（12）、例：“XX任务就是”， “就”字明显多余。

（13）、例：“具体是在”，这是口语。改为类似于这样的描述：  "具体地，在XX框架下”，或者 “技术上，XX”。

（14）、例：“这个变体”改为类似于这样的描述：“该变体 ”

（15）、如果论文中用了别人画的图，有主的一定要引用，不能确定是谁画的，就不要用。

（16）、图像都要高清，能矢量的地方尽量矢量。

（17）、不能有任何错别字。

上课教师是孙哲南，讲了他们实验室的从1999年至今的一系列的虹膜识别的研究。 他们用了各种各样的方法（不仅仅是简单的深度学习，还有一系列经典数学理论），非常有内涵和前沿。对问题的深刻理解和挖掘、数学上用不同工具进行建模、新类型的传感器和算法的结合、实际部署到各种终端、应用于煤矿、监狱等实际场景值得学习。 孙老师应该是湖南人，英语有口音但是应该能够流利阅读英文（PPT都是英文的），是一位产学研结合得很好的、让人尊敬的学者。

曾大军研究员强调了几个点：

• 形式化建模很要功力的、要深刻理解问题然后将知识融入到建模中；如果问题是其他行业的，那就还要花大功夫了解该行业的基础知识

• 学科交叉在AI应用中不可或缺

• 决策智能是下一步热点方向

• 好的、一流的工作：定义新的问题，此时数据集、套路都没确定

• 脑子里装了1000篇文章才能把握住某个领域的未来发展方向

我走了很远的路，吃了很多的苦，才将这份博士学位论文送到你的面前。二十二载求学路，一路风雨泥泞，许多不容易。如梦一场，仿佛昨天一家人才团聚过。

出生在一个小山坳里，母亲在我十二岁时离家。父亲在家的日子不多，即便在我病得不能自己去医院的时候，也仅是留下勉強够治病的钱后又走了。我十七岁时，他因交通事故离世后，我哭得稀里糊涂，因为再得重病时没有谁来管我了。同年，和我住在一起的婆婆病放，真的无能为力。她照顾我十七年，下葬时却仅是一副薄薄的棺材。另一个家庭成员是老狗小花，为父亲和婆婆守过坟，后因我进城上高中而命不知何时何处所终。如兄长般的计算机启蒙老师邱浩没能看到我的大学录取通知书，对我照顾有加的师母也在不惑之前匆匆离开人世。每次回去看他们，这一座座坟茔都提示着生命的每一分钟都弥足珍贵。

人情冷暖，生离死别，固然让人痛苦与无奈，而贫穷则可能让人失去希望。家徒四壁，在煤油灯下写作业或者读书都是晚上最开心的事。如果下雨，保留节目就是用竹笋壳塞瓦缝防漏雨。高中之前的主要经济来源是夜里抓黄鳞、周末钓鱼、养小猪崽和出租水牛，那些年里，方圆十公里的水田和小河都被我用脚测量过无数次。被狗和蛇追，半夜落水，因蓄电瓶进水而摸黑逃回家中；学费没交，黄鳝却被父亲偷卖了，然后买了肉和酒，都是难以避免的事。

人后的苦尚且还能克服，人前的尊严却无比脆弱。上课的时候，因拖欠学费而经常被老师叫出教室约谈。雨天湿漉着上课，屁股后面说不定还是泥。夏天光着脚走在滚烫的路上。冬天穿着破旧衣服打着寒颤穿过那条长长的过道领作业本。这些都可能成为压垮骆驼的最后一根稻草。如果不是考试后常能从主席台领奖金，顺便能贴一墙奖状满足最后的虚荣心，我可能早已放弃。

身处命运的漩涡，耗尽心力去争取那些可能本就是稀松平常的东西，每次转折都显得那么的身不由己。幸运的是，命运到底还有一丝怜惜。进入高中后，学校免了全部学杂费，胡叔叔一家帮助解决了生活费。进入大学后，计算机终于成了我一生的事业与希望，胃溃疡和胃出血也终与我作别。

从家出发坐大巴需要两个半小时才能到县城，一直盼着走出大山。从矩光乡小学、大寅镇中学、仪陇县中学、绵阳市南山中学，到重庆的西南大学，再到中科院自动化所，我也记不清有多少次因为现实的压力而觉得自己快扛不下去了。这一路，信念很简单，把书念下去，然后走出去，不枉活一世。世事难料，未来注定还会面对更为复杂的局面。但因为有了这些点点滴滴，我已经有勇气和耐心面对任何困难和挑战。理想不伟大，只愿年过半百，归来仍是少年，希望还有机会重新认识这个世界，不辜负这一生吃过的苦。最后如果还能做出点让别人生活更美好的事，那这辈子就赚了。

5 您证明了两人博弈纳什均衡解的算法复杂度是 PPAD 的，您能讲讲那时候的故事吗？比如启发您的契机，以及遇到的困难和解决方法。

这个当时也是整个计算理论界里一个长久追求的问题。当时就是说从数学上，均衡计算最著名的就是不动点方法，市场均衡当初也是 Arrow 从不动点方法得到的一个最广泛的证明结果，Nash 和 Arrow 也都分别因为这两个结果得到了诺贝尔奖。那么 PPAD 呢，是建立在纳什均衡的一个叫做 Lemke-howson 的解法的结构上的计算等价类。 以前的分析都是想建立起来 PPAD 跟均衡、PPAD 跟不动点（的联系），但这两个直接的连接都有点困难。一个原因就是（均衡和不动点）这两个都是连续的问题，比如说 Lemke-howson 是对均衡的求解方案，不动点也可以这样求，但是它的不动点模型还是一个连续的模型。正好 2000 年左右的时候，有个日本人提出了一个用离散连续函数来定义不动点的方法，然后我和陈汐同学就开始对不动点的算法进行了一系列的研究，包括 oracle 模型和逻辑线路模型都做了研究。那么到此就是为 Two-Nash 的 PPAD 建立了离散不动点的基础。 然后 Nash 均衡跟 PPAD 的联系是另外有一个希腊人，就是我导师和我的师弟，建了一些联系，但是进一步的推动其实是在离散不动点上。那么我们后来主要的工作就是通过这两个联系推动了这件事情的最终证明。我们后面也借助不动点在比如说 mobius band 这种 non-orientable 的空间里面的概念，推动了另外一些概念——PPA 的研究范式。所以这里的工作其实是一个挺长期的思路，最后把这个东西打开了以后进展就非常快。

6 多智能体强化学习和传统的博弈论有什么关系，是否可以互相借鉴？

对，这两个东西确实可以给他一个对应。比如说强化学习直接来讲是优化的一个求解方法，优化也不是一般的优化，而是一种利用 potential function 的优化模式。那么比如围棋，这里面的 q function 就可以使用一个平面图上的 potential function 的构架，这样的话在平面图上的一个空间，如果能够设计的比较好的话，就可以降维到一个\(n^3\)的问题。 博弈本身其实是\(2^n\)的复杂性的问题，从计算角度来讲，我们只知道 \(2^n\) 的算法，一个挑战就是怎么样能够把指数计算降低到多项式计算。而多智能体强化学习通过 q function的设计，在比如二维空间三维空间这种我们能用手指头数出来的多项式的空间里，就能帮助我们对于博弈有一个很好的解决方案。 所以等于是强化学习对博弈的均衡计算里，这种特别是有 value function 构造的、有空间特性的一大类通常能见到的博弈问题，能够给出好的求解方法。

7 纳什均衡作为多智能体博弈的解有何优势和缺点？是否有更好的方式来衡量策略的优劣？

纳什均衡是说大家都去优化的时候，每个个体的优化到达的一个 fixed point——大家都不想动的时候，是吧。那么 correlated equilibrium 里面有个好处就是大家之间是 related 的，它想出一种方法、一种设计，使得大家能够 coordinate to each other，然后可以多项式求解。比如前面我们讲围棋，直觉上就可以用一个平面上的势函数帮助我们来求解这个问题，那么 correlated equilibrium 它又找到博弈双方的一种联系，是和 Alpha Go 不一样的一种把相关性建立起来的方法，使得计算能够简化，是一个很好的设计。 但是对不同问题，需要去发现它是个 correlated equilibrium，或者设计上面把它建成 correlated equilibrium，才能使博弈的求解得到简化。 而纳什均衡如果非要我说的话，我觉得是一个错误，因为他只考虑每一个个体的优化。其实博弈有很多合作的情况，比如合作博弈里面，大家之间会我帮你、你帮我；或者是进化博弈里面，大家慢慢形成某种合作的方式，觉得会有优势——像生物学进化、国家形成等这些其实都不能够用简单的纳什均衡来做到。 我把纳什均衡在这里解释为每个个体优化自己的目标，没有跟其他人合作的可能性，那么这种均衡在博弈论的整个框架上也是挺有局限性的。纳什均衡当时出现的时候，据说冯诺依曼认为它就是另外一个不动点定理，他跟 Morgenstern 写的那本书上也特别强调多人的合作博弈，但是那条线没有成长起来，就是计算上太复杂了，人类智慧有限，想不了那么复杂的事情。 所以解决这个问题，实际上重担落在了 AI 和计算机理论上。即使是现在，算法博弈论也是太局限了，比如说机制设计里面也是讨论个体的行为，当然有些新的领域现在也越来越多的会考虑群体行为层面。那么 AI 提供了一个很大的机会，就是说我们用机械化的方法能够算得更快的时候，怎么样可以不局限于纳什均衡，这也是一个挑战。

57岁的余金权顶着帅气的“爆炸头”、拿着一杯咖啡出现在街头。这个造型让他看起来像个摇滚歌手，实际上的他却是一位化学大牛。

余金权，这个名字与许多光环绑定在一起。他被视为当今世界C-H键活化领域“第一人”，当选英国皇家化学学会院士、美国艺术与科学学院院士；他是2016年美国跨领域最高奖——麦克阿瑟天才奖得主，被许多人称作“天才”“余神”；至少有3次，国际科学大奖在他年龄已经“超标”的情况下坚持把奖项授予他。

9月6日，美国Scripps研究所余金权团队在Nature上发表了最新成果。余金权作为通讯作者，拥有了他职业生涯中第11篇Nature论文。此外，他还有11篇Science论文。

对余金权而言，化学并不是立在他面前需要艰难跨越的一堵墙，而是仿佛能在手中轻松玩转的魔方。近日，《中国科学报》专访了这位以奇思妙想著称的华裔科学家，一探他为何能将科研做得如此“潇洒”。

手握22篇NS正刊论文！他本是想学医的“农村娃”，却成为化学家

《中国科学报》：您的发型给许多人留下了深刻印象，有人称您为“爆炸头化学家”，您为什么选这样一个发型？

余金权： 我是“自来卷”。大学时同学就注意到我有些卷发，而我当时并未注意到。读博后，头发变得越来越卷。我并没有刻意改变发型，只是如果理得太短，同事都很不习惯，觉得我不是原来的那个同事了。

《中国科学报》：作为C-H键活化领域最活跃的华人科学家，请用通俗易懂的方式介绍你的工作和你未来的研究计划。

余金权： 化学反应为现代化学工业、制药业和材料工业提供了关键的工具。要知道化学反应的起点是打断有机分子中的某一根键，而有机分子中含量最高的碳氢键（C-H键）具有很强的惰性，很难被打断。

我们试图解决的是两大根本难题：第一如何在温和条件下打断C-H键；第二，如何实现选择性的打断。

我们希望通过发现新反应来加速新药物的发现和生产，为人类健康提供帮助。目前我们也开始关注如何将C-H反应用于高分子材料和香料的工业生产。未来5年则主要是将已经发明的系列催化剂的活性提高10倍左右，以促进在工业上的大规模应用。

《中国科学报》：你什么时候决定走上化学的科研道路？你的初心是什么？

余金权： 在大学三年级时，我对合成分子和化学反应产生了浓厚兴趣，由此走上化学这条路；初心多少和我小时候想当医生，却未能如愿有关。

我是农村的，当时农村很苦，我想学医帮助别人。但后来很偶然地去了华东师范大学学化学，在大学三年级学到合成的时候，我非常喜欢。当时在图书馆里读到一本书，是E.J. Corey写的《逆向合成》，他后来得了诺贝尔奖，还成了我在哈佛的博士后导师。我读他的书觉得很有意思，并且意识到研制新药是化学家的事情，贡献不比医生小。我非常兴奋，就此走上了化学这条路。

《中国科学报》：能否分享一下硕博阶段的求学经历？

余金权： 本科毕业后，我报考了中国科学院上海有机化学研究所，但由于实验能力比较差，我被分配到了中国科学院广州化学研究所。

在广州读完硕士后，我想转换方向，去剑桥学习生物合成。在上世纪90年代的中国，生物合成还是一个全新领域，无人问津。但我当时翻阅了一些文献，非常想去学。通过申请考试，我很幸运获得了“中英友好奖学金”。这个奖学金的名额很少，有机化学方向只有我一个人。

刚到剑桥时，我就像个小学生，什么都不懂。之前我在国内学的是非常传统的催化，对复杂的有机分子合成训练很少。虽然基础知识比较扎实，但思维还是与剑桥这边脱节，后来才慢慢适应。幸运的是我碰到了导师J. B. Spencer，他对我帮助特别大。

《中国科学报》：你提到在剑桥读博时的导师J. B. Spencer，还有在哈佛做博后时的导师E.J. Corey，可否谈谈你和他们之间的故事？

余金权： 小时候在农村，我妈常说“出门遇贵人”。那时候总觉得很好笑。有什么贵人？不都是凭自己努力吗？后来我才发现她说的对，我几乎到每个地方都会遇见贵人，这两位导师就是我生命中亦师亦友的贵人。

我在剑桥遇到导师J. B. Spencer，他那时很年轻，我是他的第一个学生。我们的关系像兄弟，每个礼拜都要在一起吃饭喝酒。我遇到他是一种缘分，两个人相见恨晚，对彼此的思路、想法都非常认可。我们俩还提出“Spencer-Yu”理论，后来写进了教科书。我跟着他学了很多东西，包括英语表达能力、对西方文化的了解。但很遗憾，他40多岁时因事故去世。

后来我遇见E.J. Corey，那更是一个神奇的过程。我在剑桥时，E.J. Corey是哈佛大学的教授，来剑桥访问。我作为学生代表作了一个15分钟的简短报告，讲我的研究结果，以及我对科学的看法。讲完后，他非常喜欢我，马上请我出去吃饭，吃完饭后就让我去哈佛做博后。那时E.J. Corey已经70岁，得了诺贝尔奖3年了，而我是一个什么都不懂的学生，但我们建立了一种非常特殊的友谊。

到了哈佛后，E.J. Corey一直很支持我，他每天都来找我，坐在我的实验桌上和我聊天。现在他已经95岁了，我们还保持一个月通话一次。有时候还去他家里，他做饭给我吃，哈哈。

我的两位导师其实都是很内向的人，但他们和我很谈得来。可能是我的思维方式比较clueless，有点天马行空，他们觉得和我交流有意思。

《中国科学报》：在科研路上数十年，你有感到无力的时候吗？是什么驱动你继续走下去？

余金权： 在过去20年，每年都会有感到山穷水尽的时候。好奇心、求知欲和新发现带来的巨大惊喜是支撑我的主要力量。

《中国科学报》：你能用几个词来形容化学家吗？与其他领域科学家相比有什么不同的特质？

余金权： 首先，化学是实验性非常强的科学，因此化学家是实践家。从某种意义上看，我们更像是一群探险家，去发现未知，去用实验验证新想法。

另外，化学和人类生活的关联很密切，在做课题时，实用性是一个重要因素。所以化学家比较实际，考虑的问题往往都比较现实。

我的世界里没有“金科玉律”，只凭自己的奇思妙想

《中国科学报》：在媒体报道中，你被称作“天才”。你是如何看待这个称呼的？

余金权： 天才？哦，他们这么叫我可能有两个原因。一方面是我得了麦克阿瑟天才奖。另一方面，我得奖之前很多人也这么叫我，倒不是说我多聪明，因为我不是很聪明，读书不算很好。他们说我是天才，更多是说我跟别人思路不一样。我做实验的思路不是按部就班，而是凭想象力。我的想法有点天马行空，不局限于教科书或者现有的“金科玉律”。

《中国科学报》：请详细讲讲，你是如何在研究过程中发挥想象力的？

余金权： 我先讲一个极端的例子。如果你询问一个人的想法，他可以给你讲出来是参考了哪本教科书或哪本文献中的ABCD，才有了这个想法，这种就不是想象力。

想象力是什么呢？是你为解决一个问题而工作多年，穷尽不同的思考和尝试，然而都没有解决。忽然在某个不可预测的一天，一个想法突然出现在你的脑海里，你自己都不知它从何而来，是前天早晨想过吗？还是梦里想过？我把它叫作out of nowhere，就是不知道从哪里蹦出来。其实这样的想法建立在大量严密思考的基础上，是潜意识中长期冥思苦想的积累，只不过它出现时，你很难说清是从哪里来的。这样的想法才是真正的与众不同。

想要有这样的想法，就不能急功近利。什么是急功近利？就是我去查文献，看别人做了什么，别人做了A，我就改一改，把它改成B。这样固然能解决一些小问题，但绝不可能是重大的突破。

还有一种想象力，我把它叫作“他山之石”。你去听一个完全不同领域的人作报告，他做的东西看似与你无关，但其思维方式可能会间接启发你产生新想法。这也是一种非常重要的想象力。

《中国科学报》：你平时是怎么读文献的？会每天抽出固定时间读文献吗？

余金权： 这个我应该跟大部分人也不一样。我在刚进入新领域时，要花费大量时间去阅读文献，把握这个领域的状态，什么问题没解决，为什么没人解决这些问题。比如我20年前去剑桥学生物，后来从生物又跳回到有机合成，我都要通过文献去掌握新领域。

但是当我在某个领域工作很多年了，我就不会花很多时间读别人的文献，而是关注自己的创新。大部分的文献我不会去读，最多看个题目，就知道他们在做什么。我更多精力是在思考分析我自己做过的工作，哪些地方需要改进？我下一步的目标是什么？其他领域有哪些新技术可以借用？

很多人是被动的，为了发文章疲于奔命。别人发了文献，他就去读，然后根据别人的成果去想自己下一步的方向。其实做科研最从容、最潇洒的方法是你自己去发现别人都没问过的问题，建立一个领域，然后完善这个领域。

《中国科学报》：在你看来，做科研更多的是一个艰苦的过程，还是一个美妙的过程？

余金权： 两者都有，科学家需要毅力的支撑，也需要兴趣和乐趣。

其实做科研的过程就像钓鱼。如果你喜欢钓鱼，你在烈日、海滩待几小时都不觉得累。因为你真的喜欢，你好奇，你在等待那条鱼儿的出现。钓鱼需要一定的毅力，但驱使你去钓鱼的那股力量是不能通过毅力来产生的，一定是喜欢。

《中国科学报》：科学是一个极尽智慧和理性的事情，它是否同样也是浪漫的？请你谈谈。

余金权： 科学是智慧和理性的，但它也是浪漫的，甚至是艺术的。真正好的科学，在某种程度上都带有一些艺术性。

我有时候会看到一篇文章，发在很牛的期刊上，数据很好，也解决了问题。但我会觉得，这个文章就是很ugly，很丑，它解决问题的方法非常笨拙、机械，没有美感。有的论文你一看就觉得“太美了”，写得也美，布局也美，解决方法也美。所以科学论文也是有区别的。

科学家的浪漫当然和艺术家、音乐家不同，但也有很多浪漫的成分。比如当我产生一个想法时，我觉得它很漂亮，我就去做了。我没有用计算数学进行推导，没有用足够的理性方法证明它是对的。也许成功的可能性很小，但我愿意为之探索，这种情怀也是一种浪漫。

评奖的意义：是锦上添花，更是雪中送炭

《中国科学报》：除了麦克阿瑟天才奖，你还得过很多国际上的奖项，能否谈谈这几次得奖的经历？

余金权： 这几次得奖的经历都蛮有意思。

2012年，我得了日本的Mukaiyama奖，这其实是打破规则的，因为我年龄超出了限制。我甚至压根没有申报，但评委会突然决定给我这个奖。

2013年，以色列的雷蒙德物理科学和贝弗利萨克奖也比较特殊。它不像美国国内的一些常规奖项，比如美国化学会的一些奖，它是面向全世界的。对我来说，这个奖是一个很重要的认可，让我感觉在那么远的地方还有人认可我。这个奖我也超了年龄的限制。

2014年美国的E.J.Corey奖，是我导师创立并以他名字命名的，代表了在美国有机合成领域对中青年最高的一个认可。这个奖我也超了年龄的限制。

2016年的麦克阿瑟天才奖是最不一样的。别的奖是锦上添花，这个奖是雪中送炭。那时我提出了很多想法，却还没有做出来，这个奖给了我很多鼓励和信心，因为是一群不认识你的人在肯定你。当时他们突然给我打电话，我还以为是卖车的，就把电话挂了，后来他们通过别人找到了我。我认为这个奖是非常好的，请世界上的一个科学团队去挖掘谁是“天才”，然后支持他在某个重要的方向取得突破。

《中国科学报》：你认为科研评奖的意义是什么？

余金权： 刚才说了，有些奖是锦上添花，有些奖是雪中送炭，各有意义，当然我认为后者更有价值。

此外，评奖的过程本身也有价值。评审是一个锻炼思维、建立科学品位的过程。评审的过程就是从评委会到候选者，再到关注这个奖的人群都共同建立起对科学的鉴赏力。高水平的评审过程，可以促进国民的科学素质不断提升。

《中国科学报》：你如何看待当前对科技评价“唯期刊论”的批判？

余金权： 我觉得要客观看待。做基础科研是需要发高水平文章的，要与全世界分享你的想法，目前来看，发文章还是相对最客观的评价体系，不能盲目反对。

但是不排除一些情况，比如，投文章时受到不公正对待，审稿人就是不喜欢你的文章，或者他和你有竞争，就不想让你发。再比如，在顶级期刊上发的文章有可能毫无价值，因为任何期刊的审稿都会出错。

所以你要看文章的内容是否货真价实，有没有真正的含金量，还有就是看一个人长期的工作，而不是发了一次高水平期刊就证明他水平很高。

现在申请者大部分起码都有一两篇论文，牛人四五篇甚至更多。人们发论文越来越多，由此造成的压力也越来越大。比如可能觉得有些什么想法就要赶紧写出来，而不是仔细考虑；或者选题时可能会顾虑这个项目短期是否能做出来。这些对于之后发展的并不是很有利。当然，这不是某个人的问题，也没有什么好的解决方案，现在环境如此。有些时候论文的发表也比较拼运气，感觉这方面对新人还是会造成一些困扰。我觉得我做的最好的工作是在博士后的时候，当时也完全没有想什么其它的因素，就遇见了一个自己感兴趣的问题。有时候很难预测什么样的研究有用，什么样的研究会有影响或有趣，但是如果在选题的时候就特别在意这个题能不能做出来，或者这方面压力太大的话，对后续或许不会有好的影响。

所有的科研都是有一定契机的。包括我现在上课教论文的时候，不可能孤立地教授一篇论文，它一定是有铺垫的。我从12年开始读博，到今天为止，过去8、9年 AI 这个领域已经发生了天翻地覆的变化，有很多革命性的东西都在这些年出现。首先你要知道什么样的问题是最前沿的。然后真的需要一些契机，需要很多的思考，需要知道当前大家最关心的是什么问题，什么问题是重要的。当然除了契机，也需要对自己的领域有非常深刻的理解，以及一点运气和其他的东西，例如你做出东西之后如何跟人有效地交流，如何让你的工作被更多人知道，这个东西以后怎样让别人去跟进。这些都是需要充分的努力之后才能把你工作推出去的。

做的实验结果都很好，我知道写成论文一定能发，但是最后我自己选择没有投稿。因为我不知道这个实验结果到底能否真正的证明我们的方法有效，它到底是因为方法本身呢，而是因为不同语言的数据收集方式或者范式不同呢? 我不知道我能给我们领域带来什么新的视角。总之就在那一年，我特别挣扎，从那时候起，我开始思考，什么东西对我来说是我相信的且真正有用的。我想要找到能真正让我激动的问题，而不是为了去发论文，为了去追求一些论文数什么的而去做研究。所以第三年的时候就开始去想 reading comprehension 这个问题。那时候这个问题还不太存在，我们甚至不知道如何去定义它。

这是我的故事，总的来说，我想说的点是找问题是最关键的，而且是要你自己去找，不是别人告诉你哪个问题重要。不是你的老板告诉你做什么你就做什么。这对低年级的博士生可以，但是最终你要成长为一个独立的研究者，所以你发现问题的时间，可能比解决问题的时间要长得多。我最开始做 parsing 时完全不懂 parsing，因为这是我老板给我的项目。但是到我博士研究的后期，以及现在我对自己的学生，都要求他们必须要有自己寻找问题的能力。我想提一个人 Andrej Karpathy，他是李飞飞的学生，他­­有一个文章 《A Survival Guide to a PhD》，这篇文章写得好非常好，我向你们强烈推荐。

本科生的时候要先把基础打好，不用太追求发很多paper。把基础打牢，如果本科能有一个让你很高兴的工作就是很好的事情。此外，这个世界变化是很快的，你也无法预测这个领域接下来怎么发展，所以要尽可能多学，尽可能拓宽知识面。还有就是格局的问题，格局可能就是要接触更多的人，更多的事，你才能了解什么是最顶尖最前沿的，这个能力需要慢慢发展。我建议大家要尽可能去各个地方实习，接触不同的人，去了解他们的工作，去了解别人的思维模式和他们所在领域最关心的问题。只有通过广泛的交流才能找到自己的位置。我的合作者有很多不同国家背景的人，每个人的优势非常不一样，在跟他们合作中真的可以学到很多东西。太多中国学生抱团可能不是太好的一件事，你们的背景是相似的，所以上手合作可能更容易，更快，说话沟通的方式更简单，但是你们可能并不能扬长补短，因为你们的长处都相似。比如清华的学生可能编程和数学都比较好，大家的优势都比较相似。但是我认识很多以色列、欧洲的人，他们做 NLP 的风格都非常不一样。我觉得有一个文化背景更多元的群体还是更好的一件事。对于科研品味来说，不跟风是永远正确的。但是我知道在这个大环境下很难很难。因为现在太多人过于在意论文发表数目。比如说一年就2、3个ddl，相邻ddl之间就隔了3、4个月，如果你的目标是赶上下个ddl你能赶上，那么跟风是很难避免的。我觉得这是非常不好的，每个人都要找到自己心中那杆秤，怎么去平衡这件事情。我在 Stanford 读书的时候，我们被告诉的事情是读博士只需要有 3篇论文，这 3篇论文要求是连续递进的，能够铺垫一个领域，并且这些工作要能被人知道。但是现在一个本科生申请的时候，很可能就已经有 7、8 篇论文。然而这个现象是不会改变的：尤其是当你找教职工作时，或者被你领域里的人认识，一定是靠你的代表作，而不是你有多少篇论文。如果你只是跟风，做一些 incremental 的问题，这样的工作是很难被人知道的，尤其是在现在一年一两千篇论文的环境下。

我们主要是逐步地发展数学工具，从一些已知的数工具，比如线性的系统，逐步发展到非线性，一点点地变得越来越复杂和更实际。至于对之前的已知的技术学习，我基本都是通过各种科研的项目积累出来的。每个项目都可能需要一些工具，就需要去找一些论文，然后再加上自己想一想， 在理解了已知的技术后，发展一些新的技术。

神经网络里面有不同的问题，比如有优化的问题，有泛化的问题，或者approximation theory的问题。还有刚才提到的把神经网络用在不同的场景上，比如说无监督学习或者强化学习。对于有些问题，工具会更成熟一点。比如对于泛化的问题，有一些统计学工具对非线性并不是很敏感（比如说集中不等式）。而一些其他问题的技术可能就很依赖于线性特点; 比如优化问题, 会受到一些技术的限制。不过现在也有一些进步了。

关注long-term impact主要是希望每个工作都能比较有质量、关注一些比较长期问题，而不是简单的写论文然后发表就大功告成了。即使论文关注的是一些比较技术性的问题，也希望这些技术有比较广的应用。从做科研的方法上来讲也类似，比如说在读博士的时候，多学一些技巧，多关注一些不一定直接用在科研项目上的一些技术。我在读博士的时候也做过挺多方向，有很多东西当时在学了之后，也没有直接发论文的，但是后来慢慢的在研究中，这些技术还是会用到的。当然，不一定说做的每件事情都能有长期的影响力，但至少这是一个值得努力的方向。

对科研或者学习的建议的话，我喜欢的方法是尽量把问题研究清楚，然后不要太急功近利，一知半解。尽管刚开始的时候可能会效率低很多，但是搞清楚了之后，很多事情就变简单了。

楼天城说他见到学术研究中也有很多人很聪明，竞赛中也是，在天赋上大家不会有太大的差别。楼天城表示自己并不天赋异禀，相反他说，当在一个群体中发现自己并没有天赋，那只有勤奋这条路。

楼天城最后想告诉学弟学妹 ”无论做学术还是做一些真正有意义的事情，人生发展是个积累的过程，积累这个词是很简单一个词，但其实蕴含很深意义。人生发展中不能期待任何所谓的峰回路转，所谓的奇遇，这些都是很难期许的。基本上99%的成功，都是通过日日夜夜的积累来完成，无论是学术能力，还是工业上的能力。”

吴佳俊大学三年保持全年级学分成绩第一；大三赴MIT交换期间，所有科目的等级均为A。他的成绩背后潜藏着“精益求精”四个字。吴佳俊的辅导员顾钊铨说道：“吴佳俊对自己的要求非常高，学习很努力。很多时候我去他们寝室，晚上12点过了他还没有回来，或者还在寝室里看书”。

“我只是比老师要求的多做一点，可选的作业和项目，都尽量去完成。提供的参考书目，尽量都去读。如果有可能的话，就再多读几本”。吴佳俊在学习和科研的路上时时要求自己“多做一点”。吴佳俊说他并不认为自己是特别聪明的人，就是尽量做好每一件事。“班上当时有些同学，尤其是有数学竞赛背景的，掌握新知识比我快。所以人各有所长，还是要扬长避短，发现自己的兴趣，找到自我的发展道路”。

关于尝试，吴佳俊强调“不是找更多的机会而是要有更开放的心态”。吴佳俊说对于大家认为的“多”，很多时候应该是串行进行，而不应该是并行，如果是并行的话往往结果会比较差。“你可以全心全意地尝试之后，发现自己不感兴趣，再做新的尝试。但如果尝试的时候就三心二意，那么你会很难知道自己是否真的感兴趣”。

吴佳俊鼓励大家应该好好尝试，把握前沿的研究机会。另外，吴佳俊嘱咐茶园学子们一定要重视表达的能力：“能够把自己想表达的东西用比较清晰明确简练的方式写出来、讲出来，这是很重要的能力。当然也包括英文沟通的能力”。

姚先生对同学们提出了两点寄语。其一，科学的领域丰富多姿，有许多有趣的问题，一个年轻科学家最初接触到牛刀小试的方向，不一定是最后做出最大贡献的方向，科研道路需要乐于尝试、累积经验，要勇敢接受新的挑战，走出一条最适合自己的道路；其二，跨学科交叉理论的发展是当今的研究趋势，期待同学们能够在其中找寻、探索充满挑战的问题。

张景昭提到毕业前后的心态变化，毕业之后的自由与选择。他表示，勇气与专注十分重要，勉励同学们去创造趋势而不是追随趋势。“诸多行业的未来就是由站在领域最前沿的研发人员决定的，而这种开拓又注定是艰难的、不确定的、长期默默无闻的。”他希望大家在迷茫时，不忘记自己所拥有的宝贵的专注和勇气，发挥自己的天赋，创造人生价值。

马腾宇鼓励学弟学妹们要对未知有着近乎疯狂的好奇，要有执着和反复的尝试，要有独立和深入的思考，也要有效的交流与合作。马腾宇认为清华人常有一种朴素的务实精神，又敢于和善于在方法上自我反思和革新。他相信，在清华园学会的独立自主判断和选择的能力，将永远是同学们进入未知领域的铠甲。

交叉研17班博士潘玲代表研究生毕业生发言。潘玲回顾五年的博士生涯，经过失败、拒稿和沮丧，但是也曾收获了成功、快乐和喜悦，完成了蜕变和成长。潘玲鼓励大家正视失败，不要在一次的失意中停滞不前，而是不断强化自己。她希望和大家一起推进计算机领域的发展，并肩负起时代的使命、中国科技发展的使命，为国家发展、民族复兴贡献自己的力量。

我的主要研究方向包括优化算法分析，动态系统和控制理论研究，强化学习，online learning，泛化理论。 我关注由实际问题（CV, RL, NLP 等等）和实验出发的理论分析，并且希望能够用简洁的理论来拟合现实，进而简化现有的机器学习实验技巧。

我迫切希望能够与对如下问题有兴趣的同学们合作：

1. 优化算法分析中的结论哪些与实际试验不符合？

2. 深度学习中有哪些反直觉反数学的现象？

3. 深度学习中哪些复杂训练流程和参数可以被理论指导简化？

4. 机器学习理论与物理学定理有什么区别？

希望同学入学前可以对如下知识有熟悉的掌握

1. 线性代数原理 （描述解释 spectral decomposition, jordan decomposition 等）

2. 数学统计原理 （consistency, asymptotic convergence 等）

3. 机器学习基础（SVM, MLP, random forest等经典方法）

4. 编程入门 （完整利用pytorch或者tensorflow实现数据处理，神经网络搭建，模型训练，验证）

如下知识会对研究有一些帮助：

1. 具体方向的domain knowledge (RL, online learning, optimization, high dimensional stats, unsupervised learning, transfer learning …）

2. 完成过研究项目（不限领域），或者有发表文章

3. 软件工程基础，了解计算机系统，数据结构

4. 熟练应用数学分析，微分几何

我个人小组今年招生还是以机器学习理论为主（目前几乎可以被直接定义为分析样本复杂度和计算复杂度），这一方面更看重同学对于数学的兴趣和数学理论基础。实验方向如果有同学有迁移学习相关的科研发表经历，可能有额外名额，这一方面需要同学有较成熟的科研经历，研究项目可以直接上手。

今年我科研进展主要还是研究优化算法复杂度的不同定义。 但是我认为最新的理论应当是跨方向的，甚至是跨学科的。 所以我鼓励同学研究与机器学习理论研究相关的任何方向，希望你能找到自己觉得有趣的工作，也鼓励新的与已发表结果不同的思路。

招生方面标准每个老师不同。我自己比较看重同学能够看清自己的研究课题在整个学科中的位置，讲明白为什么要做这件事情，这个事情带来了什么新结果新思路，以及自己对于上述项目的评价是怎样的。

我粗算了一下对机器学习（偏理论和方法论 不偏工程）大概30个技能点吧（可能增加）

每个点我分成 高中初 三个级别 即总共90分 为了方便理解 默认本科毕业送基础分10分 凑到100分

1. 解题力：对于一个formulated problem 能写出正确的证明/发明高效的方法

2. 课程完成：完成了足够的课程以支撑自己的研究以及毕业

3. 文献阅读：每天阅读arxiv 每周保持10篇粗读 包括听talk

4. 编程：熟练掌握至少一门编程语言

5. 英语表达：熟练完整地进行日常对话 写作 阅读

6. Latex使用：是能美观的展示公式 图片（如使用pdf而非png) cleveref/bib管理参考文献；设计paper poster slides等

7. 自我驱动：能主动做所有开始了的研究 主动读paper 主动与合作者update 主动推进项目 偶尔赶进度能放弃娱乐

8. 研究力：对于一个not well formulated problem 能想出对应的解决办法

9. 搜集力：能快速准确找到自己需要的知识点或代码 切忌浪费时间重复劳动前人做过 或者用正确但过时的工具事倍功半

10. 创新力：能创造一个新的方法或者框架解决问题 包括followup别人成果并改进

11. 交叉力：能发现跨领域或者不同工具或者不同流派的交集 从而完成交叉类研究

12. 洞察力： 能快速理清文献的思路并准确判断该文献的价值 或者挑出毛病甚至加以改进

13. 写作力：能在文法正确的基础上写出清晰 有趣 有立意高度的论文 将研究价值最大化呈现

14. 影响力：有别于写作 专指海报 演讲 主动联系外校或企业获得合作和展示机会

15. 研究格局：注重研究的深度 专注痛点问题而非无关紧要的交叉概念涨点调参/做小改进

16. 多样性：注重研究的广度 不局限于一个细分领域一种工具一类发表渠道

17. 独立性：能独立完成研究教学演讲/写作等

18. 时间管理：包括对课业 研究 审稿 助教 阅读文献 演讲 实习 合作者之间时间管理 不会错过deadline

19. 精力管理：保持体重稳定 睡眠充足 不产生心理和精神问题

20. 情绪管理：在面对拒稿、卡壳、被抢发等外力因素时保持平常心 不被负面情绪（如嫉妒 不甘）降低效率

21. 恋爱关系：不因工作顺逆而影响自己的感情线 独身主义者自动满级

22. 向上管理：能主动和导师或其他教授沟通研究idea 并适当催促对方改稿子批条子推荐机会 以及表达自己的合理诉求（如放假和换课题）

23. 向下管理：能主动和学弟学妹们一起研究 带领他们保持效率 合理安排工作和分配credit

24. 平级管理：能主动和一批优秀的同龄人以平等地合作关系共同推进项目

25. 行政管理：和秘书高效完成会议预定财务报销毕业要求咨询等行政任务 也包括学会写grant proposal和组织seminar

26. 项目规划：熟悉并掌控过完整的科研流程 能提出idea 写出初步证明或跑出初步实验效果 邀请合作者 掌控研究进度 并在合理时间内中稿

27. 攻击力：审稿时能有理有据的指出别人研究中地错误并判断错误的大小 修稿时能有底气反击审稿人无理的建议（如要求引用无关文献）

28. 防御力：在演讲或修稿时不被莫名其妙的提问打乱阵脚 不被deadline pressure/peer pressure等影响

29. 人脉网络：构建完善的人脉网络 覆盖研究 生活 找工作等多方面

30. 学术服务：完成TA(助教）审稿等学术义务

以我自己为例 我入学博士的时候是英国本科 大致上7+10=17分

英语表达（高级）编程（初级）解题力（中级）课程完成（初级）

博一（21分）：

上数学系博士课和机器学习的入门课 并多次参加kaggle 第一次使用tensorflow

课程完成（初级）–>课程完成（中级）编程（初级）–>编程（中级）

但不会读paper 更不会写 找了几个做ML的老师结果都被拒了 试着了解了几个女生但没遇到合适的

获得 恋爱关系（初级）获得 Latex使用（初级）

博二上（31分）：

刚开学遇到了我现在的导师 开始了第一个线性模型项目（用的R语言） 前两个月没有任何进展 但终于读懂了第一篇文献 这个项目虽然难 但难点集中 也有对标的work 所以路径相对清晰 做了三个月后有了初步的成果

获得 文献阅读（初级）获得 搜集力（初级）获得 研究力（初级）

此时有两个外校的AP加进来合作 整个证明快了很多 也第一次学会了pdf和png图片的区别 5月投NIPS中了 展示poster

Latex使用（初级）–>Latex使用（中级） 获得 自我驱动（初级） 获得 洞察力（初级） 获得 时间管理（初级） 获得 防御力（初级） 获得 人脉网络（初级） 获得 写作力（初级）

博二下（38分）：

导师指导了一个差分隐私和深度学习交叉的项目 在学长的carry下 我主要负责编程（包括第一次用云计算）3个月写完 这是我进入的第二和第三个领域 这个文章算是根本上解决了深度学习中隐私accountant的问题 理论深效果好 我特别满意

获得 研究格局（初级） 获得 交叉力（初级） 获得 多样性（初级）

算上NIPS这一年参加了三次会议 包含了我的第一次poster和第一次talk 还学会了怎么报销和帮老师写了点grant的文书 加上带了宾大的暑校 以及完成了五年中唯一一年的TA义务

获得 影响力（初级） 获得 行政管理（初级） 获得 向上管理（初级） 获得 学术服务（初级）

博三上（46分）:

继续做第一个项目的另一个角度 没想到遇到了特别大的困难 写了一年才写完 临发表发现了错误 重新写 总共花了两年到博四末才做完 中途导师都想放弃了 期间迷茫痛苦不足为外人道

研究力（初级）–>研究力（中级） 获得 情绪管理（初级）

虽然主线任务非常不顺 但是支线任务还是没少做 最重要的就是遇到了现在的女友 都有学术心 一直互相学习到现在

恋爱关系（初级）–>恋爱关系（中级）

自己在没有导师的情况下还带了其他同学做了几篇followup和交叉工具的paper （这些work的发表要到博四开学）

获得 独立性（初级） 自我驱动（初级） –>自我驱动（中级） 获得 项目规划（初级） 获得 向下管理（初级） 获得 平级管理（初级）

博三下（60分）:

和导师提出了一类模型的新结构 学习了neural tangent kernel这个新工具 也被导师和同学在另一个课题上带着中了NIPS spotlight 也就是说 这一段时间我同时在和多个合作者做至少5个项目。。。

交叉力（初级）–>交叉力（中级）写作力（初级）–>写作力（中级）时间管理（初级）–>时间管理（中级）获得 精力管理（初级）多样性（初级）–>多样性（中级）Latex使用（中级）–>Latex使用（高级）

在博三结束的暑假 我做了第一份实习 MSR总部的算法组 继续研究深度学习和差分隐私 解决隐私算法的重要问题（以前只考虑privacy和accuracy 通过实习才关注memory和speed等现实要素） 而且偏向方法上而非理论上的创新 需要手写所有的optimizer

期间完成论文两篇 已发表ICML

研究格局（初级）–>研究格局（中级） 编程（中级）–>编程（高级） 搜集力（初级）–>搜集力（中级） 获得 创新力（初级） 人脉网络（初级）–>人脉网络（中级）

至此 我已经上完了学校所有我需要的机器学习统计数学课 并主动约导师把oral exam过了 不再上课

向上管理（初级）–>向上管理（中级） 课程完成（中级）–>课程完成（高级）

由于美国疫情开始 几乎断绝了传统的信息获取渠道（学术会议, reading group, lecture）我开始订阅各种校外seminar（尤其是one world系列）并且开始每天扫完当天arxiv新增文章（统计+ML大概130篇/日）

文献阅读（初级）–>文献阅读（中级）

博四上（74分）：

博三耕耘的多个无导师的项目们都完成了 中了三篇AISTATS （因为统计要素较大 而ML顶会不太懂inference） 其中一篇槽点无法忍 某个小学生审稿人说我研究的问题和概念都是自创的 我气的直接在rebuttal骂他没有资格审稿 甩wikipedia链接告诉他这些概念有多基础 最后他改分让我中了同年 我也第一次当审稿人 就是AISTATS 还第一次当了期刊审稿人

获得 攻击力（初级）交叉力（中级）–>交叉力（高级)防御力（初级）–>防御力（中级）洞察力（初级）–>洞察力（中级）学术服务（初级）–>学术服务（中级）独立性（初级）–>独立性（中级）时间管理（中级）–>时间管理（高级） 精力管理（初级）–>精力管理（中级） 向下管理（初级）–>向下管理（中级） 平级管理（初级）–>平级管理（中级） 项目规划（初级）–>项目规划（中级）

和女友相处一周年 感情很好

恋爱关系（中级）–>恋爱关系（高级）

迟到了一年的报销催下来了

行政管理（初级）–>行政管理（中级)

和MSR、Baidu、Huawei研究部门高管保持联络 给些talk 偶尔写技术博客

影响力（初级）–>影响力（中级）

博四下（87分）： 困扰我多年的第二个项目终于做完了 在我导师和合作者们神助攻下 用崭新的要素做出了很好的结果 在投统计第一期刊 AOS；另外有一个很满意的work 我独立给出了某个重要问题的training dynamics分析 并且大幅改进收敛性质

目前我的研究范围包括：高维线性模型；隐私模型；深度学习理论（主要NTK)；优化算法；可解释模型；贝叶斯模型；missing value imputation

解题力（中级）–>解题力（高级）研究力（中级）–>研究力（高级）写作力（中级）–>写作力（高级）创新力（初级）–>创新力（中级）独立性（中级）–>独立性（高级）自我驱动（中级）–>自我驱动（高级）多样性（中级）–>多样性（高级）情绪管理（初级）–>情绪管理（中级）

保持着每天扫完arxiv新增文章标题以及扫完ICLRNIPSICML所有文章标题（一年3000+篇）的习惯 广泛撒网 重点捞鱼

文献阅读（中级）–>文献阅读（高级） 搜集力（中级）–>搜集力（高级） 洞察力（中级）–>洞察力（高级）

当ICML和NIPS审稿人 以及宾大暑校

攻击力（初级）–>攻击力（中级） 学术服务（中级）–>学术服务（高级）

博五上（97分）：

隐私模型这一块在多方面做到了SOTA 包括计算效率（一样的速度下比Facebook库省了上百倍内存 一样内存下比Google快了上百倍）隐私刻画（给出了第一批tight bound中的一个 现在是业界benchmark）隐私优化器（提出了一类截然不同的优化器设计思想而且大幅改进convergence）

大厂全都听过我的talk了 也因此又拿到了几个实习 暑假先去百度西雅图研究院 秋季学期中在Amazon AWS AI lab又做了一次实习 给了return offer

创新力（中级）–>创新力（高级） 影响力（中级）–>影响力（高级）

开学后边做实习边和同学做研究边刷代码找full time research scientist工作 拿了十几个offer

精力管理（中级）–>精力管理（高级）

尤其是现在独立带同学和学弟学妹合作非常愉快 同时做8个无导师项目也hold得住

项目规划（中级）–>项目规划（高级） 向下管理（中级）–>向下管理（高级） 平级管理（中级）–>平级管理（高级）

当更多审稿人 ICLRAAAINIPSICMLAISTATS等等

攻击力（中级）–>攻击力（高级）

毕业论文搞得很狼狈 宾大的要求是答辩前14天就要把毕业论文准备好发给committee 我本身就是在宾大允许的答辩最后一天答辩 没注意这个时间点 差点就要延毕一个学期 幸亏老板提醒 花了两天从零开始肝完毕业论文 安排答辩时间地点和所有表格 答辩顺利通过 谢谢导师们！（其实我是超出了宾大thesis deposit deadline的。。。）

向上管理（中级）–>向上管理（高级） 行政管理（中级）–>行政管理（高级）

还有一件事在整个秋季学期也一直耗我的精力 就是我投AOS的第一个项目拿到了revision 为了求稳我们用3个月写了8页的response 再次提升了我写作能力 虽然我以顶会为主 之后我有信心可以独立投顶刊了

防御力（中级）–>防御力（高级）

解释一下为何研究格局和人脉网络我觉得做的不是很好 主要原因是我没有做过特别宏大或者爆款的文章（Nature级或者单篇citation 500+）这方面从我跟超新星导师而不是成名大牛有关系 跟我处在这一波深度学习时代末期也有关系 好在依然在做前沿研究 两三年内肯定会满足这个小小的遗憾

因为提前毕业就没有博五下了 更新一下毕业后近况：和恋爱两年的女友结婚了 以及去业界做 senior research scientist了

总的来说还是挺开心的日子 我比较工作狂吧 知足了 这已是圆满

Last but not least 我的博士生涯TM的有塞尔达荒野之息啊 呀哈哈！毕业后就等着荒野之息2哈哈！

降低期望 小步快跑 做学术的最想做的是什么样的paper 百分之一百是（1）有超前的新意（2）直接挂钩应用（3）扎实的理论支撑（4）能很快获得同行的认可（5）发表在很好的渠道获得广泛的影响

但是如果你想要靠一篇文章完成以上所有点 这是极度不现实的 也不可能有足够的正反馈 因为心里期望阈值调太高了

正反馈对于博士生至关重要 所以如果心里真的难受 不妨暂时放下期望 投简单的期刊会议 审稿的越快越好 中稿率越高越好 开会的地点越远越好

我有段时间科研简直快乐到可耻 机器学习领域一篇文章可以快乐六次

写完放arxiv一次 投workshop一次（目前icml/nips/iclr 100%中只要4页）投中会议一次 中期刊一次（需要扩充至少30%新内容）宣讲至少一次 被cite又一次

这样的做法 并非水paper 而是把漫长的科研阶段性收割胜果

心力不憔悴者 当钻研攻坚矢志不渝 自我怀疑抑郁者 不妨一水

绝对不要放弃信心和生命是读博唯一的铁律

这个得分几部分说，一名研究生一般都会面临入门、做事和讲故事三个步骤的工作。

那入门其实就是看文献，想idea的一个过程，这个过程需要两个核心的能力：

一、Learning ability

这个其实包含了很多东西，比如，最基本的，你的英语水平，因为我们知道现在基本好点的论文都是英文的，而你只有去读这些英文的论文才能走在相关领域的前列，所以，你多久可以看一篇英文论文决定了learning ability的上限，一般来说，不管你智商再高，如果英文阅读速度慢，时间长了也会和别人拉开质的差距，比如，有人1个小时一篇，一天8-10篇，你一天才能磨磨唧唧看完1篇，那你从起跑就已经输了。 其次，这个learning ability还包括一个人的学习能力，就像你在大学里学习中文课程一样，有的人老师讲了就会，有的人下来琢磨半天还是不懂，有的看一遍就记住，有的看十遍还是记不住，有的公式瞅一眼就知道含义，有的即使把每个项代表什么告诉他他也不太理解，有的人每天都和实验室小伙伴catch up大家最新的科研见解，有的人一到这种场合就变成了透明人也不懂得怎么去从别人的方向中找寻自己的契机，类似这些都是learning ability的区别。

二、Creating ability

在你吸收了很多前人的知识之后，作为一名研究生，就需要在前人的基础上去创新了，你能不能将现有的前沿成果组织起来，准确找到其中的漏洞或者机会，来构建你自己的idea，这个是入门的科研新手需要去突破的很大问题，当然，一开始的idea可能不会很好，那你能不能在发现其问题后根据你的知识储备对其改进，能不能在一个差的idea的基础上通过实验验证观察和理论推导衍生出一个更高级的idea，能不能在一个idea其中某个细节发现不对的时候，通过修正这个细节来弥补它，这些都是creating ability的体现。如果你能做到上面两点，那恭喜你，你已经非常有成为一名有潜力的研究生的潜质啦，剩下的，大部分不在于你的天赋，而在于你的努力，当然，会努力有时候也是一种天赋和后天培养的结合。

关于做事部分：

一、Being persistent

做科研是一份十分苦逼的活儿，你在决定之前可以问问你自己有没有准备好，其最大的挑战在于所有科研的收获都有延迟满足的现象，而且，这个延迟的时间不一定，有几天几个月的，也有几年几十年的，比如，当你要验证一个东西，你一开始想到一个验证方式，验证了一周之后发现这个方式根本就是错的，现在你需要换一个，直到你换到第十种的时候你发现这个方式可以，然而，计算软件（实验设备）又被别人抢先用了，你必须再等两周，等了两周之后，可能实验设备又出故障了，自己维修一周，种种不一而足，当你最后把这个东西验证出来之后，可能早已没有一开始想出idea那时的兴奋劲儿了，而且，这还是能验证出来的情况，极有可能这个东西是验证不出来的，那你又需要另一个idea，根据我见过的，大概5-10个idea能最终产出为一份有意义的科研成果转化率就算不错了。

二、Being careful

基本所有的实验或者理论工作都需要有一个比较细致的工作计划，这个计划细致到你每天要干什么，怎么干，你可以不用写下来，但是记得一定要细心地完成它，因为对于科研工作来说，可能一个小小的细节就会导致最终完全不一样的现象/结论，从而导致实验失败而浪费之前长期的准备工作时间，比如，你今天制样忘记加一个很重要的前驱体，那很可能等你发现制样失败已经是在你多次重复试验重复不出来的时候了，这样你起码会浪费2-3天甚至更多的时间，研究生时间本来就非常宝贵，所以要记得一定要细心地去做，而且要细心地观察现象，有的时候，新的idea可能就在你无数失败的实验里，所以，有时候说，这个世界上不存在失败的实验，只存在不合格的研究者。

三、Being Patient

有的idea，可能有多种不同的验证方式，或者有的样品，可能有多种的用途，比如，样品效果不好，那这种样品对机理研究会不会有贡献，核算一下成本和效益的关系，会不会其实它更加便宜，我见过许多人随便试一下这个样品不行就慌忙地要开始下一个样品，Calm down朋友，你要想，你制备这个样品可能已经花了一周的时间，多花半天时间去想想它还有没有别的用途为科学的进步作出贡献，往往这种条条大路通罗马的情况是很多的，这样比你多花一周时间去制备另一个样品还不确定它是否有效要好得多，不然你可能整个研究生都在奔忙，最后问你做了什么，你却说所有的东西都失败了。

最后，说说讲故事的部分，也就是展现你的研究成果，不论你是写sci论文，会议论文，专利甚至ppt，你如果不分享你的研究成果，那也无法为科技进步作出贡献，所以，怎么将你的成功展现给大众，也是一名研究生研究潜力的体现：

一、Being professional

首先，你才是本领域的专家，所以你懂得肯定要比别人多，这个时候，你必须展现出你专业的一面，才能使大家信服，去深究你做的这个东西，从而对它们今后的研究产生益处。

二、Being understandable

通过通俗易懂的语言，精确、简洁地把你的成果展现出来，这样首先可以保证你展现出来的东西并没有浪费大家多余的时间去克服复杂语言所带来的的阅读障碍，其次，也可以让一些刚刚入门本领域的人更快地理解你的成果。

三、Being attractive

其实说白了，展现研究成果就是一个讲故事的过程，同样一个故事有多种不同的讲述方式，怎么讲述才能最吸引你的听众和读者，选取最好的讲述方式，才能有利于你的成果更快更广地被传播出去。如果你能做到上面这些，你不一定是一名优秀的研究生，因为可能很多领域的研究需要很高的天赋，但是，你应该是合格啦。

如果你的亲人是普通阶层，那对于人生中一些大事来说，他们给的建议往往就是普通阶层的思维，他们的阶层就是他们一生思维决策的结果，如果你的目标是跳出本阶层，那最好只把他们的建议当成参考。

很多人喜欢不停的做事，但不会停下来思考，缺乏总结复盘的能力，其实阶段性总结复盘，不仅能够固化前面的经验，也能梳理后面的方向；把事情做对很重要，但是更重要的是做对的事；另外不要贪快，方向正确慢就是快

后来我每遇到一个质量问题，无论多忙最后定要写一份总结分析报告，这成了我一个技术习惯，也为后来我升任软件开发组长奠定了技术影响基础。

强烈建议技术团队定期开展质量回溯，需要文档化，还要当面讲解，深入的技术回溯有助于增加团队技术交流活跃度，同时提升团队技术积淀，是提升产品质量，打造优秀团队的有效方法。

一天我在菜市场买菜，有人给我一张传单，本来对于这样的传单我一般是直接扔掉的，但是当天鬼死神差我看了一眼，只见传单上写着“嘉善高铁房，紧邻上海1.5w”。 我当时就石化了，我记得去年我研究上海房价的时候，曾经在网站上看到过嘉善的房价，我清楚的记得是5-6k，我突然意识到我是不是错过了什么机会，反思一下：

工作生活中尽量保持好奇心，不要对什么的持怀疑态度，很多机会就隐藏在不起眼的细节中，比如二十年前有人告诉你未来可以在网上购物，有人告诉你未来可以用手机支付，你先别把他直接归为骗子，静下来想一想，凡事要有好奇心，但是要有自己的判断。

于是我立马飞奔回家，开始分析，大城市周边的房价。我分析了昆山，燕郊，东莞，我发现燕郊极其特殊，几乎没有产业，纯粹是承接大城市人口溢出，因此房价成高度波动。而昆山和东莞，由于自身有产业支撑，又紧邻大城市，因此房价稳定上涨。我和妻子一商量，开始了外地看房之旅，后来我们去了嘉善，觉得没有产业支撑，昆山限购，我们又到嘉兴看房，我发现嘉兴房价也涨了很多，但是这里购房的大多数新房，都是上海购房者，入住率比较低，很多都是打算买给父母住的，但是实际情况是父母几乎不在里面住，我觉得这里买房不妥，存在一个变现的问题。于是我开始继续寻找，一天我看着杭州湾的地图，突然想到，杭州湾北侧不行，那南侧呢？南侧绍兴，宁波经济不是更达吗。于是我们目光投向绍兴，看了一个月后，最后在绍兴紧贴杭州的一个区，购买了一套小房子，后来17年房价果然如我预料的那样完成中心城市的上涨之后开始带动三四线城市上涨。后来国家出台了大湾区政策，我对我的小房子更有信心了。

我从 2013 年打算法竞赛，2016 年在北京大学上本科，17 年后在旷视研究院做一些 AI 相关的研究至今。

入门总是困难的，而且很多知识，别人的学习过程也很难效仿，某些开悟的体验更是无法言说，我这里不讨论某一种具体的技术应该如何学习 我觉得最难的一件事，就是决定要干什么不干什么，要把时间投入在哪？这是一个投入产出比的计算问题，同时还是一个信息掌握程度提高的问题。

我总结了几个我觉得比较好用的想法：

（一）抓大放小，或者叫抓主要矛盾。比如说要在某门课程取得高分，究竟是花时间做大作业，还是好好准备期末考试？比如说要提高编程能力，是死磕几道难题，还是看看编程书，还是看看别人的博客？不可能所有事情都做完，总有重要的事情和不重要的事情。

特别是当各种事情进展不顺利的时候，更要想想主要矛盾是什么，就像互联网话术里面说的，“这件事的抓手在哪？“ 绩点差是什么类型的课程耽误了呢，还是平时分丢多了？竞赛成绩差是什么样的题型没做好，还是训练没做好？

（二）找找比较优势。比较优势是微观经济学里的一个重要理论，我觉得挺能指导路线选择的。我们或早或晚地会意识到，总有一些事情，我们倾尽所能也不及大佬随手一做，所谓人和人的差距，比人和狗还大。比如说我们竞赛圈的偶像陈立杰大佬，他投身了理论计算机科学领域，我就觉得如果我和他一起工作，我可能非常努力也只能是他的百分之一产出。

那怎么办呢？我的想法就是找到自己的比较优势，即找到那些我们和大佬差距最小的领域去发挥自己的作用。而且当真正认识到自己的“比较优势”时，形成正反馈的速度就会比较快。

也有很多人的比较优势来源于爱好，也是一种很好的状态，把技术和爱好联系在一起，往往能有出乎意料的成就。

（三）多学前人经验。我高中的竞赛学习历程比较奇特，我照原样把一个大佬的做题记录刷了一遍，果不其然我也达到了不错的水平。当然这种机缘巧合的事情比较少，但我觉得看一看比自己高几届的学长学姐在做什么，业界的大佬又在做什么，去找他们聊聊肯定非常受益。

（四）尽早给自己建立正反馈。正反馈可能有很多类型，比如刷高绩点得到奖学金，写个项目有很多人关注，或者说融入个群体共同做事。问问自己想要什么，去尽早做一些这样的事情，有助于在遇到挫折的时候有一种底层的自信。

甚至说正反馈的方式未必要和主业，和计算机专业有什么关系，重要的是相信自己的能力，并且向着更高的追求去进步。比如培养一些不错的爱好，游戏上分什么的都挺好的。

（五）以终为始。实在不知道自己该做什么才是对的，就好好想想有什么事情，做成了自己会开心？有很多成功学的教程都有这个概念，提前写个明年的年终总结，也许就知道当下该做什么。

最后是一点鸡汤，就是我还挺相信积累的力量。一方面是原来看不懂的工程和理论，放一段时间就莫名其妙看懂了。特别是编程很多时候像是一门磨时间的手艺功夫。把一件事情坚持做多年以后，它好像总是会以出乎意料的好的方向去发展。如一个大佬告诉我的，“所有工作，做到最后都会有好结果”。

学习阶段如果时常想想这些，我觉得应该会有帮助。

2017年度的计算机领域最高奖“图灵奖”终于揭晓——斯坦福大学的约翰●轩尼诗（John Hennessy）教授与加州大学大卫●帕特森（David Patterson）教授由于为设计更快、更低功耗以及精简指令集（RISC）微处理器创建了一套系统的、量化的方法而获此殊荣，这也是计算机体系结构领域第五次获得图灵奖。相比于前几位图灵奖得主或是家庭显赫或是出身名校，今年的两位图灵奖得主的人生轨迹更似“寒门出贵子”。轩尼诗出生于一个工程师家庭，本科就读于很多人并不了解的维拉诺瓦大学，博士毕业于纽约大学石溪分校；而帕特森则是家族的第一位大学生，本硕博均毕业于加州大学洛杉矶分校。

一、超前教育

主持人：你们上大学时很多学校还没有计算机专业，怎么会选择这个方向？

轩尼诗：“我的父亲是一位工程师，他让我对计算机产生了好感。但我真正对计算机感兴趣是高中时在一台分时共享的机器上用纸带编程的经历。然后，我和一位好朋友一起参加高中科学项目——设计一台tic-tac-toe机器。我们使用了决策树，不是很难。但人们看到这台机器能战胜他们时还是很吃惊……我高中时就会一点Fortran编程了。但那时大学还没有计算机专业，我就选择电子工程，但我会计算机兴趣越来越浓。”

帕特森：“我是我们家里第一个大学毕业生。那时我们高中开了大学数学预修课，我记得自己上了一门微积分课。我在UCLA上本科，选了数学专业。大三时有一门数学课取消了，所以我只能选一门计算机的课来算学分。那时我知道什么是计算机，但其实我并不感兴趣。我想是那门课让我对计算机产生了兴趣。”

场外音：高中时代就学习编程、学习微积分，这不正是被很多国人诟病的“超前教育”嘛？而从两位图灵奖得主的回答中，我们可以了解到1960年代的美国高中教育不管是在教学理念上还是在知识结构上，都是相当领先。可见，超前教育正是发现和选拔人才的有效方式。

二、成家立业

主持人：请两位谈谈你们是怎么认识另一半的？

帕特森：“我和太太是12岁认识，16岁开始约会，19岁结婚，21岁生了第一个孩子” ，“我想家庭的点点滴滴是我最骄傲的时刻，这一点毫无疑问。不过，这一路过来并不容易。第一个孩子出生时，我就觉得经济上有些麻烦了，老二出生时，我感到强烈的经济危机了。心想，嗨，我要变成一个真正的男人了，要养家糊口了。”

轩尼诗：“我赢得太太芳心靠的是努力工作和科学知识。17岁时，我放学后在一家食品杂货店打工当库员，盯上了也在店里打工的17岁收银员女孩。”

轩尼诗太太：“（我记得）第一次约会是在高三。他拿了tic-tac-toe机器到我家，给我妈留下了深刻印象。”

场外音：幸福美满的家庭是成功事业的基石——1966年，帕特森与太太结婚，如今已过金婚之年；1974年，轩尼诗和太太在22岁那年举行了婚礼，今年是他们结婚44周年。浪漫而忠贞的爱情陪伴了他们一生，令人羡慕不已。他们的成功离不开两位太太一生的支持。

三、最好的学生选择学术界

主持人：你们在博士毕业后为什么会选择留在学术界？

帕特森：“我太太起了非常重要的作用。当时我拿到了贝尔实验室和伯克利的聘书。我问太太，‘我们在学校宿舍住了很久，经济上也很紧张。你是不是想让我去公司好先买房？’她问道：‘如果你现在拒绝伯克利，先去公司，那以后你想改变主意还能再回伯克利吗？’我说：‘哦，这个不太可能’。‘那如果你先去伯克利，然后再想跳到公司呢？’‘这个还是很容易的。’她说：“那好，去伯克利！我们会穷一些，但很骄傲。’”

轩尼诗：“我从一开始就决定去学术界，所以只参加了大学的面试。实际上，斯坦福是我面试的第14所大学。”

场外音：帕特森在1976年加入了伯克利，一呆就是40年，一直到2016年退休。轩尼诗在1977年加入了斯坦福，到现在也有41年了。他们都很享受在学术界教书育人、与学生们一起开展研究的生活。他们显然是当时最好的一批学生，也都选择了学术界，这种选择背后体现了社会价值观的导向。

四、好的研究品味

主持人：你们认为什么是好的研究？如今计算机领域论文越来越多，你们怎么看？

帕特森：“现在计算机领域论文发表状况令人担忧。当你看到刚毕业的博士就发表了几十篇论文，给人感觉就像是大量最小可发表单元（least publishable unit，LPU）的堆积，重数量而轻质量” 研究的目标应该是追求影响力，去改变人们开展计算机科学研究与工程设计的方式。论文数量是学术界槽糕的评价指标，我推崇理查德·海明（Richard Hamming）的观点——解决重要的问题！” 可以用研究项目来评价。当然，“应该是完成了多少个项目，而不是启动了多少个项目”

轩尼诗：“（其实）在学术界很容易判断（研究价值）：告诉我你最重要的5-6篇论文是什么？我们应该摒弃唯论文数量。一个人真正做成了什么？最终还在于影响力。看他们对工业界产生了什么影响，对其他研究人员产生了什么影响。 这才是评价教授们的研究工作时真正应该关心的。”

场外音：由此看来，“重数量而轻质量”并不是国内学术界特有，这在国际上也是同样存在的现象。这引起帕特森与轩尼诗的担忧，因为与他们那个年代的研究氛围相比，今天的学术论文通货膨胀现象已经非常严重。表1是他们职业生涯早期的论文发表情况，其中1980-1985年正是他们开展RISC和MIPS处理器研究的黄金时期。轩尼诗在1982年有一个高峰，这是因为他加入斯坦福6年工作的积累。同年，他启动了MIPS项目，此后三年论文数又回归到1-3篇的正常状态。可以看到他们在职业生涯早期平均每年只发表约2篇论文，但这段时期的成果却获得了图灵奖。对比其亲身经历，这也难怪他们会对当前追求论文数量的现状表示担忧。如何培养好的研究品味，值得每一位年轻科研人员思考。

五、与工业界密切联系

主持人：我发现你们都做了很多和工业界有关的项目，轩尼诗教授甚至还亲自创办了MIPS公司。请问你们是如何看待学术界与工业界之间的关系？

轩尼诗：“在斯坦福有这样一种信条——和工业界的互动，不管是咨询还是其他角色，都是非常有价值的事。这不仅可以让大学对工业界产生更大的影响力，也可以让教授们对研究有更好的理解与洞察。我想这个信条是千真万确的。你想，班上的学生大多数其实不会留在学术界，即使是研究生，大多数都会去工业界。教授们当然要讲授那些经典的基本原理，但理解甚至经历过如何应用这些原理，则会给教授们带来不可思议的价值。”

帕特森：“我们是做体系结构的，有产业基础，我觉得这很关键。我们有想法，就能找到地方去试验这些想法。所以不断和工业界互动就很重要，一方面当你觉得有好想法时他们可以来检验你的想法，另一方面，他们会帮你发现研究问题，帮你确定一个问题是否重要。有趣的问题很多，但它们又有多重要呢？所以我总是在和工业界互动中判定一个问题重要还是不重要” 此外与工业界交流对学生也有帮助，“应该多给学生机会让他们向工业界专家做报告、介绍海报，多跟工业界互动”

场外音：只有更深入地了解企业，研究人员才能获取真正的产业前沿需求，才能做出真正有价值、有影响力的研究工作，才能赢得企业的信任与尊重。近年来，国内的学术界与产业界之间的合作已经打开了局面。假以时日，相信中国必然会涌现出越来越多的高水平研究工作。

六、好教材成就影响力

主持人：你们合著的《计算机体系结构：量化研究方法》被称为是体系结构界的圣经，为什么会想到写书？

轩尼诗：“因为做了MIPS后，我一直被迫努力地去思考RISC到底是怎么工作的、它的优势到底是什么。这让我们产生想写一本书来量化解释计算机体系结构的念头。当然，这也让我做出了一些其他贡献” 写出一本好书的影响力会令人不可思议，“有一次我走过清华大学一个研究实验室的走廊，我太太指着一本书跟我说：‘看，这里有一本你的书。为什么不给这位女孩签个名？’于是我停下来签了名。结果，不到30秒，一下子站出来50-60个学生从他们的书架上拿出书来找我签名。这时你会有一种意识——这本书让你接触到世界上遥远的人们。”

帕特森：“我们对当时的体系结构教材很不满意，这些书就像是购物手册，这是一个研究项目A，这是一台计算机B。所以，我们觉得应该写本书” 关于“影响力，我想RISC和那本量化方法书确实改变了人们设计计算机的理念”

场外音：其实写一本好教材不容易，并不是所有的教材都有如此影响力。轩尼诗与帕特森亲自从事RISC架构处理器设计的经历，让他们对体系结构有更深入的理解，这才是这本教材成功的关键。

七、学生是最大的财富

主持人：你们是如何学生的？

轩尼诗：“我喜欢教书，我喜欢和学生一起做研究，我真的觉得这是我生活中最美好的时刻” 。“在那些出色研究成果中，我做的贡献和学生们相比显然那么地微不足道，他们就好像是一种神奇的放大镜。我想这也正是大学里的伟大之处：学生的作用就是放大镜，真的是惊人的放大镜！”

帕特森：“（加入伯克利）32年后，我进一步明确了如下目标：导师最大的财富是你指导的那些学生，而不是你发的那些论文。我对导师的建议是，让你的学生有一个好的开始，建立令人兴奋的研究环境，帮助他们培养好的研究品味，起到表率作用，教会他们在公开场合做报告，在他们生活遇到困难时给予帮助。学生才是学术王国中真正的财富。”

场外音：轩尼诗培养了10余位博士，已有两位入选美国工程院院士，还有多位ACM Fellow。帕特森在过去40年培养了36位博士，有5位已经是ACM Fellow。值得一提的是帕特森有两位中国学生，分别是2010年毕业现在清华大学的徐葳教授与2013年毕业创办了一家创业公司的谭章熹博士。

十、敢于尝试与乐观心态

主持人：我们的采访快结束了，请你们谈谈人生最大的体会？

轩尼诗：“我经常给人们的一条建议是不要胆怯。海伦·凯勒曾说‘懦弱者和勇敢者遭遇不幸的几率差不多’，我想这是对的。一个人很难成功如果你不愿意尝试风险。所以每年我都鼓励学生去尝试风险，各种各样的风险。”

帕特森：“如果要说最大的（人生）体会，我想是乐观吧。当然不是盲目的乐观，而是谨慎的乐观。我做过很多只有五六成把握的事情，有的甚至只有四成把握，我总是说“去干吧，让我们先试试看再说”。这种乐观方式对我很有效。我想如果我稍悲观一点，就不会给伯克利打电话了。当然也有很多事我没有做成，所以我说是谨慎的乐观。”

除了PDE-Net是老板的，而且pde-net我的贡献也是四个作者里最小的，老板心善把我挂上了【感谢老板】别的idea都是我的谢谢，当然和老板的讨论也帮我refine了很多

也感谢 @钟熬销 帮我把lm的实验整理的完整， @张小帅 同学帮我两周没日没夜的把idea干work了，以及 @林挺 同学帮我把我恶心的证明思路梳理干净了【有人叫我艾特一下引流】

如果你能和我一样每天至少10篇paper的阅读量，近几年相关杂志会议文章【cvpr,siims,icml,nips,siggraph,siam其他相关杂志(jsc,uq,opt,…)】 自己方向的一篇不漏读过，arxiv每天跟进，每学期至少读一箱子paper【这是我第一学期读的，后面几个学期应该读的快多了】

领域的大佬的google scholar每月跟进，邮箱里的除了某民科的邮件都是google scholar发来的提醒邮件

院里的talk一个不拉的去，每周组织自己院里一样方向本科进行讨论班读paper读教材讨论idea

院里的博士学长一直知乎上的很多博士学长也一直在讨论，帮助我学习科研进步了很多

以及有很多志同道合的小伙伴合作，你也可以

最近和几位年轻老师聊起来招生的事情。我说我最近几年面试国内的学生经常发现一个问题： 每个人简历都特别漂亮，甚至好几篇顶会。但讲自己做的东西，非常快速的就进入到技术细节，完全没有大的picture。 你让他总结一下为什么想到这个方向或者解决这个问题，往往就是“我读了这篇文章，想到这里只要这么一改，马上XX就能提高，这不就是篇文章吗？”

毫无疑问这些学生是非常聪明的。但受到的训练却非常功利： 主要的精力都在怎么在最新发表的文章中找出一点可以马上拿一个已有的方法改进的地方，快速做完实验，把论文发出去。 而我更关心的却是他们怎么思考去发现一个好问题，这个问题为什么与众不同却又十分重要，它为什么存在，为什么一直被忽略或者让大家知难而退， 又为什么我能想到一个巧妙的方法去解决它这一整套思路。即使不能完整的走完这一流程，至少思维需要是朝着这个方向前进。

我经常跟学生讲，如果你做一个课题，发现不能在这件（小）题目上做到世界前几，那就应该主动放弃。这不是吹牛说我们事事都能做到世界前列。 恰恰相反，这几年我们主动放弃的科研方向远比坚持下来的多得多。 但能做到世界前几的方向，你一定得有与众不同的insights。 读了几篇最新发表的论文拿来改一改，即使你侥幸发了顶会顶刊，大概率也是未来无人记得的水文。 所谓法乎其上，得乎其中。你如果一开始就奔着法乎其下去，其结果可想而知。

话说回来。学生甚至学生的老师如此，大概率不能怪他们。 如果评价体系就是奔着数数去的，大家毕竟都要讨生活，也不得不跟着指挥棒一路走下去。

所谓“洒扫”，字面上无非是洒洒水、扫扫地，鸡毛蒜皮的小事而已，为何要强调呢？因为照顾好自己的身体，是自立的第一步。如果你身上还或多或少地留有些许“娇”气，那么从今天开始就来扫除它们吧：把叠被子、洗茶杯、扫宿舍、理书案变成日常习惯；学会理剪梳洗，以及根据时令、场合恰当地着装。还有更重要地，学会合理而规律地作息起居。

推而广之，“洒扫”又何尝不是对我们的内心而言呢？在纷扰、诱惑四布的当下，要想有一份踏实淡定的心境来念书，必须学会过滤杂音、摒弃杂念。所谓“吐故纳新”，减法做好了，才能更好地做加法。那么，具体要从哪些方面来做减法呢？

首先要扫除“傲”气。成绩、荣誉和光环只属于过去，不应成为你继续前行的羁绊。只有做好重新再来、再接再厉的心理准备，正心诚意，才能轻装上阵。

要扫除“习”气。大学阶段学习的内容、形式及要求都有了深刻变化，你要更加兼顾学习的效果和效率，懂得为自己确定目标、制定计划，学会自主学习。针对过度碎片化的思维和交流方式，请学会合理有度地使用现代化信息工具：不要为了在虚拟世界中苦刷“存在感”，而忘却自我的真实存在；更不要因为担忧于种种网络“盛宴”的缺席而终日惶惶，以致为其所累、所困、所误。给自己留出足够的时间和空间吧，去阅读、沉思、咀嚼、畅想，去神聊、质疑、争论抑或发呆。

要扫除“躁”气。大学的课程给你的第一感觉未必是快乐，艰辛与苦涩往往是必经的味道，不能急于求成，请学会透过这些味道体会乐趣、享受过程。所谓“举一反三”，别在乎学得多少，而要看是否学得透彻、融会贯通；所谓“先传后倦”，别在乎学得迟早，而要看能否保持那种“饥渴”状态，持续成长。

最重要的，是扫除“俗”气。如果将读书局限于知识与技能，降格为个人谋生、发达的工具，就会功利而短视地对所读之书妄加取舍。陈寅恪先生说“士之读书治学，盖将以脱心志于俗谛之桎梏”，是的，读书的目的毕竟在于完善自身、提升心志，最终使你成为能够自觉肩负时代使命之“士”。大学的意义，正在于使你从这种使命的层面去重新认识自己。

还要扫除“乖”气。当下的另一“俗谛”，是片面夸大技术进步之于人类社会发展的作用。实际上，人类社会的发展既非有公式可循的推导，亦非有方程可依的反应，更不是凭借机器的计算，需要综合哲学文化、人文艺术、科学技术等各个方面的最新成果。面对人类文明的每一部分，都请保持应有的敬畏；面对每一轮的流行热潮，也请保持一定的清醒。比如，去年作此发言的是茅盾文学奖得主格非（刘勇）教授，千万别因为看到今年换成了一个计算机系人工智能实验室的老师，就以为 AI 已经替代了文学艺术。

先说机器学习理论。

这个方向我建议把它当成数学分支，尤其是统计学习理论，研究的泛化界、VC维等等会用到非常高深的概率手法，在难度方面并不逊色于数学院的概率系。

如果真的决定走这行，个人感觉是不要管什么应用场景，现在有关应用的大趋势是走大模型炼丹，主流学术并不需要理论，硬要理论应用两手抓最终可能会落个两头不沾边。

理论方向比较强的是清华叉院的很多大牛，不过你现在去报应该来不及了；清华贵系，但中肯来说看题主的绩点希望不是特别大；自动化所和计算所，夏令营初筛刷人率非常高，但只要入了营都好说（我是国科大系统的会相对熟些，找导师这方面可单独和我交流）。与题主的条件适配的，还有新搬迁到昌平的北大AI（DL Theory），师资力量雄厚的人大高瓴（Causal Inference）以及全国著名的南大AI（ML Theory），这些题主都有一定的胜算。

需要进一步学习高等概率相关知识，例如集中不等式、随机过程等，入行难但相对不卷，工作主要可以往NIPS，ICML，ICLR以及COLT投。

但还有很多领域，是深度学习与传统算法两开花。就比如机器学习理论，虽然现在DL处在主流地位，很多文章集中于提高深度学习的泛化性和可解释性，但现在选择做传统统计学习理论的还有很多，这方面仍然还有很多工作可以做，工作照样很优美。这种情况下，选择拥抱DL或坚守传统都是好路子，做出来的文章各自都会有好去处，如果题主不喜欢DL理论，当然可以跑去研究泛化界之类相对传统的理论。

即使DL现在非常泛滥，仍有一些领域目前未被DL完全攻克（就比如我在研的领域，由于涉密不能多展开说）。它们或许需要很强的解释性，比如基于医疗数据的辅助诊断，也有可能基于DL的方法在落地时会产生很大的困难，此时你完全可以坚持做传统算法。有三种应对DL的策略：一是直接忽视DL，不和它们一起卷；另一种是把DL的问题直截了当的点明，并将解决这一问题作为自己创新点的一部分；还有一种是给场景加以限制（比如“开放环境下”），使得DL没法应用，从而进一步突出你做的传统算法的优美之处。

至于理论ML这个方向为什么不好做，我个人将其归因为“既不数学又不CS”。理论ML研究的主要是泛化界理论，就是用经验误差限定泛化误差的上界，例如PAC可学理论，Rademacher复杂度等。这些东西有时候就是暴力不等式推导，在我们数学出身的同学眼里，就是从Markov不等式出发的一些简单概率论技巧，并没有那种抽象、严谨的美感，所以读起来会感觉不够数学。同样，这么分析出的理论上界和现实炼丹效果还存在一定的割裂性，毕竟ML主流方向还是以数据集性能为主要评价手段，打不过sota就很难发文章，所以ML理论方向相对应用方向还是要难做很多的。对口的顶会一般就是ICML和NIPS之类，还会受到没有数学背景的玄学审稿人影响。

在我心中，好的科学研究应当具有够强的insight（直观）和普遍的应用，能从根源上解释自然现象的成因，凡事都用数据和公式说话。

我之前和毛大佬有差不多的热情，希望一直在计算机和数学方面双向发展，做自己真正想做的科研，同时尽我所能将知识与经验传承下去，做别人生命中的那一道光，在最需要的时候帮他们一把。

那时的我也是热情、积极且阳光的性格，以十足的热情打每一份代码、做每一道题、看每一篇论文。同时，我也在保研经验、交叉学科等话题下写了很多心得，也一直在尽我所能帮助身处迷茫中的学弟学妹们。实力方面，虽然不如毛星云大佬那般极其出众，但也算独有一份特色，属于数学和计算机都能吊打对应学院的那种水平，也一不小心拿了一大堆国家级奖项。

在这背后，是日以继夜的努力，是远超常人的八倍工作量，以及极其严苛的自我要求，但那时我丝毫感觉不到一点疲惫，只有消化知识所带来的喜悦。

研一伊始，我便面临了一个残酷的事实：尽管我夜以继日以八倍工作量疯狂学习，但当今的AI根本就不需要交叉，有的只是算力垄断与大规模预训练调参。空怀一身科班数学知识以及多年OI基础，却只能做搭搭积木打打sota这种任务，所用到最高深的数学无非是推导梯度（恰好是本人最不齿的）。更何况最近还被狠狠打击了一番，切身体会到满腔希望化为绝望那种痛苦，

同时疯狂怀疑自己所做的一切毫无意义，包括转数学专业、报AI直博以及走科研这条路，甚至怀疑自己学的数学知识是没有任何价值的。信念崩塌的破坏力简直如同排山倒海，毕竟前几年全靠这玩意撑着一口气，现在也就完全失去了做任何事情的动力。所以这份足以让毛大佬跳楼的绝望，我实在是感同身受。

哪怕历尽千帆不再少年，我也愿初心不改，继续以善意面对这个并不是很完美的世界，争取做照耀别人的一道光。这个世界总是需要毛星云一般热情且专注的人，哪怕信仰化为碎片，哪怕现实黑暗且残酷，哪怕理想被狠狠打压，我也愿意做那个独行者！

女士们，先生们，我很高兴来到这里。首先我要说，获得京都奖是一种莫大的荣幸。了解了历届获奖者和他们的辉煌成就后，我为自己被认为值得与他们齐名而深感谦卑，也很高兴和荣幸在这里发言。今天，我想谈谈我的成长经历，如何进入计算机科学领域，以及一路走来的旅程。更详细地，我将从我的背景开始，讲一讲我小时候对物理学的痴迷，这后来促成了我选择了第一个职业，然后，我会讲到我是如何偶然转换领域并成为一名计算机科学家的。之后我会简单介绍我的研究工作、我所思考的问题以及它们为什么有趣。结束之前，我还要向几位对我的生活和工作产生重大影响的人致敬。

1946 年，我出生在中国上海。不久后，我的家人搬到了香港，然后又搬到了台湾。我在一个幸福的中产阶级家庭长大，有慈爱的双亲和两个非常亲密的兄弟/姐妹。我从小深受中国传统价值观熏陶，特别是对文化和学习非常重视。令我和我父母欣慰的是，我是一名优秀的学生，学生时期一直是名列前茅。我记得我小时候喜欢数学、科学和历史。对历史人物着迷，是因为他们表现出不同寻常的勇敢和智慧。像伽利略和牛顿这样的科学家，他们也是我心目中的英雄，因为他们的才华以及为自己的信仰挺身而出的勇气，让我大为震撼。我梦想有一天自己也会成为这样的人。高中三年级，我偶然发现了亚瑟·爱丁顿爵士关于相对论的笔记副本，其中给出了相对论最生动、最简单的推导。大致如下：实验中，我们已经知道光具有恒定的速度。从这一事实，我们可以巧妙地推导出我们熟悉的时间概念不可能是一个绝对普遍的概念。而长期以来，这一点是每个人都认为理所当然的事情。这个论点给我留下了深刻的印象。我发现，物理学可以像侦探故事一样吸引人，而且比“福尔摩斯”中任何聪明的情节都更具想象力。这令我深受鼓舞。

于是在1963年，我在大学选择了主修物理。不久之后，理查德·费曼的物理学讲义发表。传说加州理工学院想从根本上重组他们的物理学大一课程，费曼同意这样做，条件是他只教一次。由此，传奇的三卷本物理学讲义《费曼物理学讲义》诞生了。这个系列讲义让我大开眼界。难以解释的高级概念，结果其证明只用初级数学就可以解释和推导。这真是令人印象深刻，让我看到了物理学的深度和美妙。事实上，这是我第一次觉得自己真正理解量子力学的原理。30年后，当我开始从事量子计算领域的工作时，费曼对量子现象的解释在我看来仍然是最有启发性和最有用的解释。这让我坚定下来，决定在大学毕业后继续在物理学深造。

1967年，我大学毕业后服了一年兵役，之后前往哈佛大学攻读物理学研究生。1972 年，我在Sheldon Glashow教授的指导下获得了物理学博士学位。最终我成为了真正的物理学家，但这并没有持续多久。1973 年，当时我在麻省理工学院攻读博士学位的妻子Frances向我介绍了“算法”。算法这个词今天已频繁出现在日常生活中，但在当时，对大多数人来说，这是一个非常陌生的词汇。当时，我接触到Knuth教授编写的《计算机程序设计艺术》的早期草稿。这是一本很有名的关于算法的书，一部了不起的杰作，它介绍了一门引人入胜的新科学。阅读后，我开始不断思考书中提出的研究问题，深陷其中而无法自拔，以至于我很快就辞去了物理学博士后的工作，转而全职攻读计算机科学研究生。我记得我母亲当时很担心我，因为我似乎放弃了这么多年的物理工作，但我的妻子非常支持我，所以我成为了伊利诺伊大学的计算机科学研究生。非常感谢CL Liu 教授愿意接受我。

接下来，我将讲述我的工作。最初，我专注于解决算法中现有的开放问题，例如最小生成树、B树等。但毕业后不久，我开始对开发计算机科学的新框架和新理论产生兴趣。几十年来，我有机会在几所一流大学工作。我在伯克利、斯坦福度过了 10 年，随后在普林斯顿度过了 18 年。2004年，我加入了清华大学，直至今日。在每个时期，我都在做一些不同的事情。很有趣的是，我在不同时期关注的主题，它们与时代的变化和计算机科学作为一门学科的发展，以及身处的大学环境都有很大关系。

接下来，我想要介绍三个主题，极大极小算法(min max complexity)，通信复杂度 (communication complexity)，以及密码学和MPC。我发现做研究最好的方法是提出深刻、大胆和关键性的问题。如果你能提出好问题，那么就一定会做好研究，得出对学术界来说实用且有重大意义的结论。

现在我将对每个主题的主要问题及其重要性进行讨论。

第一个是 1977 年提出的极大极小算法问题。它在我心中有很特殊的位置，因为这是我第一次提出了自己的研究问题，并找到了很好的解决方法。我们知道，算法本质上和食谱很像。例如在烹饪中，食谱会告诉你每步的步骤，例如放3盎司盐或几克肉。20 世纪70年代中期，一种新的算法引起了人们的注意，即“随机化算法”（Randomized algorithm）。这种新算法结合了随机移动（stochastic moves）。如果用烹饪来比喻的话就是，不明确告诉你有放两勺盐的步骤，而是让你用扔硬币决定是放两勺盐，还是放一杯红酒。因此，对于传统的思维方式来说，这看起来是一种疯狂的做事方式。但在20世纪70年代，人们已经证明以这种方式执行算法是有优势的，在某些情况下，它们会产生一些令人惊叹的结果。但人们还无法理解这些算法的局限性。因此，这让我产生了一个问题。到底哪算法个更好？是当时刚刚提出的随机化方法，还是用传统的方法观察数据分布，并在执行过程中调整呢？

一旦用这种方式提出了这个问题，那么就出现了一种令人惊喜的联系，让人们可以对随机化算法有了很多的了解。当把随机化算法与传统分布方法进行比较时，可以将其视为随机化算法和数据之间的博弈。算法（可以根据数据）选择如何随机移动，而数据可以选择分布方式，从而使算法的运行变得更加困难。在博弈论极大极小原理的作用下这两种方法恰好达到了它们的极限。这个联系给出了我们想要证明的定理，也就是说事实上这两种方法是相同的。这为理解随机化算法提供了新途径。在现在，这种在当时还算新颖的算法已经成为许多密码技术和人工智能算法的默认模式。人们想了解随机化算法的局限性是有原因的。因此，在40多年的时间里，我发现的算法仍然被许多研究人员用来解决他们的问题。

第二个主题是我在1979年提出的通信复杂性。

让我先解释一下这个数学问题，爱丽丝和鲍勃是两个在不同地点的人，他们各自持有一条 n 个比特的数据，比如x和y。我们想要解决的问题是，假设它们想要联合计算某个量f，它们之间需要通信多少比特，这就是这个函数的通信复杂度。当然，这取决于你在计算什么函数，例如，要计算这两个整数的和是奇数还是偶数只需要两个比特的通信。每个人只需告诉对方它是偶数还是奇数，然后他们就可以知道答案了。另一方面，如果你想计算x是否大于y，那么它将需要n比特。你需要把整个字符串从一个人发送给另一个人才能解决这个问题。更深一层的是，你必须意识到并证明，没有比这种方式来解决这个问题更好的方法了。一般来说，这是一个相当困难的问题。如果我给你一个关于F的计算复杂性，那需要相当深入的数学分析才能完成。考虑通信复杂度的原因是，计算模式在20世纪70年代末发生了很明显的变化。从之前大家都熟悉的大型计算机，逐渐转向我们现在熟悉的计算机网络。人们对以分布式方式解决问题感兴趣，许多人愿意协作解决问题。因此，这意味着我们必须把过去的计算模型调整为网络模型。在这个新的世界里，通信成本通常是很高的，因为我们必须移动数据。

因此，我刚刚向你们介绍的通信复杂度的概念就是为了模拟和反映这种变化。自从该模型被提出和分析以来，通信复杂性在从芯片设计到数据流的各个领域都得到了广泛的应用。

我要讨论的最后一个话题是关于密码学和 MPC。

1982 年，我写了三篇论文，这些论文对现代密码学做出了重大贡献。这三篇论文涉及Dolev-Yao 威胁模型、伪随机数生成算法（pseudo random number generation）和安全多方计算（MPC）。今天我只谈最后一个问题。MPC是一个加密概念，使我们可以对加密数据进行计算。如果您使用MPC，就有可能让多个数据库在不泄露它们自己的数据的情况下进行联合计算。也就是说，我们可以在看不到数据的情况下共享数据。让我用一个例子来解释一下这一点。我将引用在论文中提到的著名的亿万富翁的例子。两个百万富翁，爱丽丝和鲍勃，他们希望在不透露任何数据信息的情况下知道谁更有钱。所以爱丽丝有 X 百万，鲍勃有 Y 百万。所以数学问题是，他们想要彼此交流来知道 X 是否小于 Y。问题是，是否有可能进行一次对话，让双方在不知道对方数据的情况下又知道谁更富有呢？直觉上来说你会认为这是不可能的。我怎样才能在不透露任何一方任何信息的情况下找出谁更富有呢？如果你想几分钟你就会意识到，如果采用1982年的信息安全定义，也就是香农的信息论（ Shannon's information theory），那确实是不可能的，你可以证明在那个模型下是不可能的。但我认为，需求是所有发明之母。如果真的有需要的话你肯定会想尽一切办法。所以，如果你跳出框框去思考，事实证明这是可能的。

说到跳出框框，我们的意思是需要丢弃香农在这种情况下规定的非常死板的条条框框，然后把艾伦·图灵纳入其中，我不会对此说太多。但事实证明，如果你把安全定义放宽一些，让它变成一个务实且足够好的标准，那么这个问题事实上是有解的。具体地说，我用“乱码电路”（garble circuit）实现了解决方案。在过去近 40 年的发展中，它在硬件和算法方面取得了进步，现在几乎是可行的。而这方面的研究工作也很多，准备在金融科技、数据交易、药物研发等方面开展工作。

目前我还有一些其他的研究课题，就不一一详述了。我的课题包括：革命性、有望实现指数级增长的量子计算技术；可以用博弈论来解决经济问题的拍卖理论；人工智能，这项技术见证了 AlphaGo等机器学习算法取得的令人难以置信的壮举，但成功的原因仍然是个谜。所有这些都是非常有趣的新领域，而且还在持续发展中。如你所见，我研究过很多不同的课题。这些丰富多彩的课题，实际上不仅反映了我个人的喜好，也反映了半个世纪以来信息科学的蓬勃发展，以及我们今天所看到的日益增长的跨学科联系。

最后，我想对我人生中遇到的人说几句话。

在这些年里，作为一名计算机科学家，我有幸遇到了许多才华横溢的人。我非常幸运地遇到了两位给我巨大灵感的导师，Glashow 教授和 Knuth 教授 。Glashow 教授是我在哈佛大学的物理学博士导师。他是最先预言存在Charm Quarks这种粒子的人之一，也是这种粒子最积极的倡导者。我从 Glashow 教授那里学到，在科学上你必须大胆，你必须坚持不懈地坚持你的信仰。我从他身上学到的另一件事是，数学和物理是不同的。对于物理学家来说，最重要的是能够找出物理现实的真相，而不是坚持精确的数学论证。我认为这种务实精神对我以后的研究有很大帮助。还有一件事是我从 Glashow 教授那里学到的：生活应该是有趣的。1971 年春天，作为一个年轻的学生，我跟随他去法国马赛的CNRS（Centre national de la recherche scientifique，法国国家科学研究中心）休假。这是一个多么神奇和迷人的城市，那也是我第一次来欧洲。那年夏天的晚些时候，他带我去了意大利西西里的一个暑期学校。这是一次非常美妙的经历。Gladshow教授给我上的这一课让我明白，生活的乐趣和对知识的追求可以兼而有之。现在，我想提一下Knuth教授。正如我之前所提到的，当我读到《计算机编程的艺术》时，它几乎改变了我的生活。在这本著作中，他确实开创了一个新的研究领域，也激励了一代又一代新的计算机科学家。例如，通过阅读他的书，我开启了自己的计算机科学生涯，并解决了一些他在书中所阐述的问题。后来，我有幸成为他在斯坦福的同事。众所周知，除了数学和计算机科学之外，Knuth 教授在许多方面都很在行。他是一位才华横溢的管风琴演奏家。他还是一位作曲家、小说家等。 他多才多艺，且真诚大方，总是在别人身上看到好的一面。总而言之，虽然经历了一些曲折，但我在计算机科学领域还是度过了一段美好的旅程。我发现，一开始就走错方向可能并不是什么坏事。事实上，早期的物理训练至少在两个方面对我有很大帮助。

首先，我了解到好的理论在物理学中是什么样子的，比如经典的相对论和量子力学。在之后提出计算机科学的理论时，这对我有很大的帮助。我从物理学中受益的第二件事是它的务实精神。它教会我解决手头的特定问题。不管用什么方法，你都应该根据情况使用、学习或发明解决问题的方法，最终目标是解决问题。科学是对真理的追求。在这个过程中，我们会发现科学规律和科学的美，提升人类共同的精神。它还带来了创新，可以改善人类的现状，为未来所面临的挑战做好准备。

我完全同意稻盛和夫基金会（Inamori Foundation）的愿景，即科学和人文应该为人类的进步而共同努力。我很荣幸能获得京都奖，也很荣幸能做这次演讲，与听众分享我的经历。非常感谢。

• Yao's principle

姚期智的访问提到了以下几点：

• MIT很活跃、很忙碌、有很多的访问学者、交流和演讲；Stanford 背靠硅谷，产业结合比较好；Berkeley国际化、亚裔学生多；Princeton象牙塔，注重教学。

• 通常，最可能发现潮流的是年轻人，年轻人应该依靠自己的天分充分找到自己的研究兴趣。他个人比较欣赏那种自己寻找题目的人，他们可以在工作的过程中，请资深导师给出建议，等他们完成论文后就会成为完全自主的研究者。

• 如果可以的话，姚期智先生想从年轻时就多做运动。一个人的心情、身体对做学问有很大影响。

你最大的问题就是英文水平…国内导师大概不看这个，你申请国内学校倒是不需要。

不过等你读博乃至读完博士以后，你会发现对你人生制约最大的就是英文水平。

英文好，科研学习两不误，还能在国际会议上谈笑风生，毕业之后天下之下随处可去；

英语不好，科研效率提不上去，学习资源也利用不好，不敢到会议上发言甚至不敢提问，毕业之后只能指望老板给自己点助力在国内找个好点的坑…

有几个要注意的点：

• 既然玩不来这个游戏，就一定要找一个要积累足够的经验才能玩起来的领域

• 虽然没人手把手带我飞，但这个领域研究的人多，好论文也多，非常适合新人学习。给我启发最多的论文都来自 PL、系统和硬件，可想而知在此过程中补充了多少基础知识。
  因此，我现在尽可能给新人推荐这种已经很多人研究过的领域，虽说在这种领域发论文可能相对更难一些，但能学到非常多的东西。相反 (也是另一种很常见的情况)，你如果进入一个特别小众的领域，只有几个人在玩，入门视野就窄了、格局就小了，就算能灌很多论文，我个人觉得不是很利于今后的职业生涯。

• 我觉得自己还算是个热爱学习的人，在那个时候读了很多与研究方向无关的教科书、论文和公开课，也听了很多学术报告。我记得 @李沐 在PhD 回忆录里提到了“Parallel and Distributed Computer: Numerical Algorithms” 这本书给他很大启发，我也读过，写得非常好，那些经典的视角在今天都不过时。
  以及时候开始读杂志 Communications of the ACM (CACM)，到今天应该看完 10 年份了 (入坑之后往前补了不少，但后来也坚持不下去了)。虽然很多文章并不能完全读懂，但大部分时候都是在 “开眼界”，看看其他领域的人在用什么方法解决什么问题，算是构建计算机科学的世界观。
  另一个成功的例子是 Tim Roughgarden 在算法课上一句话提到了一份 USENIX Security’03 的工作，然后就这一句话启发我们做了正则表达式复杂性攻击的工作 (当然做研究没有那么顺利，中间的波折就忽略了)，并且很意外地获得了 ACM SIGSOFT Distinguished Paper (真是意外，其实是 Conditional Accept，差点挂了)。这个论文的点睛之笔是非常规地使用了Pumping Lemma，已经不记得是什么时候在什么地方学过这个定理，但的确那一瞬间就想到了。

• 所以你还想读博士吗？好像也没什么难的——找一个 (足够) 困难的方向，把相关的论文都读了，然后死命想还能做什么就完事了。
  当然要事情真那么好，读博士也就不至于知乎上说得那么惨了——没遇到对的人、如果脸皮不够厚……一步走错就可能半途夭折。现在中国的学术界在一个惊人的转折点上，随着下一代人从小受到的训练越来越好，我那点三脚猫的基本功迟早是保不住的。做研究可能并不是靠被动地“学习”就能搞定的，长江后浪推前浪，前浪立马就死在沙滩上。
  现在我觉得自己大概在活下去的 “及格线” 上——从小我自己就不是个 hardworking 的人，但 fully focused 的时候还是可以做出一些差强人意的东西。如果我读博士时候再努力一些，杂七杂八的事情别管那么多…然后游戏再少打一点，不要谈恋爱结婚 (已屏蔽老婆)，publication list 也不会就这么孤零零的几篇了。我经常和学生们说，如果你们连导师都不能正面刚，还是谨慎考虑一下读博这件事吧。

1. 能做——做出任务 2. 能写——写论文 3. 能讲——讲论文，让别人理解 4. 能用——实际产品，被引用 5. 能卖——商业化; 论文也可以卖钱

陆品燕老师讲课很通俗易懂，他提到两个事让我觉得似乎顶尖大牛也有自卑心理。一个是给出POA、POS上界的例子的时候涉及到了微分方程，他说自己对连续数学不太懂，似乎是勒贝格测度里的一个什么东西，然后看向王立威老师，而王立威老师就猛点头；另一个是他在命名一个现象时说自己英文不太好，真的是见了鬼了，发了这么多英文论文还是这个样子，原因要么是非母语者很难找到英文词汇去描述一些暧昧的现象，要么就是少年自卑心理的延续。我觉得两者都有可能有。 关于这篇93页的论文，他说虽然经济学家已经意识到了这种第一拍卖中效率低下现象，但是他们不太会定量分析，因此方而是计算机科学家给出的理论结果多一些。这点燃了我对博弈论的一点自信，最近关于博弈论我有两个体会，顺便说一下：

• 博弈论是用在决策过程中的：当考虑多个智能体之间的交互，最优控制、预测就会和博弈扯上关系；而决策是未来AI的发展方向，因此了解博弈论的进展是有用且必要的。

• 发挥计算机科学家在定量方面的优势，不是说经济学家研究了这么多年我们就没有可以继续研究的了，经济学家往往数学不太行，只给出定性的结果，我们可以站在他们的肩膀上给出更加精准的刻画。

虽然这两个道理看上去不难发现和似乎是已存在的，但基本是我大半年反复思考体悟得来的。

邓小铁老师则像个老顽童，说一些搞笑的话。他老是问“这里有没有什么说法”，尝试从直觉的角度研究问题。一些很简单的（我自认为的，现在发现是我得过且过、囫囵吞枣地理解的）知识（比如期望放在下界的内部还是外部）也要讨论几分钟，虽然一开始看上去很蠢，但发现实则是很深奥的问题。邓老师这点值得学习：注重理解和直觉、质疑简单的结论。

分类：model的表达能力，training data的优化方法（包括在线条件下的收敛性、Regret等），test data的泛化能力。也就是Representation、Optimization、Generalization。

Representation:

• 万能逼近定理（Universal approximation theorem）

  • 很早就有人证明了3层神经网络（只有一个隐藏层）可以逼近任意函数（定义在紧集、连续的），但是网络的宽度随着逼近的精度指数级增长。这意味着网络可以无限宽。

  • 王立威和周志华他们在2017年证明的是有限宽度（网络宽度要严格大于data的dimension），任意深度也有这个定理。同时，要是网络宽度要小于等于data的dimension，无论网络多深，它都不是一个Universal approximator。他们还提出了一个猜想，相同神经元的情况下，窄而深还是宽而浅的网络好呢？（更加具体地说，任意一个宽而浅的网络，存在一个相同神经元数量的窄而深的网络可以很好地近似它；但是存在一个窄而深的网络，任意相同神经元数量的宽而浅的网络不能很好地近似它）这个问题2022年左右被（3个以色列人）完全解决了。因此深度就是要比宽度表达能力更强。

  • 还有人研究有限宽度、有限深度。具体见Universalapproximationtheorem。

  • 还有以前的2019年的一个讲座王立威：从经验性的积累到理论空白的弥补，2020年的一个讨论下一代机器学习的应走之路。

• Graph Neural Network的表达能力

  • 过去4到5年时间很多人通过WL-Test的理论来研究GNN的表达能力。原因是GNN要在不同图上预测或者分类，那么GNN应该要可以区分不同的图（即图论中的图同构问题，通常认为不是P也不是NP hard和NP complete问题）。WL-Test可以研究一部分图（不是全部图）的同构问题。而研究发现GNN和WL-Test非常像。

  • Biconnectivity：从另一种角度来研究GNN的表达能力、这个概念在图论中已经被还算广泛地研究了。王立威他们发现过去满足WL-Test这么强性质的GNN也判断不了Biconnectivity。

  • ICLR 2023 Outstanding Paper Award!

Optimization:

• Non-Convex与High dimension

  • DNN的损失函数高度非凸，按道理来说没有什么优化方法可以比较好地适用，但是简单的梯度下降法却能很有效（一阶优化方法）。Non-convex函数中saddle point和local minima的一阶导数都是0；为何还能很好优化呢？

  • 低维空间用一阶优化容易卡在local minima；但是高维空间容易卡在saddle point！

  • 马腾宇等人2016的研究表明matrix completion has no spurious local minima —— all local minima must also be global。

  • 王立威他们发现Gradient descent finds global minima of deep neural networks，只要满足1. over parametrization（参数量大过数据量），体现在网络宽度要达到一定量级 2. gaussian initialization，且方差要满足一定条件，于是这会是很好的一个初始点，然后大概率附近就是好的山谷（近似凸的且有global minima，注意这些山谷并不多）。那么GD或者SGD这种一阶优化方法就能线性速率找到全局最小点（这里指的就是损失函数值为0，会有多个global minima）。而且Resnet这种更好的结构可以比全连接神经网络满足更弱的条件（网络宽度指数级下降）实现相同收敛速率。

• Neural Tangent Kernel

  • 瑞士的理论物理学家NIPS2018提出的概念，考虑无限宽的神经网络应用GD后收敛到什么——一个全新的Kernel！

Generalization:

• over-parametrization

  • 现在神经网络（特别是大模型）基本上都是over-parametrization，然后表现良好。

  • 经典的机器学习理论（主要关注泛化，VC-dimension、epsilon-covering number、rademacher average）全部失效，因为他们给出的结果：如果要好的generalization，就应该under-parametrization。当over-parametrization时，这些理论给出的结论是trivial的（注意不是错的）。这些理论只关注model 本身，没有想learning的其它点。具体来说，传统的泛化界主要关注深度网络所代表的整个函数集的复杂度。DL成功的另一个关键原因是我们使用的训练算法。训练算法可能只搜索函数集的一个子空间。

  • Model的Generalization和用什么训练算法（SGD这种固定的或是Adam这种自适应的）关系可能最大，而不是参数量是over还是under。王立威他们等人的猜想是正是因为SGD中的这种随机性学出来的Model泛化性好（用GD可能就不行了），也有实验验证了这种现象。

  • Generalization Bounds of SGLD for Non-convex Learning: Two Theoretical Viewpoints。采用SGD的变体SGLD（但完全不一样）来近似mini-batch（这个数学上不太容易分析） stochastic gradient descent（最后一项噪声模拟mini-batch的影响），进而研究model的泛化性。SGLD是一个常见的SDE（随机微分方程）的离散化。

  • 他们在泛化界的结果中说明了随机性（噪声）的影响：噪声加的越大，training error和test error之间的差距就越小。泛化界和训练轮数也有关系。还从PAC-Bayesian角度分析了，这个的结论更微妙。

总结：

• 现在DL是走到一个大工程的阶段，但理论只能分析很简洁的模型，因此要找对切入点——要分析什么问题。

• 最终希望理论要对实际的模型、算法产生意义。

答疑：

• 上面这些结论都建立在样本独立同分布的基础上，因此training error和test error也独立同分布。当然可以让training error和test error也独立不同分布，于是类似于domain adaptation，泛化界会多一个training distribution和test distribution的KL散度。

• 现实中很多网络的宽度没有data的dimension那么大，Universal approximation theorem还成立么？答：很多data在高维中是低维流形方式存在，只要宽度大于这个流形的dimension定理应该还成立。

• 剪枝和量化又将模型的参数量降下去了，且效果一样，这是不是和泛化的over-parametrization矛盾？答：不矛盾，因为虽然可能存在一个小model和大model的等效，但如果一开始就训练小model可能找不到这个小model。现在一个共识是：一开始在over-parametrization的model上训练，此时的loss landscape会变得非常好，帮助你优化进而找到好的解。如果一开始用小的model，那么loss landscape会很坏，然后什么都找不到。

• GNN避免过平滑的理论指导？答：看看graphormer（Do Transformers Really Perform Badly for Graph Representation?）也是他学生做的。王立威老师觉得可能GNN的设计要比之前处理图像、文本的更难，因为输入是个图。

安全问题：

• 轮渡安全

  • 纽约这边有轮渡要往返，但是害怕被歹徒攻击，于是可以用小的巡逻船来保护他们，但是资源限制（巡逻船少、路线规划）

  • 建模成一个博弈问题，用线性规划来求解最小化歹徒收益。理论上相比于现有方案风险降低50%。13年的研究，已经被美国海防部署了。

  • Protecting moving targets with multiple mobile resources

  • 这里的攻击者会仔细决策，更加理性；同时这个场景假设攻击者完全理性相当于考虑最坏情况下的收益。因此用nash均衡作为目标是合理的。

• 野生动物安全

  • 用机器学习（包括决策树、高斯过程、马尔可夫随机场、神经网络等）从大量数据中学习盗猎者的行为，生成一个地区盗猎风险热力图。考虑到盗猎者可能适应我们的新的策略，再引入博弈论技术生成保护者的随机巡逻的方案。

  • When Security Games Go Green: Designing Defender Strategies to Prevent Poaching and Illegal Fishing等。

  • 部署于中国、乌干达、马拉西亚，发现的确抓到盗猎者的数目增多了。算法集成于SMART，超过600个保护区可以使用。

  • 改进1, real-time: Deep reinforcement learning for green security games with real-time information，可能保护者在巡逻的时候看到了盗猎者的踪迹，因此可能不采用先前一次博弈结果。将这种实时的交互建模为马尔可夫博弈，发生在格子世界（这里对山地场景的建模也可以学习一下）。

  • 改进2, robust: Robust reinforcement learning under minimax regret for green security，盗猎者不是完全理性的，保护者的策略会影响盗猎者的策略，进而影响动物的分布；下次保护者面对的情况可能就和上次完全不一样了。因此这是一个长期的序列决策问题。保护者一开始设计策略时就要考虑到长期影响。同时不确定性存在，收集到的数据可能无法完全反映盗猎者行为模式、且盗猎者行为模式可能会随时间变化。

  • 盗猎者有些时候很随意，因此用学习的方式学习出盗猎者非完全理性的行为模式。

饥饿问题：

• 食品银行

  • 用神经网络预测某个请求被某个志愿者接受的概率，进而把请求推送给某个志愿者（这样不会把不合适的请求推送给志愿者，降低对他们的打扰）。

  • 他们进一步改进了其他方面保证每个志愿者每天收到的信息不太多。

  • 实际部署了，反馈良好。

• 坚持做一个善于思考的人，你将会一直自由，因为自由是思想和行为的一致。

• 我理解不了一般的事情，我必须在心里寻思一个具体的例子，看它怎么走。

• 真相总是好玩的，这意思是，它能解释的东西，远超过你在开始琢磨它的时候的期望。

• 画画儿，破译雅玛文字，打鼓，撬保险柜，等等，我都竭尽全力。生活的真正乐趣，就是这种不停的考验，实现任何潜力，能走多远，就走多远。

• 做研究不为实用。做研究为了发现了东西而兴奋。

• 你永远不要怕会出来某种新生事物。天要下雨，到时候就来，那时你会努力理解它。但是，那会非常令人兴奋！

• 如果你有什么天资，或者如果你有什么自得其乐的事儿，那就干到底。不要问为什么，不要问你可能遇到什么困难。

• 别人认为你应该有什么成就，但你没有责任满足他们。我没有责任活成他们期望我的那个样子。那是他们的错误，不是我无能。

• 在科学中，你应该相信逻辑，相信仔细提出的论据，不要相信权威。

• 努力研究让你最感兴趣的东西，方式要尽可能地最缺乏训练、最不墨守成规、最原创。

• 在你年轻的时候，找到你爱干的事儿，那事儿足够大，能占住你全部成年岁月的兴趣，那是很妙的。因为，无论那是什么，如果你做得足够好（如果你真喜欢，你会干好），大家横竖会要为你想干的事儿付钱给你。

• 不要想“你想成为”什么东西，只想你“想干”什么事情。

• 不要一直觉得自己是无名之辈——那活着太悲惨了。知道你在世界上的位置，公平地评估你自己，不要用你年轻时的那些幼稚想法来看你自己，也不要用你错误地设想是你老师的那些理想来看你。

• 我不能创造的东西，我也不理解。

• 我是一个探索者，对吧？我对万事万物都好奇，我就想研究五花八门的东西。

• 如果我们认为往昔是漫长的时间，未来似乎就更加漫长得不可思议。

• 测度是一种泛函，泛函分析中的不少概念都可以在概率论中找到对应。

• 1812年拉普拉斯出版《分析概率论》，标志着分析概率论的诞生：以特征函数、微分方程、差分方程为研究工具，主要研究连续型随机变量。拉普拉斯最重要的工作是证明了棣莫弗-拉普拉斯极限定理，即二项分布收敛于高斯分布。这是连接离散型随机变量和连续型随机变量的纽带。拉普拉斯是国家管理者、一流数学家。

• 1933年柯尔莫戈洛夫出版《概率论基础》，给出较为圆满的概率论公理化体系，标志着现代概率论的诞生，以集合论和测度论与实变函数论为主要研究工具。

• 当重复随机试验次数无限增大时，小概率事件必然会发生。这也是“有志者事竟成”的概率解释。

• 1657年惠更斯出版《论赌博中的计算》，标志这概率论的诞生；在其解决一个赌博问题（《论赌博中的计算》的命题14）时，虽然给出了问题的解析式，但是因为没有和帕斯卡一样利用组合理论来解， 因而就未能将问题推广到一般形式。惠更斯的解法得到的递推公式本可以推导出几何级数和其他数学概念，但是他都失之交臂。我的批注：要把自己研究做完善！不要错过宝藏！

• 正态分布的发现者是法国数学家棣莫弗（读作：di mo fu），他年轻时只能靠做家庭教师来维持极贫困的生活，但最后成为柏林科学院院士。他以二项分布的逼近导出了正态分布的表达式。我的批注：我觉得自然底数e、圆周率π、正态分布曲线都是蕴含着真正宇宙密码的自然现象，正是这些东西的存在让我意识到科学研究是必要的，纯理论研究也是必要的。计算机科学家不能只看到各种技术的应用前景、社会力量，也应该意识到我们接触的事物中蕴含着宇宙的密码。

• 贝叶斯一生未婚，主要从事神学和数学的研究，他的数学研究很出色，同时代人称之为杰出的数学家。贝叶斯家族是富豪家族，贝叶斯和弟妹过着衣食无忧的生活。

• Fisher在1930年左右提出LDA。现在模式识别中还会介绍这个方法。

• 泊松分布的提出者是法国数学家泊松，他的研究特色是应用数学方法解决各种力学和物理学问题，由此得到大量的数学发现，他一生发表论文达300余篇。他还发现了泊松大数定理。

• 柯西是典型的反概率者，他找到了柯西分布。可惜对最小二乘法的质疑掀起了对概率论的反思运动以及哲学家对概率论的反对（哲学家反感数学的傲慢），而导致了概率论在法国的暂时性的停滞不前。

• 由于西欧数学界对概率论的偏见（“只是数学游戏而已”），且拉普拉斯和泊松过分强调概率论应用于“伦理科学”，这几乎葬送了概率论作为一个精密学科的前途，以致于19世纪下叶概率论在西欧停滞不前。 圣彼得堡数学学派挽救了奄奄一息的概率论，此后俄罗斯逐渐成为概率论的世界研究中心且引领概率论的研究方向，这种领先地位一直保持到20世纪中叶。这里有一连串的大数定理和中心极限定理。 比如1900年李雅普诺夫利用特征函数精确描述了中心极限定理的条件，第一次科学地解释了实际问题中许多随机变量服从正态分布的原因。

• 李雅普诺夫的成功是对马尔科夫的一个打击。为了恢复矩方法的声誉，马尔可夫一直在努力奋斗。经过8年的艰苦努力，马尔科夫终获成功，在 《论李雅普诺夫创立的概率极限定理》一文中，他创造性地提出了“截尾术”，克服了特征函数法过分依赖于独立性的弱点， 开辟了通往非随机变量的研究道路。应用这一新技术，马尔科夫实现了多年来精确论证中心极限定理的理想。“截尾术”已和“对称化”，“中心化”成为现代概率极限理论中的三大技术。

• 概率论的研究对象逐步扩展的过程：随机事件，随机变量，随机向量，随机序列，随机过程。

• 现代随机过程大致可分为马尔科夫过程，平稳过程，布朗运动，离散鞅，无穷粒子马尔科夫过程和超过程等。

• 马尔科夫在成为院士且退休后进入到其黄金研究阶段，提出并证明了马尔科夫链的相关理论，拉开了随机过程的研究帷幕。马尔科夫具备极高的数学天赋，加之切比雪夫等数学大师的熏陶和培养以及圣彼得堡数学学派成员间的合作与竞争，其数学潜能得到最大程度的开发。

• 1942年日本数学家伊藤清引进随机微分。1950年美国数学家杜布开始研究鞅。

Through his research, he strives to understand how optimization techniques can be leveraged to inform better decisions and outcomes under conditions involving uncertainty, hidden information, and different incentives for the agents involved.

How can machines make optimal decisions under imperfect information and strategic behavior?

我对实际问题的建模和优化感兴趣。

• 模式识别中优美的建模和优化将我引领入科研的大门。

• 我有一项研究，试图建模在数据分布发生偏移的场景中，t+1时刻的神经网络性能与t+1时刻推理配置和前t时刻训练配置的关系，然后提出在线算法，使得到的配置安排有性能保障。

• 我还有另外一项研究，试图建模推荐算法对人群观点分布的影响，然后设计出能够降低人群观点冲突等指标的最优推荐算法。

我认为，建模是人对研究问题的抽象，包含了人的先验知识；而优化，则依赖于数据。因此，更广泛地来说，我的研究路线属于“知识+数据”双驱动。 虽然目前“神经网络建模+梯度下降优化”在几乎所有问题上不需要人类知识就取得了极大的成就，但它的不可解释性阻碍了它在关键问题上的应用。我希望我的研究能够推进这个问题的解决。

关于博弈论我有两个体会：

• 博弈论是用在决策过程中的：当考虑多个智能体之间的交互，最优控制、预测就会和博弈扯上关系；而决策是未来AI的发展方向，因此了解博弈论的进展是有用且必要的。

• 发挥计算机科学家在定量方面的优势，不是说经济学家研究了这么多年我们就没有可以继续研究的了，经济学家往往数学不太行，只给出定性的结果，我们可以站在他们的肩膀上给出更加精准的刻画。

我关注决策方面的研究，曾大军研究员说“在现有的感知方面的研究已经快成熟的时间段，决策是下一个研究热点”，而决策分为单个体决策和多个体决策。在单个体决策上，如果全部信息已知，这就是传统的优化理论；如果要对抗未知信息，如果决策是单轮的，那么就是分布鲁棒优化；如果决策可以是多轮的，那我们可以考虑通过learning的方式得到更好的结果，在线优化或者在线算法是主要的研究内容。 在多个个体的决策的研究上，多个个体如何在交互的环境下决策，是研究的主要难点。因此，我也关注博弈论和机制设计。

然后从机器学习理论的角度，张文生老师翻译的那本书中说明在线优化和博弈这两个本身就有密切的联系（一方面在线优化可以导出冯诺依曼极大极小值原理，这个东西是基本上就是二人零和博弈的纳什均衡；另一方面在线优化可以看做是单智能体和环境的博弈）。 上面内容实际是“怎么办”的角度，就是我们要如何决策。在线优化和博弈论都是有理论保证的：在线优化的regret和博弈论的price of anarchy保证了我们做出的决策和理想中最优决策的差距在一定范围内。（在线优化也是理解强化学习的一种方式，但通常认为强化学习是去找最优决策的，没有那么强的理论保证。） 在线优化和博弈论都是一种决策方法，解决了“怎么办”的问题，理论保证本身就是一种为什么；但对于深度强化学习的“为什么”，可解释性还有待研究。我觉得要是在这几方面都做出一下成果，我的研究就比较完整了。

应用方面，我计划将机制设计、在线优化、可解释性用于推荐系统等信息检索类软件，将强化学习、博弈论、可解释性用于游戏等人机交互类软件。