朱松纯

朱松纯，（Song-Chun Zhu，1968年－），湖北鄂州人，美国加州大学洛杉矶分校（UCLA）统计学系与计算机系教授，研究范围涵盖计算机视觉、统计建模与计算认知科学、机器学习、自主机器人等领域。

朱松纯于1996年获哈佛大学计算机博士学位，师从国际数学大师大卫·曼福德教授，在国际顶级期刊和会议上发表论文300余篇，并三次问鼎计算机视觉领域国际最高奖项——马尔奖。在认知科学领域，如视觉常识推理、场景理解等领域做出重要贡献。朱松纯在1990年代率先将概率统计建模与随机计算方法引入计算机视觉研究，提出了一系列图像与视频的结构化解译的框架、数理模型和统计算法，发展了广义模式理论 [General Pattern Theory]。

目录

工作经历

朱松纯于2002年加入加州大学洛杉矶分校统计系与计算机科学系，担任副教授，并于2006年晋升为正教授。 朱松纯组建了UCLA视觉、认知、学习和自主中心（Center for Vision, Cognition, Learning and Autonomy，VCLA），并领导了美国多个大型跨学科AI项目。他长期致力于构建计算机视觉、认知科学、乃至人工智能科学的统一数理框架，其中包括作为统一表示形式的时空、时间和因果图（STC-AOG）以及用于推理和学习的众多蒙特卡洛方法 。

2005年，朱松纯联合沈向洋 [Harry Shum] 等多位知名科学家在中国湖北省鄂州市创建民办、非营利性国际交流平台——莲花山研究院，并任院长。研究院的一个先期项目是收集大量的图像，手工标注图像中的场景、物体和部件、关系、功能等，至2010年已积累超过50万张图像数据，是发展计算机视觉的物体识别和图像解译任务的先行者。

朱松纯组织过多场学术研讨会及会议。在2012年罗德岛普罗维登斯举行的计算机视觉与模式识别（CVPR）会议上，朱松纯作为大会主席向Ulf Grenander颁发了先锋勋章（Pioneer Medal）。2019年CVPR在美国加州长滩举行，朱松纯再次担任大会主席。

2017年7月，朱松纯在美国洛杉矶创立暗物智能科技DMAI，致力于打造基于强认知AI的技术平台。

Song-Chun Zhu

]

学术成果

朱松纯已在国际顶级期刊和会议上发表论文300余篇，其研究成果集中在以下四点：

一、视觉的统计建模与计算理论 —— 为马尔的视觉理论建立统一的数理模型

1995-2005年期间，朱松纯教授与导师曼福德、UCLA教授以及博士生，为计算视觉创始人马尔提出的早期视觉 [early vision] 概念， 包括纹理 [texture]、图像基元 [Texton] 以及原始简约图 [primal sketch] 等建立了一个统一的数理模型；提出统计建模的最小最大熵原理 [minimax entropy principle]；将神经学和心理学的发现，植入统计物理的吉布斯模型 [Gibbs Model]， 从而导出一类新型的马尔科夫随机场的概率模型 [FRAME]，并将该模型扩展到中层视觉模型，描述形状与格式塔 [Gestalt] 组成原则；发现自然图像的尺度不变与尺度变化的统计规则，将各种视觉模式及其对应的数理模型映射到一个连续的熵频谱 [entropy spectrum] 和信息尺度 [information scaling]；进一步研究了各种模型之间跳转和感知转化 [perceptual transition] 的机制，与博士生王亦洲 [现为北大教授] 导出感知尺度空间理论 [perceptual scale space]。

在1990年代，朱松纯发展了两类新的非线性偏微分方程（PDE）。 一类用于图像分割，将PDE连接到统计图像模型的这项工作在ICCV 2013上获得了赫尔姆霍茨奖。另一类称为GRADE（Gibbs Reaction and Diffusion Equations，吉布斯反应和扩散方程）于1997年发表，并采用Langevin动力学方法进行推理和学习随机梯度下降。（Stochastic gradient descent，SGD）。

二、实现图像与场景的解译（parsing）计算框架 —— 扩展了模式识别创始人傅京孙先生的句法模式识别理论

1999-2010年期间，朱松纯与其首位博士生屠卓文 [现为UCSD教授] 提出用数据驱动的蒙特卡洛马尔可夫链方法[Data-Driven Markov Chain Monte Carlo]求图像分割和解译 [Image Parsing] 问题的全局最优解；与其博士生Adrian Barbu [现为FSU教授] 提出了 Swendsen-Wang Cut [SWC] 的蒙特卡洛算法，在通用的概率采样 [sampling] 计算中，实现大的状态跳转，突破传统方法计算的瓶颈问题。

该领域的这一进步使拆分合并运算符在文献中首次可逆，并且比吉布斯采样器和跳跃扩散方法快了100倍。 这一成就促成了图像解析方面的工作，使朱松纯在ICCV 2003中获得了马尔奖。

2006-2015年间，朱松纯教授提出了概率随机的与或图 [and-or graph] 模型来表达上下文相关图语法 [graph grammar]，重启了模式识别领域创始人傅京孙先生倡导的句法模式识别框架；提出时空因果与或图 [Spatial，Temporal，Causal And-or graph STC-AOG] 为物体、场景、事件和因果关系建立统一的模型，并用于场景与事件的解译任务。

三、提出人工智能的“暗物质” —— 研究视觉与认知的物理与社会常识

自2010年以来，朱松纯将计算机视觉与认知科学、自然语言理解、机器人等学科结合，探索他所称的“人工智能的暗物质”——占95％的、无法通过感知输入观测到的智能。

与认知科学的结合：通过常识推理 [如物体和场景的物理属性、使用功能、行为的因果] 和社会推理 [人的意图、动机、目的] 来丰富场景和事件的理解；与自然语言理解的结合：通过人机情景对话来获取常识，并于2010年率先从图像和视频的解译图产生文本描述的I2T [Image Parsing to Text Generation] 方法；与机器人结合：研究自主机器人与人类深度合作的认知构架 [cognitive architecture]。 四、探索迈向通用人工智能的新的研究路径 ——“小数据、大任务”范式'

朱松纯在2017年发表了一篇广为流传的文章 《浅谈人工智能：现状、任务、构架与统一》。在文中，朱松纯将行业中流行的数据驱动型深度学习研究称为“大数据、小任务范式。该范式使用大量标注的数据为每个特定任务训练神经网络，导致AI模型无法解释、应用范围狭窄等问题。与之相反，朱松纯提出了“小数据、大任务”的范式，主张以此来实现通用人工智能。

朱松纯团队构建了一个大规模、逼真的VR / AR环境，用于训练和测试负责执行大量日常任务的自主AI个体。这些个体整合视觉，语言，认知，机器学习和机器人技术等领域的能力，在此过程中发展物理和社会常识，并使用认知架构与人类进行交流。

获奖记录

2017年，计算建模奖 [Computational Modeling Prize]，国际认知科学学会 [Cognitive Science Society]。

2013年，赫尔姆霍茨奖 [Helmholtz Test-of-Time Award]，第14届国际计算机视觉大会颁发。

2008年，第二届 J. K. Aggarwal 奖，国际模式识别协会 [International Association of Pattern Recogonition，每两年授予一次，每次一人] 。

2007年，马尔奖荣誉提名，第11届国际计算机视觉大会。

2003年，马尔奖 ，第九届国际计算机视觉大会。

2001年，Sloan fellow， Sloan基金。

2001年，青年教授奖励基金 [Career Award]，美国国家科学基金委员会。

2001年，杰出青年科学家奖 [ONR Young Investigator Award]，美国海军研究所颁发。

1999年，马尔奖 [Marr Prize] 荣誉提名, 第7届国际计算机视觉大会颁发。

1995年，哈佛大学工程领域 Ali Jury 奖。

1992年，哈佛大学研究生院奖学金。

学术职务

2015-2020年，第二次担任美国视觉、认知科学、AI领域跨学科合作项目 MURI首席科学家 [Principal Investigator]。

2016年，再次当选国际计算机视觉与模式识别大会 [CVPR] 2019年度主席。

2013年，入选中国科学院海外顾问。

2011-2013年，担任国际模式识别协会 Aggarwal 奖评选委员会主席。

2012年，担任电气和电子工程师学会 [IEEE] 计算机学会会士 [fellow] 评选委员会 副主席。

2012年，担任国际计算机视觉与模式识别大会 [CVPR] 主席。

2011年，入选电气和电子工程师学会 [IEEE] 计算机学会会士 fellow。

2010-2015年，首次担任美国视觉、认知科学、AI领域跨学科合作项目MURI首席科学家。 与朱松纯教授_t018116fc718ecda919.jpg_1]

2005年，与Harry Shum等于湖北创建民办、非营利的国际交流平台莲花山研究院，并任院长。

著作

图书

· S.C. Zhu and D.B. Mumford, A Stochastic Grammar of Images, monograph, now Publishers Inc. 2007.

· A.Barbu and S.C. Zhu, Monte Carlo Methods, Springer, 2019.

· S.C. Zhu, AI: The Era of Big Integration – Unifying Disciplines within Artificial Intelligence, DMAI, Inc., 2019.

· S.C. Zhu and Y.N. Wu, Concepts and Representations in Vision and Cognition, Draft taught for 10+ years, Springer, Preparing for 2020.

论文

Zhu, S. C., Wu, Y., & Mumford, D. (1998). FRAME: filters, random fields, and minimax entropy towards a unified theory for texture modeling. International Journal of Computer Vision, 27(2) pp.1-20.

· Y. N. Wu, S. C. Zhu and X. W. Liu, (2000). Equivalence of Julesz Ensemble and FRAME models International Journal of Computer Vision, 38(3), 247-265.

· Tu, Z. and Zhu, S.-C. Image Segmentation by Data Driven Markov Chain Monte Carlo, IEEE Trans. on PAMI, 24(5), 657-673, 2002.

· Barbu, A. and Zhu, S.-C., Generalizing Swendsen-Wang to Sampling Arbitrary Posterior Probabilities, IEEE Trans. on PAMI, 27(8), 1239-1253, 2005.

· Tu, Z., Chen, X.,Yuille, & Zhu, S.-C. (2003). Image parsing: unifying segmentation, detection, and recognition. Proceedings Ninth IEEE International Conference on Computer Vision.

· Zhu, S. C., & Yuille, A. (1996). Region competition: unifying snakes, region growing, and Bayes/MDL for multiband image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 18(9), 884–900.

· Zhu, S. C., & Mumford, D. (1997). Prior learning and Gibbs reaction-diffusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(11), 1236–1250.

· Zhu, S.-C., Guo, C., Wang, Y., & Xu, Z. (2005). What are Textons? International Journal of Computer Vision, 62(1/2), 121–143.

· Zhu, S.-C., & Mumford, D. (2006). A Stochastic Grammar of Images. Foundations and Trends in Computer Graphics and Vision, 2(4), 259–362.

· Guo, C. Zhu, S.-C. and Wu, Y.(2007), Primal sketch: Integrating Texture and Structure. Computer Vision and Image Understanding, vol. 106, issue 1, 5-19.

· Y.N. Wu, C.E. Guo, and S.C. Zhu (2008), From Information Scaling of Natural Images to Regimes of Statistical Models, Quarterly of Applied Mathematics, vol. 66, no. 1, 81-122.

· B. Zheng, Y. Zhao, J. Yu, K. Ikeuchi, and S.C. Zhu (2015), Scene Understanding by Reasoning Stability and Safety, Int'l Journal of Computer Vision, vol. 112, no. 2, pp221-238, 2015.

· Y. Zhu, Y.B. Zhao and S.C. Zhu (2015), Understanding Tools: Task-Oriented Object Modeling, Learning and Recognition, Proc. of IEEE Conf. on Computer Vision and Pattern Recognition (CVPR).

· Fire, A. and S.C. Zhu (2016), Learning Perceptual Causality from Video, ACM Trans. on Intelligent Systems and Technology, 7(2): 23.

· Y.X. Zhu, C. Jiang, Y. Zhao, D. Terzopoulos and S.C. Zhu (2016), Inferring Forces and Learning Human Utilities from Video, Proc. of IEEE Conf. on Computer Vision and Pattern Recognition (CVPR).

· D. Xie, T. Shu, S. Todorovic and S.C. Zhu (2018), Learning and Inferring “Dark Matter” and Predicting Human Intents and Trajectories in Videos, IEEE Trans on Pattern Analysis and Machine Intelligence, 40(7): 1639-1652.

· Zhu, Y. et al (2020) Dark, Beyond Deep: A Paradigm Shift to Cognitive AI with Human-like Commonsense, Engineering special issue on AI.

· S.C. Zhu, (2019) AI: The Era of Big Integration – Unifying Disciplines within Artificial Intelligence, DMAI, Inc..