朱松纯查看源代码讨论查看历史
朱松纯,(Song-Chun Zhu,1968年-),湖北鄂州人,美国加州大学洛杉矶分校(UCLA)统计学系与计算机系教授[1],研究范围涵盖计算机视觉、统计建模与计算认知科学、机器学习、自主机器人等领域。
朱松纯于1996年获哈佛大学计算机博士学位,师从国际数学大师大卫·曼福德教授,在国际顶级期刊和会议上发表论文300余篇,并三次问鼎计算机视觉领域国际最高奖项——马尔奖。在认知科学领域,如视觉常识推理、场景理解等领域做出重要贡献。朱松纯在1990年代率先将概率统计建模与随机计算方法引入计算机视觉研究,提出了一系列图像与视频的结构化解译的框架、数理模型和统计算法,发展了广义模式理论 [General Pattern Theory]。
工作经历
朱松纯于2002年加入加州大学洛杉矶分校统计系与计算机科学系,担任副教授,并于2006年晋升为正教授。 朱松纯组建了UCLA视觉、认知、学习和自主中心[2](Center for Vision, Cognition, Learning and Autonomy,VCLA),并领导了美国多个大型跨学科AI项目。他长期致力于构建计算机视觉、认知科学、乃至人工智能科学的统一数理框架,其中包括作为统一表示形式的时空、时间和因果图(STC-AOG)以及用于推理和学习的众多蒙特卡洛方法 。
2005年,朱松纯联合沈向洋 [Harry Shum] 等多位知名科学家在中国湖北省鄂州市创建民办、非营利性国际交流平台——莲花山研究院,并任院长。研究院的一个先期项目是收集大量的图像,手工标注图像中的场景、物体和部件、关系、功能等,至2010年已积累超过50万张图像数据,是发展计算机视觉的物体识别和图像解译任务的先行者。
朱松纯组织过多场学术研讨会及会议。在2012年罗德岛普罗维登斯举行的计算机视觉与模式识别(CVPR)会议上,朱松纯作为大会主席向Ulf Grenander颁发了先锋勋章(Pioneer Medal)。2019年CVPR在美国加州长滩举行,朱松纯再次担任大会主席[3]。
2017年7月,朱松纯在美国洛杉矶创立暗物智能科技DMAI,致力于打造基于强认知AI的技术平台。
]
学术成果
朱松纯已在国际顶级期刊和会议上发表论文300余篇,其研究成果集中在以下四点:
一、视觉的统计建模与计算理论 —— 为马尔的视觉理论建立统一的数理模型
1995-2005年期间,朱松纯教授与导师曼福德、UCLA教授以及博士生,为计算视觉创始人马尔提出的早期视觉 [early vision] 概念, 包括纹理 [texture]、图像基元 [Texton] 以及原始简约图 [primal sketch] 等建立了一个统一的数理模型;提出统计建模的最小最大熵原理 [minimax entropy principle];将神经学和心理学的发现,植入统计物理的吉布斯模型 [Gibbs Model], 从而导出一类新型的马尔科夫随机场的概率模型 [FRAME],并将该模型扩展到中层视觉模型,描述形状与格式塔 [Gestalt] 组成原则;发现自然图像的尺度不变与尺度变化的统计规则,将各种视觉模式及其对应的数理模型映射到一个连续的熵频谱 [entropy spectrum] 和信息尺度 [information scaling];进一步研究了各种模型之间跳转和感知转化 [perceptual transition] 的机制,与博士生王亦洲 [现为北大教授] 导出感知尺度空间理论 [perceptual scale space]。
在1990年代,朱松纯发展了两类新的非线性偏微分方程(PDE)。 一类用于图像分割,将PDE连接到统计图像模型的这项工作在ICCV 2013上获得了赫尔姆霍茨奖。另一类称为GRADE(Gibbs Reaction and Diffusion Equations,吉布斯反应和扩散方程)于1997年发表,并采用Langevin动力学方法进行推理和学习随机梯度下降。(Stochastic gradient descent,SGD)。
二、实现图像与场景的解译(parsing)计算框架 —— 扩展了模式识别创始人傅京孙先生的句法模式识别理论
1999-2010年期间,朱松纯与其首位博士生屠卓文 [现为UCSD教授] 提出用数据驱动的蒙特卡洛马尔可夫链方法[Data-Driven Markov Chain Monte Carlo]求图像分割和解译 [Image Parsing] 问题的全局最优解;与其博士生Adrian Barbu [现为FSU教授] 提出了 Swendsen-Wang Cut [SWC] 的蒙特卡洛算法,在通用的概率采样 [sampling] 计算中,实现大的状态跳转,突破传统方法计算的瓶颈问题。
该领域的这一进步使拆分合并运算符在文献中首次可逆,并且比吉布斯采样器和跳跃扩散方法快了100倍。 这一成就促成了图像解析方面的工作,使朱松纯在ICCV 2003中获得了马尔奖。
2006-2015年间,朱松纯教授提出了概率随机的与或图 [and-or graph] 模型来表达上下文相关图语法 [graph grammar],重启了模式识别领域创始人傅京孙先生倡导的句法模式识别框架;提出时空因果与或图 [Spatial,Temporal,Causal And-or graph STC-AOG] 为物体、场景、事件和因果关系建立统一的模型,并用于场景与事件的解译任务。
三、提出人工智能的“暗物质” —— 研究视觉与认知的物理与社会常识
自2010年以来,朱松纯将计算机视觉与认知科学、自然语言理解、机器人等学科结合,探索他所称的“人工智能的暗物质”——占95%的、无法通过感知输入观测到的智能。
与认知科学的结合:通过常识推理 [如物体和场景的物理属性、使用功能、行为的因果] 和社会推理 [人的意图、动机、目的] 来丰富场景和事件的理解;与自然语言理解的结合:通过人机情景对话来获取常识,并于2010年率先从图像和视频的解译图产生文本描述的I2T [Image Parsing to Text Generation] 方法;与机器人结合:研究自主机器人与人类深度合作的认知构架 [cognitive architecture]。 四、探索迈向通用人工智能的新的研究路径 ——“小数据、大任务”范式'
朱松纯在2017年发表了一篇广为流传的文章 《浅谈人工智能:现状、任务、构架与统一》。在文中,朱松纯将行业中流行的数据驱动型深度学习研究称为“大数据、小任务范式。该范式使用大量标注的数据为每个特定任务训练神经网络,导致AI模型无法解释、应用范围狭窄等问题。与之相反,朱松纯提出了“小数据、大任务”的范式,主张以此来实现通用人工智能。
朱松纯团队构建了一个大规模、逼真的VR / AR环境,用于训练和测试负责执行大量日常任务的自主AI个体。这些个体整合视觉,语言,认知,机器学习和机器人技术等领域的能力,在此过程中发展物理和社会常识,并使用认知架构与人类进行交流。
获奖记录
2017年,计算建模奖 [Computational Modeling Prize],国际认知科学学会 [Cognitive Science Society]。
2013年,赫尔姆霍茨奖 [Helmholtz Test-of-Time Award],第14届国际计算机视觉大会颁发。
2008年,第二届 J. K. Aggarwal 奖,国际模式识别协会 [International Association of Pattern Recogonition,每两年授予一次,每次一人] [4] 。
2007年,马尔奖荣誉提名,第11届国际计算机视觉大会。
2003年,马尔奖 [5] ,第九届国际计算机视觉大会。
2001年,Sloan fellow, Sloan基金。
2001年,青年教授奖励基金 [Career Award],美国国家科学基金委员会。
2001年,杰出青年科学家奖 [ONR Young Investigator Award],美国海军研究所颁发。
1999年,马尔奖 [Marr Prize] 荣誉提名, 第7届国际计算机视觉大会颁发。
1995年,哈佛大学工程领域 Ali Jury 奖。
1992年,哈佛大学研究生院奖学金。
学术职务
2015-2020年,第二次担任美国视觉、认知科学、AI领域跨学科合作项目 MURI首席科学家 [Principal Investigator]。
2016年,再次当选国际计算机视觉与模式识别大会 [CVPR] 2019年度主席。
2013年,入选中国科学院海外顾问。
2011-2013年,担任国际模式识别协会 Aggarwal 奖评选委员会主席。
2012年,担任电气和电子工程师学会 [IEEE] 计算机学会会士 [fellow] 评选委员会 副主席。
2012年,担任国际计算机视觉与模式识别大会 [CVPR] 主席。
2011年,入选电气和电子工程师学会 [IEEE] 计算机学会会士 fellow。
2010-2015年,首次担任美国视觉、认知科学、AI领域跨学科合作项目MURI首席科学家。 与朱松纯教授_t018116fc718ecda919.jpg_1]
2005年,与Harry Shum等于湖北创建民办、非营利的国际交流平台莲花山研究院,并任院长。
著作
图书
· S.C. Zhu and D.B. Mumford, A Stochastic Grammar of Images, monograph, now Publishers Inc. 2007.
· A.Barbu and S.C. Zhu, Monte Carlo Methods, Springer, 2019.
· S.C. Zhu, AI: The Era of Big Integration – Unifying Disciplines within Artificial Intelligence, DMAI, Inc., 2019.
· S.C. Zhu and Y.N. Wu, Concepts and Representations in Vision and Cognition, Draft taught for 10+ years, Springer, Preparing for 2020.
论文
Zhu, S. C., Wu, Y., & Mumford, D. (1998). FRAME: filters, random fields, and minimax entropy towards a unified theory for texture modeling. International Journal of Computer Vision, 27(2) pp.1-20.
· Y. N. Wu, S. C. Zhu and X. W. Liu, (2000). Equivalence of Julesz Ensemble and FRAME models International Journal of Computer Vision, 38(3), 247-265.
· Tu, Z. and Zhu, S.-C. Image Segmentation by Data Driven Markov Chain Monte Carlo, IEEE Trans. on PAMI, 24(5), 657-673, 2002.
· Barbu, A. and Zhu, S.-C., Generalizing Swendsen-Wang to Sampling Arbitrary Posterior Probabilities, IEEE Trans. on PAMI, 27(8), 1239-1253, 2005.
· Tu, Z., Chen, X.,Yuille, & Zhu, S.-C. (2003). Image parsing: unifying segmentation, detection, and recognition. Proceedings Ninth IEEE International Conference on Computer Vision.
· Zhu, S. C., & Yuille, A. (1996). Region competition: unifying snakes, region growing, and Bayes/MDL for multiband image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 18(9), 884–900.
· Zhu, S. C., & Mumford, D. (1997). Prior learning and Gibbs reaction-diffusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(11), 1236–1250.
· Zhu, S.-C., Guo, C., Wang, Y., & Xu, Z. (2005). What are Textons? International Journal of Computer Vision, 62(1/2), 121–143.
· Zhu, S.-C., & Mumford, D. (2006). A Stochastic Grammar of Images. Foundations and Trends in Computer Graphics and Vision, 2(4), 259–362.
· Guo, C. Zhu, S.-C. and Wu, Y.(2007), Primal sketch: Integrating Texture and Structure. Computer Vision and Image Understanding, vol. 106, issue 1, 5-19.
· Y.N. Wu, C.E. Guo, and S.C. Zhu (2008), From Information Scaling of Natural Images to Regimes of Statistical Models, Quarterly of Applied Mathematics, vol. 66, no. 1, 81-122.
· B. Zheng, Y. Zhao, J. Yu, K. Ikeuchi, and S.C. Zhu (2015), Scene Understanding by Reasoning Stability and Safety, Int'l Journal of Computer Vision, vol. 112, no. 2, pp221-238, 2015.
· Y. Zhu, Y.B. Zhao and S.C. Zhu (2015), Understanding Tools: Task-Oriented Object Modeling, Learning and Recognition, Proc. of IEEE Conf. on Computer Vision and Pattern Recognition (CVPR).
· Fire, A. and S.C. Zhu (2016), Learning Perceptual Causality from Video, ACM Trans. on Intelligent Systems and Technology, 7(2): 23.
· Y.X. Zhu, C. Jiang, Y. Zhao, D. Terzopoulos and S.C. Zhu (2016), Inferring Forces and Learning Human Utilities from Video, Proc. of IEEE Conf. on Computer Vision and Pattern Recognition (CVPR).
· D. Xie, T. Shu, S. Todorovic and S.C. Zhu (2018), Learning and Inferring “Dark Matter” and Predicting Human Intents and Trajectories in Videos, IEEE Trans on Pattern Analysis and Machine Intelligence, 40(7): 1639-1652.
· Zhu, Y. et al (2020) Dark, Beyond Deep: A Paradigm Shift to Cognitive AI with Human-like Commonsense, Engineering special issue on AI.
· S.C. Zhu, (2019) AI: The Era of Big Integration – Unifying Disciplines within Artificial Intelligence, DMAI, Inc..
参考文献
- ↑ Song-Chun Zhu's homepage
- ↑ Center for Vision, Cognition, Learning, and Autonomy (VCLA)
- ↑ CVPR2019
- ↑ J. K. AGGARWAL PRIZE.IAPR官网
- ↑ 国际计算机视觉大会最佳论文奖 [马尔奖."电气和电子工程师协会"官网]