自尊作为心智系统中的复杂概念，深刻体现了人类对自我价值的高度重视与不懈追求。传统的自尊评估主要依赖于主观报告的问卷测量。结合新时代背景，依托新兴技术手段开发处客观准确的评估方法，已成为自尊领域亟待突破的瓶颈。西南大学心理学部、认知与人格教育部重点实验室杨娟教授团队基于大规模数据采集与机器学习算法，通过计算机视觉系统实时捕捉个体在自然环境中的语音特点、文本语义和表情变化及生理指标等数据，通过多模态融合技术的计算，有效提升了自尊评估的客观性、生态性与时效性。相关成果已分别发表在Journal of Personality、Journal of Research in Personality和Assessment等期刊。
研究团队创设了三类自然行为场景，包括公众人物介绍、无人在场的自我介绍，以及有人在场的自我介绍，比较了声音和文本在自尊评估中的作用[1]。结果发现，与文本相比，声音特征在自尊评估中表现更好，并且具有更强的跨情境泛化能力。具体而言，高自尊个体通常表现出更大的声音响度、更高且更稳定的声音温暖度，以及更短、更稳定的沉默时长。这一发现说明，自尊并不仅存在于个体的主观报告中，也可能沉淀在长期形成的声音表达模式里。该成果发表于人格心理学领域高水平学术期刊Journal of Research in Personality。
图1 跨情境自尊评估的流程示意图
虽然声音比文本更稳定，但语言内容仍然是自尊评估中不可忽视的重要信息。团队进一步考察了自我介绍的语言行为与自尊之间的关系[2]。研究一招募211名参与者，要求其分别围绕能动性和社群性两个社会认知维度进行自我介绍；研究二又招募63名独立样本进行验证。研究者从词汇、句法和语义三个层面提取12类语言特征，并采用岭回归和机器学习方法分析语言特征与自尊之间的关系。结果显示，不同自尊水平个体在语言表达方式上存在稳定差异，尤其体现在修饰成分使用、积极与消极情绪表达以及句法复杂度等方面。更重要的是，语言线索是否能够有效反映自尊，还取决于自我呈现的内容。相比社群性，能动性任务中的语言特征更能预测自尊水平。该项工作获得领域同行的高度评价，Journal of Personality副主编Shanhong Luo教授指出，该项工作“为人格心理学与计算语言学的跨学科融合提供了宝贵的洞见”。
图2 三水平语言的特征提取流程与数据分析框架
在前两项研究中，团队分别证明了声音特征和语言行为均能在一定程度上反映自尊。团队进一步提出了一种基于40秒自我介绍任务的多模态自尊识别方法[3]。研究招募两个独立样本，分别为211人和63人，采集被试的自我介绍视频和自尊量表得分。研究者从视觉、声音和文本三个模态中提取特征，并比较单模态、双模态和多模态模型的表现。结果显示，晚期融合的多模态模型表现最佳，在211人样本中的三分类识别表现达到 Accuracy = 0.447、Macro-F1 = 0.438，并在63人独立样本中表现出高于随机水平（0.333）的跨样本泛化能力。模型预测结果还具有较好的稳定性，并与生活满意度、主观幸福感、积极和消极情绪、抑郁、焦虑、压力、关系自尊和集体自尊等心理指标显著相关。
图3 基于自我介绍任务的多模态自尊评估框架
总体来看，围绕自尊的自然行为评估这一核心问题，团队形成了由单一行为线索到多模态融合的递进式系列研究框架。该系列研究进一步表明通过人格计算与多模态融合技术，心理测评有望从传统主观报告式的问卷填写，进一步拓展为行为识别式的测评路径。未来，团队将继续扩大样本规模，优化跨情境和跨样本泛化能力，进一步探索自尊的客观测评方法，推动心理学测量技术向更加智能、生态和精准的方向发展。该系列研究的第一作者均为西南大学心理学部2022级博士研究生臧鑫磊，西南大学心理学部杨娟教授为唯一通讯作者。
论文信息
[1] Zang, X., Wang, S., & Yang, J.* (2025). Beyond the Text: Voice as a Stable Marker of Self-Esteem. Journal of Research in Personality, 117, 104636.
[2] Zang, X., Wang, S., Zhang, Y., & Yang, J.* (2026). How Verbal Behavior During Self-Presentation Is Associated with Self-Esteem: A Computational Perspective on Lexical, Syntactic, and Semantic Levels. Journal of Personality. In Press.
[3] Zang, X., & Yang, J.* (2026). Self-Esteem Assessment Based on Self-Introduction: A Multimodal Approach to Personality Computing. Assessment. In Press.
