研究者需要的不只是AI生成的答案,更是审查答案、追溯来源并为知识判断负责的能力。

    作者丨张   璐

    编辑丨马晓宁

                                                                                                       

你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。

几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论文的主要内容,甚至直接将其中的观点引用进了自己的研究。

但是,等等——你确定AI总结的,真的是原作者想表达的意思吗?如果它悄悄引入了原文没有的观点,甚至将毫不相干的概念联系在一起,作为研究者的我们,能否及时发现?

在正在举行的 ACM Multimedia 2026 上,人机交互领域先驱、巴西里约热内卢天主教大学(PUC-Rio)荣休教授 Clarisse Sieckenius de Souza 带来了一场主题演讲。

她从自己提出的“语义工程”(Semiotic Engineering)理论出发,讨论AI如何改变人与信息之间的关系,以及当我们把文献阅读和理解的工作交给AI时,如何守住研究者的“认知权威”(Epistemic Authority)。

从界面如何传递设计者的意图,到AI摘要如何偏离原文,再到如何借助 PEEL 方法审视AI的文本处理过程,这场演讲为我们理解AI时代的知识责任提供了一个新的视角。

以下是演讲全文雷峰网:

01

界面是一场对话:
我们如何理解机器的语言?

在我看来,人机交互(HCI)可以被理解为一场对话。

但这并不是应用程序或系统与用户之间简单的对话,而是一场由计算机媒介实现的、发生在人类群体之间的对话:一方是设计和开发应用程序的人,另一方是使用这些应用程序的人。

这场对话通过界面展开。界面实际上扮演着设计者代理人的角色,代替设计者向用户传递信息。它只能按照设计者预先设定的方式和语言进行表达,也就是我们通常所说的人工语言。

举个例子,当我们使用一个网站时,界面会告诉我们哪些操作是允许的,哪些操作是不允许的。在一个Cookie偏好设置页面中,用户可能尝试切换某项必要的设置,但界面却告诉我们,这项操作无法完成。

这条信息实际上来自设计者。用户通过界面得到的反馈,反映了设计者希望用户做什么、能够做什么,以及不能做什么。

这就是语义工程(Semantic Engineering)的基本思想:界面代表设计者发声,用户则通过学习和使用界面语言,与设计者进行交流。

当然,界面语言不一定是文字。它也可以是一套完全图形化、以对象为中心的语言。我们通过操纵屏幕上的对象来表达自己的意图,界面则通过对象的变化回应我们的操作。

不过,界面并不总能按照用户的预期作出回应。

我曾经在准备这场演讲时遇到一个很有意思的情况:我试图在界面中插入一个文本框,结果它竟然上下颠倒了。我完全不知道为什么会发生这种情况。

这恰恰说明,我们有时无法准确预测界面会如何回应。面对意料之外的结果,我们只能尝试理解它,并调整自己的操作。

通常,每个系统都有一套约定俗成的交互模式。这些模式在一定程度上限定了用户能够表达什么、能够做什么。我们需要不断尝试,寻找通过界面表达自己意图的方式。

更重要的是,每个系统都有自己独特的语言。即使两个系统使用相同的词汇,这些词汇背后的语义也可能完全不同。

因此,每当我们接触一个新系统,就需要经历一次语言学习的过程。

这与儿童学习母语,或者成年人学习第二语言有些相似。我们会不断尝试,观察系统如何回应,理解不同词汇和视觉符号的含义,再逐渐掌握这套语言。

当我们面对一个从未使用过的系统时,往往会进行大量尝试。我们不知道某个按钮意味着什么,也不知道某个视觉元素会产生怎样的结果,只能通过交互来建立理解。

那么,语义工程究竟包含哪些核心内容?我想从三个方面来说明。 

第一,人机交互是一种中介传播。设计者和开发者通过人工界面语言,将自己的设计意图传递给用户。用户通过学习这套语言,与设计者的代理人进行交流,并尝试实现自己的目标。

当然,用户的目标不一定总是设计者预先设想的目标。有时候,我们会创造性地使用一个应用程序,完成设计者从未预料到的任务,而这些操作甚至可能运行得很好。

第二,界面中的交流依赖三种符号。

  • 第一种是静态符号。它们固定存在于界面中,仅凭自身的呈现方式就能传递意义。

  • 第二种是动态符号。它们需要通过时间和状态变化来传递意义。例如,当我们点击一个按钮,按钮产生的变化以及随后发生的行为,都会告诉我们这个按钮意味着什么。

  • 第三种是元语言符号(Metalinguistic Signs)。这是一个专业术语,指那些能够解释其他符号的符号。例如,界面提示可以告诉我们某个图形对象代表什么,也可以引导我们采取某种操作,以实现特定目标。

第三,用户具有很强的语言学习能力。设计者会利用已有的交互模式、熟悉的语言体系以及元语言提示,帮助用户理解新的界面词汇和语义。

以上三个方面构成了语义工程的基本框架。但随着AI的发展,我们与计算机交流的方式正在发生变化。AI已经能够使用自然语言与我们对话。

那么,一个问题随之出现:既然AI能够理解自然语言,语义工程是不是已经没有那么重要了?

我的答案是:恰恰相反。

02

当AI开始说我们的语言:
究竟是谁在和我们对话?

大约四周前,我在使用Claude准备这场演讲时,遇到了一件让我非常意外的事情。

Claude的界面看起来很简单,就是一种对话式交互模式。我们在输入框中提出问题,Claude则在屏幕上给出回答。

但在某些情况下,界面还会根据当前对话的上下文,预测用户接下来可能输入的内容,并主动提供建议回复。

这本身并不奇怪。真正让我感到惊讶的是一次具体的对话。

当时,我正在和Claude讨论一些问题。它突然列出了一份清单,其中第一项竟然是它认为我想要表达的论文主旨。它给出的观点大致是:问责机制必须被设计出来,而不能被想当然地假定存在。

我当时非常惊讶,因为我从来没有想过要把这个观点作为自己的论文主旨。但我觉得这个想法很有意思,于是顺着它的建议继续讨论。我告诉Claude,它提出的这个论点很好,我们可以围绕它展开讨论。

没想到,Claude很快就纠正了我。它说,首先需要澄清一点:它之前并没有提出这个论文主旨,只是在询问我真正想表达什么。现在回顾整个对话,它才意识到这个观点似乎出现过。

于是,我继续追问:如果不是你做出了这个判断,那么究竟是谁,或者是什么,向我提出了这个观点?Claude给出的回答非常有意思:

“我不知道。我看不到你的输入框,所以无法判断应用程序是否提供了建议回复,也不知道这些回复由什么生成、依据什么上下文。这个消息传递到我这里时,看起来就像是你说的。我没有办法知道实际情况。之前我的纠正是准确的——我确实没有在这次对话中写下那个论文主旨,但我也无法知道这个表达究竟来自哪里。我本应该说明这一点。”

这是一段非常有意思的对话。我完全没有编造这个例子,事实上,即使我想编造,也很难想象出这样一个场景。

这次经历让我意识到,我们面对的AI对话系统,可能比表面看起来复杂得多。我们以为自己正在和一个能够理解上下文的系统交流,却未必知道,界面背后还有哪些代理、机制或其他信息来源参与了这场对话。

那么,语义工程是不是已经失去了价值?我的结论恰恰相反。语义工程不仅没有失去价值,反而面临着更加艰巨的任务。因为即使到了今天,人与AI之间的信息传递仍然可能存在混乱:我们看到了一条信息,却未必清楚它究竟从何而来。

我们需要重新思考:界面究竟应该向用户传递什么信息?用户是否知道自己正在与谁交流?当一条信息出现在对话框中时,我们是否能够判断它究竟来自用户、AI,还是其他中间环节?

这也是我接下来真正想讨论的问题。

03

把文献阅读交给AI,
我们还拥有认知权威吗?

我真正关心的,是AI在科学研究中的广泛应用,尤其是AI辅助文献综述。

文献阅读是我们研究工作的日常组成部分。我们需要阅读大量论文,了解某篇论文讲了什么、另一篇论文有哪些贡献,以及某个研究问题与已有工作之间存在怎样的联系。

但现在,我们需要阅读的东西实在太多了。

我想起这次会议的投稿数量,据说超过了8000篇。面对如此庞大的论文数量,谁能够仅凭个人的时间和精力完成全部阅读?在某些情况下,我们确实需要借助AI。我自己也会使用AI。

我们可以让AI告诉我们一篇论文讲了什么,某个研究方向有哪些重要工作,或者某个具体问题与哪些研究有关。

但这里存在一个值得认真对待的问题:当我们把文献阅读委托给AI时,还能否保有自己的认知权威(Epistemic Authority)?

认知权威是一个具有特定含义的哲学概念。相关讨论可以追溯到Linda Zagzebski等学者的研究,之后也有其他哲学家对这一概念进行了进一步发展。

在这场演讲中,我关注的是一个具体问题:当我们把文献阅读和理解的工作交给AI时,能否信任它提供的摘要和研究报告

为什么认知权威如此重要?

因为作为科学家和研究者,我们必须对自己所说的话、表达观点的方式承担责任。我们的研究具有社会责任,我们提出的知识主张是否成立,并不是一件可以随意对待的事情。

为了能够做出判断,我们依赖集体知识,依赖其他研究者发表的论文、开展的实验以及积累的研究成果。

如果我们使用AI来完成文献综述,就必须考虑一个问题:我们能否评估其中可能存在的风险?

请注意,我并不是在说我们不应该使用AI。我想强调的是:当我们使用AI时,是否有能力识别并判断自己正在承担怎样的风险?

也许这些风险并不存在,也许它们确实存在。但如果我们没有相应的机制,就很难知道风险究竟有多大。

这正是我们团队正在尝试解决的问题。

04

PEEL:让AI辅助阅读,
而不是替代判断

我们在研究机构中开发了一套名为PEEL的方案,全称是Protocols for Epistemically Engaged  AI Literacy。

它的核心目标,是尝试建立三个要素之间的联系:确定性计算、人工智能和人类。

为什么需要确定性计算?

因为我们之所以长期信任计算机,一个重要原因在于它们具有确定性:在相同条件下,它们会重复执行相同的操作。

但现在,我们却开始信任一种每次运行都可能产生不同结果的AI系统。这本身就值得我们思考。

第二个要素是人工智能。AI能够以前所未有的方式处理自然语言,为信息理解和文本分析提供新的可能性。

而第三个,也是最重要的要素,是人类。人类拥有知识、意图和判断能力。面对复杂的信息,我们需要综合考虑各种因素,最终决定什么才是可信的、什么才是成立的。

因此,我们希望通过这三个要素的结合,让AI参与信息处理,同时保留人类对知识的判断和审查能力。

为了验证这一思路,我们选择了Voyant作为确定性计算工具,Claude作为AI工具,而人类则负责最终的理解与判断。

PEEL并不是一个封闭的自动化系统。我们希望研究者能够访问相关工具,亲自参与整个过程。接下来,我想给大家展示一下,这套方法具体是如何工作的。

在PEEL的工作流程中,研究者可以先借助AI生成文本摘要,再通过Voyant等文本分析工具,将摘要与原文进行对照。我们关注的不只是摘要写了什么,还要检查它与原文之间究竟存在怎样的关系。

但它与普通AI摘要有一个非常重要的区别:我们不仅关注摘要写了什么,还会检查摘要与原文之间究竟存在怎样的关系。

PEEL系统介绍与体验入口

我们曾经做过一项实验:将同一份文本交给不同的AI系统进行摘要,其中包括ChatGPT的不同版本以及Claude,再将它们生成的摘要与PEEL生成的结果进行比较。

从符号学的角度来看,我会将这种尽可能保留原文特征的摘要理解为原文的一个图像符号(Icon)。这里的图像并非指视觉图片,而是强调符号与其所指对象之间存在某种可感知的相似性。

例如,如果原文按照章节和小节组织,那么PEEL生成的摘要也会保留完全相同的章节结构。

如果原文采用第一人称写作,摘要也会尽可能保留第一人称的表达方式。

这样做的好处,是当摘要保留原文的结构和表达方式时,我们就能更容易地回到原文对应的位置,检查摘要究竟有没有准确传递作者的意思。

我们还会利用文本分析工具,对原文和不同摘要中的语义类别、关键词及其出现频率进行比较。

例如,我们可以观察某个术语在原文中出现了多少次,在不同摘要中又出现了多少次。也可以检查某个术语是否出现在摘要中,却从未在原文中出现过。

PEEL利用Voyant对比原文与多个AI版本(ChatGPT、Claude)在关键词连接度上的差异

这些变化是否意味着存在问题?不一定。

如果我让你总结一篇文章,你和坐在你旁边的人很可能会给出不同的摘要。你们可能会根据自己的理解,引入一些原文没有直接使用的术语。这是正常的,因为每个人都有自己的知识背景和解释方式。AI也会发生类似的情况。

真正的问题在于,当我们完全把文本解释工作交给AI时,它可能会不受约束地引入一些相关话题。这些话题与原文存在联系,却未必真正属于原文的论述。

Voyant生成的可视化图

如果你只阅读AI生成的摘要,而没有阅读原文,那么你实际上读到的可能是AI对相关话题的延伸和建议,而不是原作者真正表达的内容。这就是认知权威面临风险的地方。

你可能会在自己的研究中声称,某位作者提出了某个观点,但实际上,这位作者从未这样说过。

原文:https://www.leiphone.com/category/private/j1CWHNsD9eBM7Wwc.html