导航指的路明明在绕圈,你怎么还是乖乖跟了——就因为它是机器算出来的?


自动化偏差

当机器或系统给出一个结论,我们常常连眼睛看到的反常都懒得管,直接把系统的输出当成自己的判断。即使有迹象显示它算错了,放弃独立核查的念头也比想象中容易。

#听系统的#GPS指错也跟#不自己看路
01

寓言故事

阿苔要去邻县参加表姐的婚礼。路程两个钟头,她没走过这条路,上车就把手机架好,点开导航。女声温和平稳:「沿当前道路继续行驶十二公里。」

开了四十分钟,导航指向一条岔路。这条路比她预想的窄——双向单车道,两边是密密的水杉,树冠在空中合拢,把午后的阳光筛成一条一条的光带。路面从柏油变成了碎石,轮胎碾上去沙沙响,像在提醒她什么。

她放慢了车速。前方路边插着一块手写的木板,红漆歪歪扭扭:「前方施工,此路不通。」木板被日晒雨淋得发白,看着有些年头了。她犹豫了两秒,瞥了一眼导航——屏幕上那条蓝色的路线还亮着,箭头稳稳地指向正前方,一点都没犹豫。

她想:「可能是旧牌子。导航后台有实时路况,要真不通,它会重新规划的。」她踩下油门,绕过那块木板。

路越来越窄。碎石变成了土,两边水杉退去,露出大片的稻田。她看见前方的路面上有几道新鲜的轮胎印——全都朝着反方向。有人在这里调过头。不止一辆。她放慢车速,看了一眼导航。箭头还亮着,还指着正前方,还稳。

「别人可能只是临时改主意,」她想,「不一定是因为路不通。」

又开了半里地,路边一个戴草帽的农人正在田里收稻。他直起腰,朝她这边看了一眼,然后举起手臂挥了挥——不是打招呼,是那种「别往前了,掉头」的手势,幅度很大,像在赶一只不肯转弯的鸟。

阿苔看见了。她的手在方向盘上紧了紧。导航的女声还在:「前方三百米保持直行。」她咬了咬嘴唇:「他不一定知道我要去哪。而且导航没改路线——如果真过不去,它早该报警了。」她把车窗升起来,空调的出风盖过了农人喊出来的半句话。

路在一座小石桥前十米断了。桥面被挖开了,钢筋露在外面,桥头堆着半人高的碎石和一道红白相间的塑料护栏。护栏是新的——不是那块旧木板能比的——上面挂着一张打印的告示,盖着红色的公章。

阿苔熄了火。车厢里突然安静下来,只剩空调出风口咝咝的风声。导航的女声还在说话:「请在前方调头。」——这句话她早就该听到的,可她之前没让它说完。

她调转车头,沿着来路慢慢往回开。路过那个农人时,他已经弯下腰继续收稻了,没再抬头。路过那几道反向的轮胎印时,她认出其中一道是带防滑链的——和她自己的轮胎一样。路过那块旧木板时,她看清了木板背后还钉着一张褪了色的公文,日期是两年前的。

手机支架上,导航已经重新规划了路线。新的蓝色弧线绕了一个大圈,稳稳地亮着。它看起来和之前那条一样可靠。

我们交出了判断权,却以为自己还在掌舵。

02

核心定义

自动化偏差(Automation Bias)是指我们在借助自动化系统、算法或任何「由机器给出结论」的工具时,倾向于不加审视地接受它的输出,即便我们自己的观察或常识已经亮起了红灯,也宁愿相信系统也不相信自己的眼睛。核心机制是:当系统持续可靠时,我们会把「由系统替我判断」内化为默认模式;一旦这个模式建立,系统给出的任何结论——无论对错——都会绕过我们的独立核查,直接变成行动的依据。

这一概念由心理学家凯瑟琳·莫西尔(Kathleen Mosier)与琳达·斯基特卡(Linda Skitka)于 1990 年代通过一系列飞行模拟实验首次系统命名与验证。在最具代表性的「高空座舱」实验中,飞行员被要求依据一套自动化导航与告警系统做决策;当系统给出错误提示、而仪表盘上的其他线索与之矛盾时,绝大多数飞行员仍然依照系统的指示操作,甚至无视了自己亲眼看到的数据。莫西尔与斯基特卡由此指出:问题不在于系统不可靠,而在于「系统可靠」这件事本身,会悄悄废掉人类操作者的核查本能。

自动化偏差之所以危险,不是因为机器会骗人——很多时候机器比人准——而是因为我们把「机器算的」和「对的」画了等号,于是在机器出错的那一次,我们正好把唯一能拦住错误的那双手背到了身后。它最阴险的地方在于:它让错误看起来像是我们自己「自愿」犯的,因为系统只是给了个建议,按下去的是我们。

来源

「自动化偏差」一词由莫西尔与斯基特卡正式提出,源自航空心理学对「座舱自动化误用」的观察。一个耐人寻味的细节:实验中那些被明确告知「本系统可能出错」的飞行员,犯错率并未显著下降——他们知道系统会错,却依然在关键时刻把系统的结论当成了自己的结论。研究者后来发现,只有那些在训练中被要求「为每一次系统提示负个人责任」的飞行员,才会真正停下来交叉核对。

常见表现形式

错误采信

自动化系统给出了一个明显有问题的结论(如导航把车导入死路、诊断系统建议了矛盾用药),我们因为「它是算出来的」而照单全收,放弃用常识质疑。

漏检忽略

系统提示「一切正常」时,我们连自己已经看到的反常信号都懒得上报——把系统的沉默当成了没有问题的证据。

责任外移

把判断的最终责任推给系统:「是它让我这么做的。」这句话在系统出错后最常出现,而它恰恰说明偏差发生时,我们早已不在驾驶位上。

03

真实案例

出行

那个明知道在绕圈却还跟的导航

你开长途,导航让你「前方右转」进一条明显越走越窄的村道。你看见路牌写着「此路不通」,也看见前面有村民在摆手。但导航的箭头还亮着,语音还温柔地说着「继续直行」。你犹豫了两秒,还是打了方向盘——「它后台有实时路况,可能我知道的过时了。」半小时后你陷在一段泥路上,才承认:你不是相信那条路通,你只是还没学会在机器面前说「不」。

「导航说能走,应该比我清楚吧——万一它知道我在地图上没看到的东西呢?」

医疗

那个照着弹窗开出的处方

一位医生在门诊系统里输入症状,系统自动弹出一条用药建议。这条建议与她自己的临床经验有出入——她记得这个病人对其中一种成分不耐受——但弹窗标着绿色「推荐」,还附了一行「基于三千例相似病例」。她想了两秒,点了确认。事后复盘,她坦言:「那行绿字让我觉得,不采纳反而显得我不专业。」系统的「推荐」没有替她签字,但替她省掉了怀疑自己的力气。

「系统都标了推荐,而且样本量那么大——我总不能比它还懂吧。」

日常家务

那个替你定好一切的扫地机

你家扫地机器人每天定时跑,你早就不再看它扫了哪里。有天你发现它连续一周都在同一块地毯边缘卡住、转圈,把那片区域越绕越脏。你看见了好几次,却每次都只是把它拎回去重启——「它自己会规划的」。直到朋友来家里,问了一句「你这机器是不是坏了对这一块」,你才蹲下来,手动把它设成了禁区。你不是没看见,你只是把「它在工作」当成了「它在正确地工作」。

「它天天自己跑,应该比我清楚哪儿该扫——可能那块地毯本来就难搞。」
04

正误对照

场景

你用一款理财 App 做资产配置,输入风险偏好后,系统给出一份建议组合,并标着「智能推荐 · 基于十万用户数据」。你瞥见里面有一项你完全不了解的海外基金,占比不低。

自动化偏差主导
朋友这组合你看懂了吗?那个海外基金你熟不熟?
它都标了智能推荐,还说是十万用户的数据跑出来的——应该比我自己拍脑袋强。我不懂没关系,它懂就行。我就按这个买了,省得自己研究半天还研究不明白。
你跳过了最关键的一步:确认「系统推荐」和「适合我」之间有没有等号。你把系统的可靠性,直接当成了这条具体建议对你而言的正确性;你甚至没有去查那只基金的风险等级——因为「十万用户数据」这几个字,已经替你盖了章。
理性回应
朋友这组合你看懂了吗?那个海外基金你熟不熟?
推荐是推荐,但我连它投的是什么资产、波动多大都没搞清楚,不能直接跟。我先把它单独拎出来查了风险等级和费率,再想它跟我的仓位搭不搭。十万用户的数据是平均情况,不代表我的承受力——真要买,我也只敢用小比例试,并且设个止损。系统给的是起点,不是终点。
你做了三件事:第一,把「系统推荐」和「我理解并同意」拆开,不因为前者有光环就跳过后者;第二,对不了解的单项主动补查,而不是把系统的「懂」当成自己的「懂」;第三,保留最终决策权在手里——系统给建议,按不按、按多少,由你定。
05

运作机制

01

信任惯性

系统长期准确,会让我们把「它可靠」升级成「它即正确」。每一次系统答对,都在强化这层信任;而当信任厚到一定程度,我们便不再在每次 output 上重新评估,而是默认放行。这正是航空实验里飞行员的处境:系统九十九次都对,第一百次错了,可第九十九次积累出的「不用查」已经成了肌肉记忆。


02

认知省力

替我们做判断,是自动化最诱人的地方。大脑天生偏好省力的路径——当系统已经给了一个现成结论,再启动独立核查意味着额外消耗注意力与精力。于是我们倾向于把系统输出直接当作「已完成思考」,把省下的力气用别处。偏差不是「不会查」,而是「查的成本显得不值当」。


03

责任错觉

把判断交给系统,会带来一种隐秘的解脱感:「错了也不是我一个人的责任。」这种责任外移降低了我们对后果的警觉,也削弱了对系统进行校验的动机。莫西尔发现,只有当操作者被明确赋予「为系统提示负个人责任」时,核查行为才会恢复——说明偏差的根源之一,是我们误以为放手就能免责。

06

信号识别

01

默认采信

你接收到系统结论后,第一反应不是「它对不对」,而是「它都这么说了,照做」。尤其是当系统带着「推荐」「智能」「基于大数据」等字样时,你连点确认几乎不假思索。

典型话语:「它标了推荐,应该比我懂——我照着来就是了。」

02

反证无视

你明明看到了与系统矛盾的信号——导航说直行可你看见路牌写「禁行」、仪表提示正常可你听见异响——却把它归为「系统更可能知道我没看到的」,然后继续照系统走。

典型感受:我好像看到了不对劲,但那个绿色对勾让我觉得,是我多心了。

03

责任外移

在事后解释或事前犹豫时,你潜意识把最终对错算在系统头上:「反正它是这么建议的。」这个念头一旦出现,你其实已经不在决策者的位置上了。

典型话语:「是它让我这么选的,要错也是它的问题。」

04

单向信任

你对系统的信任是单向的:它错的那几次,你归结为「特殊情况」或「我操作有误」;它对的那些,你记成「还是它靠谱」。你从不用同样的严格去审计它的失误率。

典型感受:它偶尔抽风,但大多数时候还是信它比较省心。

07

应对策略

01

独立预判

在看到任何系统建议之前,先在纸上或心里写下你自己的判断——这只基金我要不要、这条路通不通、这个诊断我倾向什么。写完后才去看系统结论。这一步的价值不在「你一定对」,而在于它把你从「被动接收者」重新变回「有立场的判断者」:之后系统若与你相左,你会停下来问为什么,而不是被直接带跑。

自问:「如果这机器今天罢工,凭我自己我会得出什么结论?」

02

单项复核

对系统建议里你最不熟悉的那一项,强制做一次独立查证——不是泛泛地「信它」,而是具体地搞清它的风险、依据和适用边界。尤其当建议带着「基于海量数据」的光环时,记住:平均情况不等于你的情况。把系统结论拆成零件,逐项确认你理解并认可,再决定是否采纳。

自问:「这项我完全不懂的建议,如果换成一个人对我脱口说出,我会先去查什么?」

03

预设否决

在反复使用同一类自动化工具时,给自己立一条硬规则:凡是涉及金钱、健康、安全的选择,系统的建议只是输入项,最终动作必须由我确认,且我保留随时说「不」的权利。把「我可以推翻它」写成默认设置,而不是把「它更专业」写成默认设置。责任回到自己肩上,核查才会回来。

自问:「如果系统这次恰好错了,我愿不愿意为照它做的那个动作,自己担下后果?」

机器从没说过自己不会错——是我们自己替它把承诺先写好了。

—— — 思辨录 · 自动化偏差

09

参考文献