科技=方便?or 科技=失控?

2019-07-11 16:25:06 董宝山 1

  前不久,广州一起车祸上了热搜,引起了开车该不该穿松糕鞋的大讨论,同时也提到女司机误踩油门启动AUTO HOLD(自动驻车)的猜想。

  如今除了定速巡航、自动驻车等功能,越来越多的车拥有了自动驾驶功能,但真的可以百分百将生命交给高科技吗?

  这带来一个新的思考——如何避免科技使用不当带来的副作用?科技的发展是让我们受益,还是将人类带入了一个渐渐失控的领域?

  01

  科技带来的自由越多 强制也越多

  许多科幻电影都表达了人类对于科技发展的焦虑。我始终记得当年看《银翼杀手》的感觉,从地面到天空,城市被机械包围得密不透风,印象中那里一直在下雨,阴翳、冰冷、充满末日感。电影中的“复制人”以假乱真,可以说是人类科技发展的尖端体现,然而“复制人”却选择报复人类,简直就是科技“反噬”的隐喻。

  赫伯特·马尔库塞(1898年7月19日-1979年7月29日),美籍犹太裔哲学家和社会学家,法兰克福学派的代表人物之一。

  “二战”以后,由于高科技、全球化对于人类生活的世界及人类生存的巨大影响,西方对于科技危机进入了反思阶段,其中最为著名的论点是:科技发展导致了人的“异化”。

  20世纪60年代,马尔库塞提出“单向度的人”这一概念。他认为,科学技术既有促进人的本质实现的性质,也有压抑人性的性质。在发达工业社会中,科学技术成为人性压抑的根源,技术进步给人提供的自由条件越多,给人的种种强制也就越多。

  距离马尔库塞的“警告”已过去半个世纪的今天,我们依然能够感受到科技带来的“强制”,更要命的是,大家都默默接受了这种“强制”。有多少人在抱怨微信等APP让自己24小时处于工作状态之中,但是你能卸载吗?一个令人无法反驳的事实是,在人工智能发展迅速的今天,科技深度参与到我们的日常生活中,手机、电脑、GPS……我们已经离不开它们,并且将信任交付出去,却对科技是把双刃剑这一事实视而不见。这一现象被英国科技专家詹姆斯?布莱德尔称为“自动化偏见”(automation bias)。

  在其2018年新作《新黑暗时代》一书中,詹姆斯?布莱德尔剖析了人类对于科技的信仰与狂热,所指向的并非一个美好的乌托邦。我们对科技迫不及待的使用,往往缺乏全盘考虑。当代的应用互联集成了多个复杂系统,没有任何一个个体能够窥见其全貌,然而我们就是对机器非常信任,这种信任加剧了我们的认知偏见:相较于非自动化,我们对自动化的结果更有信心。这种“自动化偏见”普遍存在于每个计算领域中:从拼写检查软件到自动驾驶,也存在于每一个人的头脑中。“自动化偏见”使我们更重视自动化信息,而不是自己的体验,即使它与我们的观察所得相冲突。

  大韩航空在 1983 年的一场全员遇难的空难事件,就是一起典型的“自动化偏见”受害的例子。

  1983 年 8 月 31 日,从美国阿拉斯加的安克雷奇(Anchorage)起飞后不久,机组人员根据空中交通管制队的命令启动了自动驾驶程序,将飞机的控制权拱手相让。按照自动驾驶预先设定好的路标,飞机将跨越太平洋到达韩国首尔。然而不知是系统设置出了差池,还是对系统机制发生了理解偏差,自动驾驶并未沿着预定的航线飞行,而是固执地朝着起飞时的方向 飞去,从而越来越向北偏离。

  在离开阿拉斯加上空飞行了 50 分钟之后,飞机已经向北偏离航线 12 英里,随后偏离距离增加至50、甚至 100 英里。事故调查者称,在偏航的几个小时内,曾有多次对机组人员的警告,机组人员也注意到了在各个信号塔之间飞行时间较往日更长,但却继续置若罔闻。他们偏离航线越来越远,抱怨无线电接收信号越来越弱。然而所有这些都未能让飞行员对系统产生怀疑,查证他们的实际所在位置。即使飞机已经飞过堪察加半岛,闯入苏联军事领空,他们仍然对自动驾驶程序深信不疑。

  苏联出动了战斗机,准备将其截获,飞机仍在继续往前飞。三个小时之后,苏—15 号战斗机发射两枚空对空导弹,近距离的引爆摧毁了韩国飞机的液压系统,这时飞行员仍然毫不知情。航班最后几分钟的驾驶舱记录显示,自动系统发出了紧急迫降的警告,但飞行员仍然试图重置自动驾驶程序。

  偏见不仅仅是无视的过失,也是盲目的认同。飞行员盲目遵循自动驾驶的指令,他们选择的是一条最顺从的路。

  02

  为啥有人被GPS带坑里?动脑子多累啊

  也许有人会提出,技术的失控率很低,发生大韩航空之类的灾难只是个例。但“自动化偏见”中还有一种现象——技术即使在正常运转时,都有可能危及我们的生命——比如被GPS卫星导航系统带坑里。

  你也许听说过这样的新闻,甚至有类似的亲身经历:一群日本游客试图登上一座澳大利亚的岛屿时,他们将汽车开向了海滩并直接冲进了海中,因为他们的GPS告诉他们这是一条行得通的路。涨潮时分,他们在距海岸线 50 英尺的地方被人营救出来。来自华盛顿州的一群人则将车驶入了湖里,导航系统让他们偏离了主干道,进入一条轮船坡道。当紧急救援服务队赶到时,他们发现汽车漂在深水区里,只有车顶露出了水面。

  对于美国死亡谷国家公园的护林员来说,此类事件习以为常。他们甚至有一个术语来形容:“GPS 之死”(Death by GPS),意思是说人生地不熟的游客总是相信导航,而非他们的理智判断。

  在有些地区,地图上标志的路线往往是常规车辆无法通过的,在白天气温高达50℃,也找不到水源的情况下,一旦迷路就会丧命。在这些情况下,GPS 导航系统并没有欺骗用户也没有出错。电脑只不过是被提问了一个问题,然后给出了答案——人类循着电脑的回答走向了死亡。

  自动化偏见的核心是更深层的一种偏见,它并非根植于技术,而是大脑本身。面对复杂问题的时候,尤其是在时间紧迫的情况下——谁没有十万火急的时候呢——人们倾向于以最少的认知活动来解决问题,偏爱那些易于操作与解释的对策。

  一旦可以让渡决定权,大脑就会选择这条最不耗费脑力的选项。计算是认知的黑客,它窃取了人类做决策的过程,让机器承担起这一责任。逐渐地,机器插手越来越多的认知任务,不计后果地强化它的权威。而我们思考的方式越来越像机器,或者说我们已经不再思考。

  人类掌握了巨大的知识库,却仍然没有学会如何思考。

  詹姆斯?布莱德尔说,从个人电脑到智能手机再到全球云网络的系谱演变中,我们看到人类是如何使自己生活在计算之中的。计算不仅仅是种体系结构,它正在成为我们思考的根基。现在,计算渗透至各个角落,向人类发出邀请,即使是一些能用简单的机械、物理或社会的方法解决的问题,我们也通通交给计算。能发短信干吗还要说话?能用指纹干吗用钥匙?

  但问题是,随着计算和计算产品日益充斥着我们的生活,它们被赋予了权力和生产真理的能力,承担起越来越多的认知任务,现实本身被披上了电脑的外衣——我们的思维方式不久也将如此。

  03

  AI向人类学习了文明同时也学到了野蛮

  2017年是“人工智能应用元年”。那一年,“人工智能”被首次写入全国政府工作报告;百度无人驾驶汽车上北京五环路;AlphaGo Master与人类“最强大脑”柯洁展开围棋人机对决,最终连胜三盘。这些人工智能技术深度应用的缩影让我们看到AI的神奇魅力——在没有人工干预的情况下,AI能自主解决问题。

  但麻烦在于:AI是需要学习的,我们怎么知道它学会了什么?它的老师,也就是我们人类,本身就是充满着无知和错误的群体啊!所以AI在学习的时候,也会顺便把我们的缺陷——偏见、暴力、无知等等也一并学走了。

  瓦尔特·本雅明(Walter Benjamin)对这个问题的措辞则更加尖锐,在 1940 年他就写道:“没有一项文明的记录同时不是野蛮的记录。”用过往知识的残余来训练初生的人工智能,就等于把这种野蛮编码进我们的未来。

  正如科幻电影《机器姬》中讲述的故事,科学家Nathan创造了人工智能Ava,他认为自己在扮演上帝的角色,他设计了一切,计算了一切,他以为自己也掌控一切。然而Ava最终突破了限制,通过学习了人类的恶而走出了伊甸园。

  细思恐极。

  科技的发展如潮水奔腾向前,作为人类应该如何与之相处?詹姆斯?布莱德尔在《新黑暗时代》中说,人类并非全知全能,但是我们可以思考。只要我们不迷信不盲从,科技就可以成为人类思考的向导与助手。电脑的发明不是提供答案,而是我们提出问题的工具。

  如何理解与思考我们在世上所处的位置、与他人和机器的关系,会最终决定科技是会让人类陷入疯癫的魔咒,还是会带来平静的福祉。

  马云写的敬业福字  psp30006 20破解  乔布斯的辞职信