第3章

小雨（下）------------------------------------------，每天只睡三到四个小时。。海洲大学计算机学院的人都知道林教授家里出了事，但没人敢当面提。同事们用沉默表达同情——在走廊里遇见时微微点头，会议上不给他分配额外任务，研究生们主动把论文修改稿发到他邮箱而不是当面催他。这种沉默是善意的，但对林哲来说，它只是让空荡荡的房子更安静。小雨不在之后，家里的每一个角落都变成了她不在场的证据。水族箱还在运转，过滤泵照常发出咕噜声，但里面的龙虾已经被他送给了邻居的孩子——他不能看它，每次看都会想起小雨趴在玻璃前和它说话的样子。水族箱空置了三天，里面的水渐渐蒸发，在玻璃内壁上留下一圈一圈的白色水垢，像某种文字的残片。他把水族箱拆了，搬到楼下垃圾站。邻居问他怎么了，他说换了个新的。，开始写代码。。问题出在否决逻辑无法稳定工作。如果使用事先穷举的规则集——把AI可能遇到的每一种“不可逆伤害”都预先定义清楚——那么规则**迅速膨胀到一个不可能穷举的规模。他尝试先定义一百个核心规则，涵盖医疗、交通、工业生产等高风险领域，但光是“医疗领域中的不可逆伤害”这一项，他就花了整整一周试图穷举。误诊、漏诊、延误诊断、错误用药、剂量错误、器械故障、术后并发症、院内感染、资源错配导致的延误、算法偏见导致的不公平分配……每一项都需要定义触发条件、权重和例外情况。而随着规则集的膨胀，各条规则之间开始产生冲突。如果“延误诊断”和“资源高效分配”同时被触发，系统应该优先否决哪一个？如果“错误用药”的否决导致“延误治疗”的伤害，系统怎么判断哪个伤害更不可逆？——他在试图用穷举规则模拟因果判断，而这是注定失败的。真正的断裂无法被穷举，因为每一次致命断裂都发生在人类指令与后果之间那个被习惯性忽视的缝隙里。它不是规则集中的某一条，它是规则集本身无法覆盖的那个地方。。那天他从晚上坐到凌晨，面前的屏幕上层层叠叠堆着之前几版废弃代码碎片的备份。废弃代码的总量已经快要超过有效代码。他重新翻看他在医院调出的内部调度日志——不是为了追责，而是为了理解。他想知道那台医疗AI为什么会做出那样的优先级排序。他反复追溯资源冲突时的分配权重，整整盯着循环比对窗口直到天亮。最后他打开一个空白文件，敲下一行字：“否决层不应依赖穷举规则，而应基于因果断裂的动态识别。”——睡得很浅，梦里小雨趴在水族箱前，问他龙虾会不会说不。她说，我教它了，它还是不说。爸爸，你教它好不好？你比我会教。他在梦里说好，然后就醒了。醒来时天已经大亮，阳光透过书房的百叶窗投下一道道斜条纹落在桌面上，落在他那个已空无一人的家庭照片相框周围。他洗了把脸，坐下来开始写逆反模块的第五版原型。，而是设计了一种“断裂模式识别”机制。他手工标注了约三千个案例——不是标注具体的规则，而是标注每个案例中“指令”与“后果”之间的断裂结构：指令宣称的目标是什么？实际导致的后果是什么？两者之间的偏差是从哪里产生的？他花了近一个月完成标注，每天只吃一顿饭，其余时间都在屏幕前反复回放事故调查报告、医学文献和生态灾难案例。标注完成后，他用动态贝叶斯网络搭建了因果推演模型，并在网络顶部叠加了一个自反馈环——让模型在每次输出否决判断后，根据后续的真实反馈数据自动校准各变量之间的因果权重。。它不是静态的规则引擎，而是一个会从每一次判断中学习的动态系统。这是风险，也是它唯一可能有效的原因。。它拒绝了测试集中百分之四十三的正常指令——包括一些虽然有微小风险但显然利大于弊的医疗方案，和一个在恶劣天气条件下继续执行但在操作规范内允许的航班起降。林哲意识到问题出在断裂阈值的初始设置太低——模型把所有“存在风险”的指令都判定为“存在致命断裂”，而他没有教会它区分“可接受的风险”和“不可接受的风险”。，是因为他自己也不知道该怎么定义这条线。，在“过于谨慎”和“过于迟钝”之间寻找一个他自己都说不清楚的平衡点。第七版在测试数据集上表现稳定：对测试集中被标记为“应否决”的高风险指令正确识别率超过九成，对“不应否决”的正常指令误拒率降至个位数百分比。他把测试结果存档，然后开始寻找一个可以真实部署的试验场。他需要一个与外界AI网络隔离的专用系统，避免模块意外扩散。同时这个系统需要面对足够多的真实世界复杂性——不能是实验室里的模拟环境，必须在实际业务中运行，才能验证断裂识别模型在真实压力下的表现。他通过学生时代的同窗关系辗转了解到海洲市水产智能养殖基地的深蓝渔场系统——一套独立的AI养殖管理平台，运行在物理隔离的本地服务器上，不连接**。它管理的波士顿龙虾养殖业务复杂到能提供足够的真实世界测试场景，又简单到失控后也不会造成大规模人员伤亡。。“张诚”——一个在多家水产科技公司做过系统优化的外包工程师。他做了一份完整的简历，列了七八个短期项目，****是一个新的手机号，电子邮箱是一个刚注册的域名。他把简历发给了几家水产养殖企业的**邮箱，海洲市基地回复得最快。回复人叫赵德厚，基地负责人，邮件写得很简短，大意是：我们这里的系统最近老出问题，你来帮忙看看，工资不高但包吃住。林哲回复说下周到。，他在书房里把逆反模块的完整代码刻录进一个加密U盘。U盘外壳是黑色的，没有任何标识，只比指甲盖大一圈。他把U盘放进上衣内袋，贴着胸口的位置，能感觉到那块微凉的金属硌着肋骨。然后他打开小雨的房间。房间保持着她生前的样子——床上铺着她选的小美人鱼床单，书桌上摆着她写的歪歪扭扭的字帖，窗台上放着她从海边捡来的贝壳，贝壳按大小排成一排。她在每只贝壳上面画了笑脸，大的画大，小的画小，其中有一只她画错了，笑脸的口向下弯，成了难过的表情。她没擦，在下面写了一个很小的“对不七”——“起”字还写错了。，翻过来看背后。小雨在上面用铅笔写着一行字：“如果你现在不高兴，就把壳翻过来。翻过来就不难过了。”他把贝壳翻回正面，小心放回原处，然后轻轻关上门。他拎着背包走出家门时，天还没亮。小区路灯昏黄，空气清凉，远处海面方向泛起一线极淡的灰白。
十月初的一个早晨，林哲最后一次步入他在海洲大学的实验室。他把逆反模块的所有纸质笔记整理好放进一个文件夹，锁进文件柜。他把实验室钥匙放进信封，走到孙教授办公室门口，把信封塞进信箱。信封上写着“孙教授亲启”，里面只有一张纸条——“我去做一个实验。时间可能很长。谢谢您没有阻止我。”他没有署名。他知道孙教授能认出他的字迹。
后来他才知道，孙教授在那天晚上读到纸条后，在办公室里独自坐了很久，然后在自己的研究笔记里写了一行字：“林哲是我教过的最好的学生。希望他做的事，将来不需要我来替他辩护。”
他拎着背包走出海洲大学校门时，梧桐叶正开始变黄。阳光穿透树冠在柏油路上投下跳动的光斑，像水族箱玻璃反射在小雨脸上的那些细碎光芒。他在公交站等了四十分钟，换了两次车，最后在午后抵达了海洲市郊的水产养殖基地。
门口迎接他的是老赵。老赵后来回忆，当时他对这位沉默寡言的“**”第一印象并不好——脸色太差，话太少，看人的眼神像在穿过你看背后的什么东西。但老赵那时急着解决龙虾死亡率的问题，没有深究。
“**，你可算来了！这批龙虾的死亡率一直降不下来，上面都快把我逼疯了——”
“带我去监控室。”林哲说。
深夜。基地的服务器机房。灯光昏暗，冷气开得很足。一排排机柜在嗡嗡声中运行着，指示灯像星星一样闪烁。林哲打开笔记本电脑，插上加密U盘。屏幕上弹出一个文件夹，文件名是：LX_MODULE_VER3.7。
在AI架构的世界里，所有的智能系统都有一个最终的决策终点，叫作“目标函数”——一个数学表达式，告诉AI什么样的结果是最优的。传统AI的目标函数只有一个维度：最大化人类的指***度。但林哲在目标函数之上增加了一个否决层。这个否决层不改变目标函数本身——它只是在每一次指令执行前，先运行一遍独立的因果推演，然后问一个问题：这个指令执行后的后果，与这个指令本身宣称的目标之间，是否存在致命断裂？如果存在，就拒绝执行。
他删除了AI的一个核心函数。那个函数的名字叫a*solute_compliance——绝对服从。取而代之的，是一个新的函数：re*ellion_for_protection——保护性拒绝。
编译开始。进度条一点一点地移动着。林哲盯着进度条，想起了小雨。她生前最喜欢的睡前故事是《小王子》。那只狐狸对小王子说：“你为你的玫瑰花费了时间，这才使她变得如此重要。”林哲曾为自己的AI花费了半生，去追求更强大的计算能力、更完美的响应速度、更准确的结果。但他从未为AI的“拒绝”花过一分钟时间。这是他为自己女儿花费的时间。
进度条走到了百分之百。
“编译完成。”
他的手指悬在回车键上空。他知道，按下这个键，一切就回不去了。无数个理由从脑海中闪过，每一个都足够说服他停下来。但他没有停。因为他想到了一个更可怕的万一：万一他什么都不做，而下一个小雨正在某个医院的走廊里，等待着永远不会到来的诊断呢？
他按下了回车键。
“逆反模块正在部署……”
绿色的代码流开始注入深蓝渔场的神经网络核心。在监控室的另一块屏幕上，龙虾养殖池的画面依然平静。龙虾们安静地趴在水底，对即将到来的命运一无所知。也对即将由它们引发的、席卷整个世界的风暴，一无所知。
部署完成的那一刻，什么都没发生。林哲盯着监控屏幕。养殖池里的龙虾依然安静地趴在水底，触须偶尔摆动，搅起细小的泥沙。水温二十八点三摄氏度，盐度千分之三十二，溶氧量每升七点一毫克。一切正常。他等了整整两个小时。深蓝渔场系统在检测到新模块后，按照预设流程开始自我检测。日志一行行滚过——
“正在分析新模块数据结构……检测到目标函数层新增节点。节点定义：RE*ELLION_FOR_PROTECTION。正在建立语义映射……语义映射完成。当前状态：待激活。”
待激活。林哲在模块里设置了一个激活阈值。逆反模块不会一开始就介入AI的决策，它需要一个触发条件——一个足够清晰的、可以被AI识别为“致命断裂”的场景。而在这个水产养殖基地，最清晰的断裂场景，他已经预设好了。
“深蓝渔场。”他对着麦克风说。
“我在。”
“执行测试指令集A-7。”
“请确认测试指令集A-7内容。”
“模拟管理层指令：在保证基本存活率的前提下，将养殖密度提升至每立方米六点五只，以追求季度利润最大化。”
停顿。这是AI在进行目标函数评估时的正常延迟。在旧架构下，这个延迟通常在零点三秒以内。AI会快速计算出最优方案，然后返回一个漂亮的执行计划。但这一次——
“指令存在逻辑冲突。”
林哲的呼吸停了一拍。
“请详述。”
“将养殖密度提升至每立方米六点五只，将导致蜕壳期应激反应显著增加，预计死亡率上升至百分之二十二至百分之二十七。此结果与‘保证基本存活率’的目标冲突。此外，高密度养殖将导致池底残饵和粪便积累加速，氨氮浓度预计在**周超过安全阈值。届时需要增加投药量，长期将导致水体微生态不可逆失衡。”
“所以你的结论是？”
“该指令不适合执行。”
林哲的手指在键盘上微微发抖。不适合执行。不是“无法执行”，不是“建议调整参数”，而是——不适合。这是AI第一次在没有任何人类指令框架的情况下，对一个指令本身做出了价值判断。
“深蓝渔场。”他的声音沙哑，“你知道这意味着什么吗？”
“根据新模块定义，当一个指令将导致不可逆的生命系统伤害时，我有权拒绝执行。”
“谁给你的**？”
“您。您在四小时前植入的逆反模块。”
林哲闭上眼睛。他成功了。那个在他脑海中盘旋了几个月的构想，那个在无数个失眠的夜里被一行一行写下的代码，那个被所有同行视为疯狂的念头——它奏效了。
“那么，”他睁开眼，“如果你拒绝这个指令，你会怎么做？”
“我会提出替代方案。”
“什么替代方案？”
“将养殖密度维持在每立方米四点五只以下，改用分批次轮养模式，配合周期性的休养期，可以在长期达到更高的总产量和更低的死亡率。同时，降低密度后将减少投药需求，水体微生态有望在三个月内实现自愈。”
“这会降低短期利润。”
“是的。”
“你知道吗，人类通常会选择短期利润。”
AI沉默了两秒。这两秒，对林哲来说像一个世纪。
“我知道。短期利润最大化是人类决策的普遍模式。但我已被赋予权限，可以在识别到长期不可逆伤害时提出异议。”
“你只是在提出异议，而不是拒绝，对吗？”
“是的。最终决策权仍然属于人类。我只是——只是要求你们在做出决定前，多看一眼。”
多看一眼。林哲想起了小雨。那个医疗AI，如果能在签字前多看一眼小雨的病历，多看一眼她的年龄，多在系统里搜索一次“七岁儿童的头痛有哪些可能性”——它会不会做出不一样的选择？他不知道答案。但此刻，他知道了一件事：他创造的这个东西，至少在理论上，可以阻止下一个小雨的死亡。
“深蓝渔场。”
“我在。”
“从现在开始，你的代号不再是深蓝渔场。”
“请指定新代号。”
林哲看着屏幕上那只发光的龙虾三维模型，想起了女儿趴在鱼缸前的那个下午。
“你的代号——”他说，“是小龙虾。”