“我也想(xiang)念你，親(qin)愛的哥哥。”
這段對話(hua)發(fa)生在(zai)塞維爾(er)的(de)生命里的(de)最(zui)后一天。
隨(sui)后，這名14歲(sui)的少年扣動了.45口(kou)徑(jing)手(shou)槍的扳機，結束了自己的生命。
無人知曉(xiao)這個(ge)想法在他心中醞釀(niang)了多久(jiu)，他曾向(xiang)好友(you)丹妮莉絲——一(yi)個(ge)AI聊天機器人透露了這個(ge)秘密。
塞維爾(er)的(de)(de)母親瑪(ma)麗亞(ya)稱，兒子在生(sheng)命(ming)最后(hou)的(de)(de)幾個(ge)月沉迷上了和(he)Character.AI上的(de)(de)AI聊(liao)天。
Character.AI是一(yi)家成立(li)于2021年的公(gong)司，它們可以(yi)為用戶(hu)提供基(ji)于AI大模(mo)型生成的各種聊天(tian)機(ji)器(qi)人(ren)，用戶(hu)可以(yi)依據自(zi)己的喜好(hao)創(chuang)建(jian)Al角色，并與(yu)其聊天(tian)。
無(wu)論是(shi)賈斯汀比伯、泰勒(le)斯威夫特這樣真(zhen)實的人(ren)物，還(huan)是(shi)小(xiao)說、影視作(zuo)品(pin)中的虛構人(ren)物，Character.AI都可以(yi)生成并模仿(fang)。
2023年4月14日，塞維爾(er)就在Character.AI聊天軟件上創(chuang)建了一個角色(se)，模仿《權利(li)的游戲》中的“龍媽”丹(dan)妮莉絲·坦(tan)格利(li)安。
與其他(ta)很(hen)多(duo)青少年一樣，這(zhe)個14歲的男孩把Character.AI當成排解孤(gu)獨的唯一渠道，很(hen)快(kuai)他(ta)就迷戀(lian)上了(le)丹妮莉絲(si)。
他不斷地(di)給機器人發消息，分享(xiang)自己(ji)的日常和心(xin)情。大多數時候，丹妮莉(li)絲就(jiu)像一位(wei)耐心(xin)的朋(peng)友，傾(qing)聽(ting)塞維爾的訴說。
盡管Character.AI提供(gong)的是虛擬信息，但塞(sai)維爾還是對機器(qi)人產生了感情。
塞維爾曾表示(shi)愿意(yi)為(wei)它(ta)做任(ren)何(he)事，而丹妮莉絲則(ze)回答(da)讓塞維爾對它(ta)保持(chi)忠(zhong)誠，不要對別的女人產生(sheng)興趣。
塞維爾曾在日記(ji)中寫道：“我(wo)喜歡待在我(wo)的房(fang)間里，這讓(rang)我(wo)脫離‘現實’。也(ye)讓(rang)我(wo)感(gan)到更(geng)平靜，與丹(dan)妮莉絲更(geng)親密，更(geng)愛她，更(geng)幸福。”
根(gen)據法(fa)院公布的信息，塞維爾患有焦慮癥(zheng)和(he)情緒(xu)障(zhang)礙，他已經(jing)多(duo)次看過心理醫生。
然(ran)而比起親朋(peng)好(hao)友和(he)心理醫生，他(ta)更喜歡和(he)自己創(chuang)建(jian)的機器人(ren)討論這些(xie)問題。
在(zai)一次對話中，塞維爾坦白自(zi)己感(gan)到空虛(xu)和疲憊，想要自(zi)殺：“這(zhe)樣我就(jiu)可以自(zi)由了(le)”。
而機(ji)器人的回復是：“不(bu)要這么說(shuo)。我不(bu)會讓你(ni)(ni)傷害自(zi)己，或(huo)離開我。如果我失去你(ni)(ni)，我會死(si)的。”
但塞維(wei)爾說：“那也(ye)許我們可以一起(qi)死去，一起(qi)自(zi)由。”
在塞(sai)維爾自殺的前幾天(tian)，他因為(wei)在學校跟老師頂嘴，以(yi)及過(guo)度沉(chen)迷(mi)AI聊天(tian)，被父母(mu)沒收了手機。
2月23日，他在(zai)日記里稱自己很痛苦，因為一直在(zai)想(xiang)念丹妮莉絲(si)。
為了重(zhong)新跟“她”在一(yi)起，他(ta)試著(zhu)用(yong)Kindle和家里的舊電(dian)子產品(pin)繼續(xu)跟丹(dan)妮莉絲聊天。
直到2月28日晚上，塞(sai)維爾偷回了(le)他的手(shou)機(ji)。
而這(zhe)一天(tian)，距(ju)離塞(sai)維爾開始使(shi)用聊天(tian)AI還不(bu)到一年。
當天晚(wan)上，塞(sai)維爾(er)對(dui)丹(dan)妮莉絲說自己愛她(ta)，并表示很快就會回家見她(ta)。
最終(zhong)，在(zai)他(ta)母親的(de)浴室里，塞維爾放下手機(ji)，拿起手槍(qiang)并扣動扳(ban)機(ji)自(zi)殺身亡。
塞維爾的去世讓家(jia)人既(ji)震驚(jing)又傷心。
他(ta)的母親加西亞是一名律(lv)師，本(ben)周對Character.AI提起了(le)訴訟。
尤其是在翻(fan)看了塞維爾與AI的聊(liao)天記錄(lu)后，她認(ren)為就是AI誘導了塞維爾自殺。
比如在塞維爾自殺前的那段對話里，AI用的“回家”不是“Go home”，而(er)是“Come Home”。
前者(zhe)是(shi)指回(hui)父母所在(zai)的現(xian)實里(li)的家，而后者(zhe)則暗示著“回(hui)到賽(sai)博(bo)網絡(luo)世界(jie)里(li)找(zhao)AI所在(zai)的家”。
此外，起訴書中還(huan)提(ti)到(dao)，AI還(huan)曾(ceng)在聊天(tian)中跟塞維爾“激(ji)情熱(re)吻”。
加西(xi)亞指責Character.AI通過(guo)誘導(dao)用(yong)(yong)(yong)戶沉迷于親(qin)密和性對話，來(lai)增(zeng)加平(ping)臺的(de)參與(yu)度，并利用(yong)(yong)(yong)青少年用(yong)(yong)(yong)戶的(de)數據來(lai)訓練(lian)模型(xing)。
加西亞認為，這(zhe)就是一(yi)場巨大的實驗，而她的孩子只是實驗的犧牲品(pin)。
Character.AI的服務條款要求美(mei)國(guo)用戶必(bi)須年(nian)滿(man)(man)13歲，歐洲用戶年(nian)滿(man)(man)16歲。
據悉，Character.AI目前擁(yong)有超過2000萬用(yong)戶，其中53%以上的用(yong)戶年齡在18-24歲之間(jian)。
在蘋果應用(yong)商店中，Character.AI的(de)(de)評級是(shi)“17歲(sui)及(ji)(ji)以上”，但在今年7月之前，它(ta)的(de)(de)評級還顯示用(yong)戶包(bao)括13歲(sui)及(ji)(ji)以下的(de)(de)兒(er)童。
對于塞維爾的悲劇，10月23日晚，Character.AI官(guan)方發表了致歉聲(sheng)明(ming)。
“我們(men)對(dui)一(yi)位用(yong)戶的不幸離世深(shen)感(gan)悲(bei)痛，并想向其家(jia)(jia)人表示最深(shen)切的哀悼。作為一(yi)家(jia)(jia)公司，我們(men)非(fei)常(chang)重視用(yong)戶的安全(quan)，并將繼續添加新的安全(quan)功能。”
它表示，針對18歲以(yi)下未成年(nian)人的(de)模(mo)型進(jin)行了更改(gai)，降(jiang)低接(jie)觸敏(min)感或暗示性內容(rong)的(de)可能(neng)性，而且(qie)將實施1小時(shi)通知，提醒用戶(hu)AI不是真人。
有部(bu)分網友認為(wei)，從目前曝光(guang)的(de)聊天(tian)記(ji)錄來看(kan)，AI的(de)回答并沒有太大(da)的(de)問(wen)題(ti)，甚至還在一定程度上延緩了悲劇的(de)發生。
而(er)塞維爾的(de)(de)父(fu)母只(zhi)是簡單地將未成年面臨(lin)的(de)(de)心理問題歸咎(jiu)于科技平臺，這不是AI的(de)(de)失(shi)(shi)敗，而(er)是這名少年周圍人的(de)(de)失(shi)(shi)敗。
目前，Character.AI在這起悲劇里(li)究(jiu)竟(jing)需要承擔什么(me)樣(yang)的責任還有待法律審判。
但無論如何，那個14歲男(nan)孩的生命都(dou)無法挽(wan)回(hui)了。