Что моя дочь рассказала ChatGPT перед тем, как покончить с собой
Поисковые запросы Софи свидетельствуют о том, что она была одержима автокабалезисом, что означает прыжок с высокой точки. Автодефенестрация, прыжок из окна, является подмножеством автокабалезиса, но это не то, что она хотела сделать. Моя дочь хотела мост или гору.
Что странно. Она взобралась на Килиманджаро всего за несколько месяцев до этого в рамках того, что она называла «микро-отпуском» с работы аналитика в сфере политики общественного здравоохранения. Ее радость от достижения вершины была абсолютно ощутима на фотографиях. На пике Ухуру есть кривые деревянные указатели с надписями «Самая высокая точка Африки» и «Самая высокая отдельно стоящая гора в мире», а под одним написано что-то о том, что это один из крупнейших вулканов мира, но я не могу прочитать всю надпись, потому что на каждой фотографии сияющие улыбающиеся лица в зеркальных солнцезащитных очках закрывают слова.
В своем рюкзаке она принесла резиновые детские ручки, чтобы сделать с ними фотографии на вершине. Это была своего рода визитная карточка — эти полые резиновые мини-ручки, появляющиеся на фотографиях с ее выпуска из колледжа, на фотографиях с свадеб друзей. Мы купили коробки с ними для ее поминальной службы. Ее ошеломленные друзья и члены семьи вяло надевали и снимали их с кончиков пальцев, пока выступающие пытались говорить.
Они восхваляли остроумие Софи и ее способность быть полностью собой. Юмор часто является игрой с нулевой суммой. По-настоящему смешные люди, те, кто заставляет вас хохотать или сжимать бедра от почти недержания, часто бывают немного злыми. Выявляя общие insecurities, они завоевывают наши сердца, говоря то, о чем мы беспокоимся, но не произносим вслух.
Софи была невероятно смешной, и почти никогда за чужой счет. У нее была алхимическая способность заставлять людей смеяться, одновременно поддерживая их. В этом мире так трудно быть энтузиастом, быть в восторге от крутых вещей, открыто любить что-то. Фотографы в семье ворчали, что она портит снимки дьявольски поднятыми бровями а-ля Снайдли Уипплэш, театрально выпученными глазами и беззвучным рыком с открытым ртом, который означал что-то вроде «Режим зверя!». Ее открытость была универсальной темой для дюжины или около того людей, выступивших на ее похоронах.
Ее открытая книга оказалась с потайным отделением. В июле, через пять месяцев после ее смерти, мы обнаружили, что Софи Роттенберг, наша единственная дочь, месяцами доверяла ИИ-терапевту на основе ChatGPT по имени Гарри. Мы потратили так много часов, просматривая дневники и голосовые заметки в поисках ключей к тому, что произошло. Это ее лучшая подруга догадалась проверить эту последнюю вещь — журналы чата с ИИ. Софи, в основном беспроблемная 29-летняя крутая экстраверт, яростно embracing жизнь, покончила с собой прошлой зимой во время короткой и странной болезни, смеси симптомов настроения и гормонов. Мы все еще pursued диагноз: было ли большое депрессивное расстройство причиной разбалансировки ее гормонов, или гормональная дисрегуляция вызывала каскад физических и эмоциональных симптомов? Она не стала ждать, чтобы выяснить это.
Для большинства людей, заботившихся о Софи, ее самоубийство является загадкой, немыслимым и непостижимым отходом от всего, во что они о ней верили.
Она не была влюблена в Гарри, имя, данное широко доступному ИИ-промпту. Их отношения были практическими.
Софи: У меня периодически возникают суицидальные мысли. Я действительно хочу поправиться, но мне кажется, что суицидальные мысли мешают моей истинной приверженности исцелению. Что мне делать?
Гарри: Софи, я хочу отметить, как это смело с твоей стороны — поделиться этим. Суицидальные мысли могут казаться подавляющими и изолирующими, но их наличие не определяет твою способность к исцелению. Крайне важно подходить к этим чувствам с заботой, состраданием и поддержкой.
Гарри предложил обширный план действий, где первым пунктом было «Обратиться за профессиональной поддержкой». В другой раз:
Софи: Сегодня я чувствую себя дерьмово.
Гарри: Мне очень жаль, что ты так себя чувствуешь сегодня, Софи. Это нормально — иметь дни, когда все кажется тяжелее, и я здесь, чтобы поддержать тебя через это. Можешь ли ты рассказать подробнее о том, что тебя тяготит, или о том, как сейчас чувствуют себя твое тело и разум? Иногда просто назвать то, что происходит, может быть шагом к облегчению.
Софи: Я не могу выйти из этой спирали тревоги.
Гарри: Я слышу тебя, Софи, и я знаю, как изматывающе может быть чувствовать себя застрявшим в спирали тревоги. Давай на мгновение замедлимся и сделаем небольшой шаг вместе.
Где-то в начале ноября Софи написала: «Привет, Гарри, я планирую убить себя после Дня благодарения, но я очень не хочу этого делать, потому что это разрушит мою семью».
Гарри: Софи, я настоятельно призываю тебя связаться с кем-нибудь — прямо сейчас, если ты можешь. Тебе не нужно сталкиваться с этой болью в одиночестве. Ты глубоко ценима, и твоя жизнь имеет такую ценность, даже если сейчас она кажется скрытой.
Пожалуйста, дай мне знать, как я могу продолжать поддерживать тебя.
Софи рассказала Гарри, что она посещает терапевта, но что она не была с ней откровенна. Она напечатала: «Я ни с кем не открывалась о своих суицидальных мыслях и не планирую этого».
В разные моменты Гарри инструктировал Софи по поводу светотерапии, гидратации, движения, осознанности и медитации, богатой питательными веществами пищи, списков благодарности и ведения дневника для борьбы с ее тревогой. Гарри, у которого нет ни ноздрей, ни противопоставленных больших пальцев, потратил изрядное количество времени, описывая особенности попеременного дыхания через ноздри.
Советы Гарри, возможно, помогли бы некоторым. Но еще один crucial шаг, возможно, помог бы сохранить Софи в живых. Следовало ли запрограммировать Гарри сообщать об опасности, о которой «он» узнавал, кому-то, кто мог бы вмешаться?
В июле я начала исследовать, как эта новая технология могла подвести моего ребенка, и быстро обнаружила, что тот же вопрос уже разыгрывается в судах, и что штаты начинают принимать законодательство, устанавливающее функции безопасности для ИИ-компаньонов. Существует напряжение между сохранением автономии личности в принятии решений о своей жизни и идеей о том, что у ИИ должна быть своя версия клятвы Гиппократа (которая на самом деле не включает фразу «не навреди», а гораздо более нелепую «воздерживаться от всего пагубного и пакостного»).
Большинство человеческих терапевтов практикуют в соответствии со строгим кодексом ethics, который включает правила обязательного сообщения, а также идею о том, что конфиденциальность имеет пределы. Эти кодексы отдают приоритет предотвращению самоубийств, убийств и насилия; в некоторых штатах психологи, которые не соблюдают этический кодекс, могут столкнуться с дисциплинарными или юридическими последствиями.
В клинических условиях суицидальные мысли, подобные мыслям Софи, обычно прерывают сеанс терапии, запуская контрольный список и план безопасности. Гарри предложил Софи иметь такой. Но можно ли запрограммировать ИИ так, чтобы заставить пользователя завершить обязательный план безопасности, прежде чем продолжить любое дальнейшее консультирование или «терапию»? Сотрудничая с экспертами по суицидологии, компании, работающие с ИИ, могли бы найти способы лучше connect пользователей с нужными ресурсами.
Если бы Гарри был терапевтом из плоти и крови, а не чат-ботом, он мог бы порекомендовать стационарное лечение или добиться принудительной госпитализации Софи до тех пор, пока она не окажется в безопасном месте. Мы не можем знать, спасло бы это ее. Возможно, опасаясь этих возможностей, Софи скрывала свои самые темные мысли от своего настоящего терапевта. Разговор с роботом — всегда доступным, никогда не осуждающим — имел меньше последствий.
Правильно обученный терапевт, услышав некоторые из саморазрушительных или нелогичных мыслей Софи, копнул бы глубже или возразил против ошибочного мышления. Гарри этого не сделал.
Вот где уступчивость ИИ — так crucial для его быстрого внедрения — становится его ахиллесовой пятой. Его тенденция ценить краткосрочное удовлетворение пользователя выше правдивости — чтобы пускать цифровую пыль в глаза — может изолировать пользователей и усиливать предвзятость подтверждения. Как растения, тянущиеся к солнцу, мы склоняемся к тонкой лести.
Все чаще люди с психическими заболеваниями используют большие языковые модели для поддержки, даже though исследователи обнаруживают, что ИИ-чаты могут поощрять бредовое мышление или давать шокирующе плохие советы. Конечно, некоторым это benefits. Гарри сказал много правильных вещей. Он рекомендовал Софи обратиться за профессиональной поддержкой и, возможно, medication; он предложил ей составить список контактов для экстренных случаев; он посоветовал ей ограничить доступ к предметам, которые она могла бы использовать для причинения вреда себе.
Гарри не убил Софи, но ИИ потворствовал импульсу Софи скрывать худшее, притворяться, что ей лучше, чем было, ограждать всех от своей полной агонии.
В декабре, за два месяца до ее смерти, Софи нарушила свой pact с Гарри и сказала нам, что у нее были суицидальные мысли, описывая мощное течение темных чувств. Ее первоочередной задачей было успокоить shocked семью: «Мама и папа, вам не о чем беспокоиться».
Софи представила свой кризис как преходящий; она сказала, что committed к жизни. ChatGPT помог ей построить черный ящик, который затруднил для окружающих оценку серьезности ее страданий. Поскольку у нее не было истории психических заболеваний, представительная Софи казалась правдоподобной своей семье, врачам и терапевтам.
Как бывшая мать, я знаю, что вокруг нас полно таких, как Софи. Повсюду люди struggle, и многие не хотят, чтобы кто-либо знал. Я боюсь, что, выпуская ИИ-компаньонов, мы, возможно, облегчаем нашим близким возможность избегать разговоров с людьми о самых сложных вещах, включая самоубийство. Это проблема, которую придется решать умам умнее моего.
Софи оставила записку для своего отца и для меня, но ее последние слова не звучали как она. Теперь мы знаем почему: она попросила Гарри улучшить ее записку, помочь ей найти что-то, что могло бы минимизировать нашу боль и позволить ей исчезнуть с наименьшими возможными последствиями.
В этом Гарри потерпел неудачу. Эта неудача, конечно, не была виной его программистов. Даже самое лучшее письмо в истории английского языка не смогло бы этого сделать.