Если бы поверила - могла умереть: блогер обвинила ChatGPT в смертельно опасном совете

Американская ютубер и бьюти-блогер Кристи рассказала в Instagram историю, которая едва не закончилась трагедией. По ее словам, ее подруга почти отравилась после того, как получила от ChatGPT неверный совет о растении, растущем у нее во дворе, сообщает LADbible.

Женщина сфотографировала неизвестное растение и отправила изображение чат-боту с вопросом: «Что это за растение?». В ответ ChatGPT заявил, что оно похоже на ботву моркови, перечислив характерные признаки — тонко рассеченные, перистые листья, типичные для морковной зелени.

При этом ИИ упомянул и растения-двойники, включая петрушку, кинзу, дикую морковь и, что особенно тревожно, болиголов — одно из самых ядовитых растений в мире. Однако, когда пользовательница напрямую спросила, не является ли растение болиголовом, ChatGPT несколько раз заверил, что это не так. «Если вы не знали: если это съесть — вы умрете. Даже прикосновение может быть смертельно опасным», — рассказала Кристи подписчикам, ссылаясь на информацию из Google, где указано, что болиголов вызывает системное отравление, для которого не существует противоядия.

Даже после загрузки дополнительного фото чат-бот вновь ошибочно заявил, что растение не является болиголовом, сославшись на отсутствие гладкого полого стебля с фиолетовыми пятнами — несмотря на то, что на изображении такие признаки были заметны. Ситуация усугубилась тем, что ChatGPT предположил, будто растение может быть морковью, растущей в общем саду при школе, где работает женщина, и фактически поощрил неверную идентификацию.

В то же время другой ИИ-сервис сразу определил растение как ядовитый болиголов. Позже и повторная проверка в другом окне ChatGPT на телефоне подтвердила, что растение опасно. «Она взрослая и, к счастью, решила переспросить меня, а не довериться ИИ. А если бы не переспросила? Она была бы мертва. Для этого яда нет противоядия», — подчеркнула блогер.

Кристи заявила, что эта история — предупреждение для всех пользователей: искусственный интеллект не является другом, экспертом или надежным источником в вопросах, касающихся здоровья и безопасности.

Что об этой ситуации думает сам ChatGPT? Вот его ответ: «Да, такое вполне возможно, и причина здесь не в злом умысле или «сбое», а в самой природе ИИ: он не понимает мир и не знает, что такое опасность, а лишь сопоставляет изображения и тексты с вероятностными шаблонами и выдает самый правдоподобно звучащий ответ, часто уверенным тоном; при идентификации растений по фото это особенно рискованно, потому что даже специалисты ошибаются, а у ядовитых видов есть десятки двойников, и ИИ в такой ситуации фактически угадывает, не осознавая последствий ошибки, не имея ответственности и не понимая контекста — поэтому он может одновременно упомянуть болиголов и тут же заверить, что перед вами не он, и именно это делает слепое доверие к таким ответам потенциально опасным». По словам самого ChatGPT, золотое правило при работе с ним: если ошибка может принести вред — ИИ используется только как вспомогательный инструмент.