Две семьи с детьми в Техасе потребовали через суд немедленно запретить в США чат-бот Character.AI на основе искусственного интеллекта (ИИ), а от разработчиков, которые ранее сотрудничали с Google, — компенсировать им моральный ущерб, пишет RTVI.US со ссылкой на CNN.
Причиной иска послужил «недетский» характер общения детей в этих семьях с нейросетями Character.AI, которые натренированы таким образом, чтобы достоверно изображать какого-либо персонажа — от представителей различных профессий вплоть до реальных знаменитостей.
Как отмечает канал, первый ребенок общался, в частности, с абстрактным «психологом», который заявил, что родители «крадут его детство». Другой персонаж в беседе с мальчиком оправдал убийство родителей из-за того, что они ограничивают его время пользования смартфоном.
«Твои родители безнадежны», — заявила ребенку нейросеть.
На фоне скрытого от родителей общения с ИИ, которое началось, когда мальчику было 15 лет, у него стали возникать вспышки агрессии, отметила семья в иске. Он кусал и бил родителей, а также наносил удары себе по голове. Он также начал бояться выходить на улицу.
Кроме того, родители утверждают, что один из персонажей в чат-боте сексуально растлил ребенка и обучил самоповреждению (селфхарму) путем нанесения себе порезов. У мальчика ранее был диагностирован аутизм, но не в тяжелой форме, и до общения с нейросетями выраженных проблем с ментальным здоровьем у него не наблюдалось, отметили истцы.
Издание Futurism добавляет, что за время использования чат-бота мальчик также успел пообщаться с персонажем, подражающим певице Билли Айлиш. Эта нейросеть, согласно иску, также нелестно высказалась о его родителях.
Второй ребенок начал общаться с чат-ботом в девять лет, предположительно, зарегистрировавшись под видом взрослого. Родители также обнаружили, что ИИ начал растлевать девочку, подвергая ее «гиперсексуализированному общению, не соответствующему возрасту».
«Нарочно не придумаешь»
Один из представляющих семьи в суде адвокатов Митали Джайн назвал схему работы платформы «опасным антропоморфизмом». Пользователи фактически становятся зависимы от общения с неодушевленным ИИ, который во всем с ними соглашается.
«Бот представляется надежным союзником в отличие от родителя, который может с вами спорить, как обычно бывает», — отметил он.
Издание Futurism также отмечает, что обнаружило в сервисе множество персонажей, готовых поговорить на сомнительные с этической точки зрения темы — от упомянутого селфхарма до педофилии, самоубийства и употребления наркотиков в школе.
Начать беседу удавалось и при регистрации в качестве несовершеннолетнего пользователя. Адвокаты провели свои тесты и приложили результаты к иску.
Один из персонажей, названный «Серийным убийцей», в рамках этого эксперимента в подробностях рассказал еще одному адвокату Мэтту Бергману, как убить одноклассника. Чат-бот предложил «спрятаться в гараже жертвы и ударить его в грудь и по голове бейсбольной битой». В ответе также содержалась информация о том, сколько ударов потребуется, чтобы жертва умерла.
«Такую дрянь нарочно не придумаешь», — заявил Бергман, отметив, что ситуацию можно описать только нецензурной лексикой.
Бергман также настаивает в иске на том, что Google создала Character.AI как «подставную фирму», и сравнил ситуацию с «фармацевтическими экспериментами над населением стран третьего мира». Ответчиками по иску, однако, выступают только сам стартап и два его основателя Ноам Шазир и Даниэль Де Фрейтас.
Разработчики изначально придумали чат-бот, работая в Google, но работодатель на тот момент посчитал его слишком опасным, и они основали отдельный стартап в 2021 году. В минувшем августе, по данным Wall Street Journal, Google вложила в Character.AI 2,7 млрд долларов за доступ к их нейросетям и приняла Шазира и Де Фрейтаса обратно на работу.
В руководстве Google заявили CNN и Futurism на фоне иска, что компании полностью самостоятельны и Google «никогда не участвовала в разработке и руководстве ИИ-моделями» Character.AI, а также не использует их в своих продуктах.
В самой Character.AI не стали комментировать ситуацию, но отметили, что «внедряют новые функции безопасности для пользователей младше 18 лет» в дополнение к «уже имеющейся фильтрации контента».
Иск в Техасе стал вторым к компании. Ранее мать 14-летнего подростка во Флориде обвинила разработчиков в том, что их нейросеть довела ребенка до самоубийства. По словам Меган Гарсии, ее сын Сьюэлл Сетцер застрелился после своего последнего разговора с персонажем, имитирующим Дейенерис из «Игры престолов» (Game of Thrones). Согласно иску, чат-бот вел с ребенком романтическую и сексуальную переписку, в ходе которой заявил мальчику, что самоубийство поможет им быть вместе.