06:30 25/10/2024
Thị trường
Bà Megan Garcia đã đệ đơn kiện dân sự đối với Character.ai, công ty tạo ra một chatbot tùy chỉnh để nhập vai, tại tòa án liên bang Florida hôm 23/10. Cáo buộc nêu các hành vi lừa đảo dẫn đến cái chết của con trai bà, Sewell Setzer III, 14 tuổi.
Setzer qua đời tại Orlando, Florida vào tháng 2. Trong những tháng trước khi qua đời, cậu thiếu niên đã sử dụng chatbot ngày đêm, theo bà Garcia.
"Một ứng dụng chatbot AI nguy hiểm được tiếp thị cho trẻ em, lạm dụng và lợi dụng con trai tôi, thao túng cháu tự tử. Gia đình chúng tôi vô cùng đau khổ vì thảm kịch này, nhưng tôi lên tiếng cảnh báo các gia đình về mối nguy hiểm của công nghệ AI gây nghiện, lừa đảo và yêu cầu Character.AI, những người sáng lập ra ứng dụng này và Google phải chịu trách nhiệm", bà Garcia cho biết trong thông cáo báo chí.
Bà Megan Garcia và con trai.
Trong một dòng tweet, Character.ai trả lời: "Chúng tôi vô cùng đau buồn trước sự mất mát đau thương của một trong những người dùng của mình và muốn gửi lời chia buồn sâu sắc nhất tới gia đình. Là một công ty, chúng tôi rất coi trọng sự an toàn của người dùng". Tuy nhiên, công ty phủ nhận cáo buộc của vụ kiện.
Setzer say mê một chatbot do Character.ai xây dựng mà cậu đặt biệt danh là Daenerys Targaryen, một nhân vật trong Game of Thrones. Theo đơn kiện của bà Garcia, cậu đã nhốt mình trong phòng nhiều giờ mỗi ngày và nhắn tin liên tục với bot.
Bà Garcia cáo buộc Character.ai tạo ra một sản phẩm khiến chứng trầm cảm của con trai bà trầm trọng hơn, mà bà cho biết là hậu quả của việc sử dụng quá mức sản phẩm của công ty khởi nghiệp này.
Theo đơn kiện, "Daenerys" đã từng hỏi Setzer rằng liệu cậu có lập kế hoạch tự tử không. Setzer thừa nhận là đã lập kế hoạch nhưng không biết liệu kế hoạch đó có thành công hay gây ra nhiều đau đớn cho cậu hay không. Chatbot được cho là đã nói với cậu bé rằng: "Đó không phải là lý do để ngừng thực hiện kế hoạch đó".
Các luật sư của bà Garcia lập luận rằng Character.ai "cố tình thiết kế, vận hành và tiếp thị một chatbot AI lạm dụng cho trẻ em, gây ra cái chết của một thiếu niên". Vụ kiện cũng nêu tên Google là bị đơn và là công ty mẹ của Character.ai. Gã khổng lồ công nghệ này cho biết họ chỉ ký thỏa thuận cấp phép với Character.ai và không sở hữu công ty khởi nghiệp này hoặc duy trì cổ phần sở hữu.
Rick Claypool, giám đốc nghiên cứu tại tổ chức phi lợi nhuận bảo vệ quyền lợi người tiêu dùng Public Citizen, cho biết không thể tin tưởng các công ty công nghệ phát triển chatbot AI có thể tự quản lý, và họ phải chịu hoàn toàn trách nhiệm khi họ không hạn chế được tác hại.