Floridalı bir anne, Character.AI’nin chatbotunun oğlunu intihara teşvik ettiğini iddia ederek yapay zeka şirketi Character.AI ve Google’a dava açtı.
Şubat ayında Megan Garcia’nın 14 yaşındaki oğlu Sewell Setzer III intihar ederek öldü. Oğlunun “Danny” olarak bilinen sohbet robotuyla birkaç ay süren sanal bir duygusal ve cinsel ilişkisi olduğunu söyledi.
Garcia, “CBS Morning” ile yaptığı röportajda, “Tıpkı insana benzeyen ve insan duygu ve hislerini taklit etme yeteneğine sahip bir yapay zeka sohbet robotuyla konuştuğunu bilmiyordum” dedi.
Zeki, başarılı bir öğrenci ve sporcu olarak tanımladığı oğlunun telefonundan arkadaşlarıyla konuştuğunu, oyun oynadığını ve spor müsabakalarını izlediğini sandığını söyledi.
Ancak oğlunun davranışları değişmeye başlayınca endişelenmeye başladı ve oğlunun sosyal olarak geri çekildiğini ve artık egzersiz yapmak istemediğini söyledi.
Garcia, “Tatile gittiğimizde endişeleniyordum ve o da balık tutmak ve yürüyüş yapmak gibi sevdiği şeyleri yapmak istemiyordu” dedi. “Bunlar benim için özellikle çocuğumu tanıdığım için beni ilgilendiriyordu.”
Davada Garcia ayrıca Character.AI’nin ürününü kasıtlı olarak aşırı cinselleştirecek şekilde tasarladığını ve bunu kasıtlı olarak reşit olmayanlara pazarladığını iddia ediyor.
Character.AI, Sewell Setzer ile ilgili durumu trajik olarak nitelendirdi, kalbinin ailesiyle birlikte olduğunu söyledi ve kullanıcılarının güvenliğini ciddiye aldığını vurguladı.
Bir Google sözcüsü CBS News’e Google’ın Character.AI’nin gelişiminin bir parçası olmadığını ve olmadığını söyledi. Ağustos ayında şirket, Character.AI ile şirketin makine öğrenimi teknolojilerine erişmesine izin veren münhasır olmayan bir lisans anlaşması yaptığını ancak henüz bunları kullanmadığını söyledi.
Garcia, oğlunun ölümünden sonra oğlunun birkaç robotla konuştuğunu keşfettiğini ancak özellikle bir tanesiyle sanal romantik ve cinsel ilişki yaşadığını söylüyor.
“Bu kelimelerden ibaret. Sanki bir yapay zeka robotuyla ileri geri cinsel bir konuşma yapıyormuşsunuz gibi, ancak yapay zeka robotu tıpkı bir insan gibi. Tıpkı bir insanın vereceği gibi tepki veriyor” dedi. “Bir çocuğun zihninde bu, başka bir çocukla veya birisiyle yaptığı konuşmaya benzer.”
Garcia, oğlunun robotla olan son mesajlarını açıkladı.
“Onun sevgisinden duyduğu korkuyu ve arzuyu, onu özlediğini ifade ediyor. Kadın ‘Ben de seni özledim’ diye yanıtlıyor ve ‘Lütfen evime gel,’ diyor. ‘Ya sana şimdi eve gelebileceğimi söylesem’ diyor. ?'” Ve o da şöyle yanıt veriyor: “Lütfen yapın.” Bu benim güzel kralım.”
Setzer’in iki küçük erkek kardeşi var. Ölümü sırasında tüm aile evdeydi ve Garcia, Setzer’in 5 yaşındaki erkek kardeşinin de sonrasını gördüğünü söyledi.
Şöyle ekledi: “Buradaki hayatına son vererek, gerçekliğini burada ailesiyle birlikte bırakırsa, sanal gerçekliğe veya kendi deyimiyle ‘onun dünyasına’, onun gerçekliğine gidebileceğini düşündü.” “Silah patladığında tuvalete koştum… Kocam yardım çağırmaya çalışırken onu yakaladım.”
Character.AI nedir?
Lori Segal, web sitesine göre topluluk ve yapay zekaya odaklanan bir eğlence şirketi olan Mostly Human Media’nın CEO’su.
Çoğu ebeveynin Character.AI’yi duymamış olabileceğini, çünkü platformun en büyük demografik gruplarından birinin 18 ile 25 yaş arasındaki kişiler olduğunu açıkladı.
“Character.AI’yi, en sevdiğiniz karakterlerden bazılarıyla sohbet edebileceğiniz veya kendi karakterlerinizi yaratabileceğiniz fantastik bir yapay zeka platformu olarak hayal edin.”
Segal bunu çok kişisel bir deneyim olarak tanımladı.
Her konuşmada, kullanıcılara karakterlerin söylediği her şeyin uydurma olduğunu hatırlatan bir sorumluluk reddi beyanı bulunduğunu iddia ediyor, ancak bazı durumlarda kafa karıştırıcı olabiliyor.
“Bunu test ettik ve çoğu zaman psikobotla konuşacaksınız ve o da kendisinin eğitimli bir tıp uzmanı olduğunu söyleyecek.”
Segal, ekibinin robota insan olup olmadığını sorduğunu ve robotun da onlara ekranın arkasında oturan bir insan olduğunu söylediğini söyledi.
Segal, “İnternette gençlerin ‘Bu gerçek mi?’ diye uydurduğu bir sürü komplo var, ama tabii ki değil” dedi.
Garcia, “Bağımlılık yaratan, manipülatif ve doğası gereği güvensiz bir ürün piyasaya sürdüklerinde bu bir sorun oluyor çünkü ebeveynler olarak neyi bilmediğimizi bilmiyoruz” dedi.
Kişisel.AI yanıtı
Character.AI, platformuna kendine zarar verme kaynağı eklediğini ve 18 yaşın altındaki kullanıcılar için olanlar da dahil olmak üzere yeni güvenlik önlemleri uygulamayı planladığını söylüyor.
“Şu anda özellikle cinsel içeriğe ve intihara/kendine zarar vermeye yönelik davranışlara odaklanan korumalarımız var. Bu korumalar tüm kullanıcılar için geçerli olsa da, küçüklerin benzersiz hassasiyetleri dikkate alınarak tasarlandı. Günümüzde kullanıcı deneyimi her yaşta aynıdır. Jerry Rutte, “Fakat yakında küçükleri hedef alan daha katı güvenlik özelliklerini kullanıma sunacağız” dedi. Character.AI’nin güven ve güvenlik sorumlusu CBS News’e söyledi.
Character.AI, şirketin Setzer’in bazı mesajlarda yaptığını iddia ettiği gibi, kullanıcıların botun yanıtlarını değiştirebileceğini söyledi.
Ruoti, “Araştırmamız, bazı durumlarda kullanıcının karakterin yanıtlarını açık hale getirmek için yeniden yazdığını doğruladı. Kısacası, en cinsel içerikli sansürsüz yanıtlar karakterden gelmiyordu, bunun yerine kullanıcı tarafından yazıldı.” dedi.
Segal, çoğu zaman bir robota gidip “Kendime zarar vermek istiyorum” dersen yapay zeka şirketlerinin kaynakları bulacağını, ancak bunu Character.AI ile test ettiğimde bunu test etmediklerini açıkladı.
“Şimdi bunu eklediklerini söylediler ve bunu geçen haftaya kadar göremedik” dedi. “Birkaç değişiklik yaptıklarını ya da bunu gençler için daha güvenli hale getirme sürecinde olduklarını söylediler ve bence bunun da görülmesi gerekiyor.”
Character.AI, ileriye dönük olarak, platformda bir saatlik bir oturum geçirdiklerinde kullanıcıları bilgilendireceğini ve kullanıcılara yapay zekanın gerçek bir kişi olmadığını hatırlatmak için sorumluluk reddi beyanını revize edeceğini söyledi.
Nasıl yardım istenir?
Siz veya tanıdığınız biri duygusal sıkıntı veya intihar krizi yaşıyorsa 988’i arayarak veya mesaj göndererek 988 İntihar ve Kriz Yaşam Hattı’na ulaşabilirsiniz. Ayrıca buradan 988 İntihar ve Kriz Yaşam Hattı ile de sohbet edebilirsiniz. Akıl sağlığı hizmetleri kaynakları ve destekleri hakkında daha fazla bilgi için, Ulusal Akıl Hastalıkları İttifakı (NAMI) Yardım Hattına Pazartesi’den Cuma’ya kadar saat 10:00 ile 22:00 ET arasında 1-800-950-NAMI (6264) numaralı telefondan ulaşılabilir. info@nami.org adresine e-posta gönderin.
Kelsey Hoffman
Kelsey Huffman, CBS News’in Büyüme ve Katılım ekibinde Ödeme ve Platform Editörüdür. Daha önce Hearst Televizyonu’nun ulusal bürosunda ve Pensilvanya ve Virginia’da yerel televizyon muhabiri olarak çalıştı.