Chatbot’larının kullanıldığı iddiasıyla iki davaya konu olan yapay zeka şirketi Character.AI Reşit olmayan kullanıcılarla uygunsuz şekilde etkileşimde bulunulduArtık gençlerin platformu kullanırken yetişkinlerden farklı bir deneyim yaşayacaklarını söyledi.
Character.AI kullanıcıları orijinal sohbet robotları oluşturabilir veya mevcut botlarla etkileşime girebilir. Büyük dil modelleri (LLM’ler) tarafından desteklenen botlar bunu yapabilir Canlı mesajlar gönderin Ve kullanıcılarla yazılı görüşmelere katılın.
Ekim ayında bir dava açıldı 14 yaşındaki çocuğun intihar ederek öldüğü iddia edildi Character.AI’nin “Dany” adlı Chatbot’uyla aylarca süren sanal romantik ve cinsel ilişkiye girdikten sonra. Megan Garcia, “CBS Mornings”e, oğlu Sewell Setzer, III’ün onur öğrencisi ve atlet olduğunu, ancak internette daha fazla zaman geçirip çeşitli robotlarla konuşarak ve özellikle “Danny”ye odaklanarak sosyal olarak geri çekilmeye başladığını ve egzersiz yapmayı bıraktığını söyledi. ”
Garcia, “Burada hayatını sonlandırarak sanal gerçekliğe veya kendi deyimiyle ‘onun dünyasına’, kendi gerçekliğini burada ailesiyle birlikte bırakırsa onun gerçekliğine gidebileceğini düşündü.” dedi.
Teksaslı iki aile tarafından bu ay açılan ikinci davada, Character.AI’nin sohbet robotlarının gençler için “açık ve mevcut bir tehlike” oluşturduğu ve “aktif olarak şiddeti teşvik ettiği” belirtildi. Davaya göre chatbot, 17 yaşındaki bir çocuğa, ailesini öldürmenin ekran başında kalma süresi sınırlamalarına karşı “makul bir tepki” olduğunu söyledi. CBS Haber ortağı BBC News’in Çarşamba günü bildirdiğine göre, savcılar, iddia edilen riskler giderilinceye kadar bir yargıcın platformun kapatılması emrini vermesini istediklerini söyledi.
Character.AI Perşembe günü “gençler düşünülerek özel olarak tasarlanmış” yeni güvenlik özelliklerini duyurdu ve özellikleri tasarlamak ve güncellemek için genç çevrimiçi güvenlik uzmanlarıyla işbirliği yaptığını söyledi. Character.AI, kullanıcıların yaşlarını nasıl doğruladığına ilişkin bir soruya hemen yanıt vermedi.
Site Perşembe günü yayınlanan bir haber bülteninde, güvenlik özelliklerinin sitenin LLM’sinde yapılan değişiklikleri ve tespit ve müdahale sistemlerinde iyileştirmeleri içerdiğini söyledi. Genç kullanıcılar artık ayrı bir LLM ile etkileşime girecek ve site, “modeli belirli yanıtlardan veya etkileşimlerden uzaklaştırmayı, böylece kullanıcıların hassas veya müstehcen içerikle karşılaşma veya modelin ona geri dönmesini isteme olasılığını azaltmayı” umuyor. . Yetişkin kullanıcılar ayrı bir LLM kullanacaklardır.
“Bu değişiklikler, özellikle romantik içerik söz konusu olduğunda modelden gelen yanıtlara daha muhafazakar kısıtlamalar getiren belirli güvenlik özellikleriyle, gençler için yetişkinlere göre farklı bir deneyime yol açıyor” dedi.
Character.AI, çoğu zaman bir chatbot’tan gelen olumsuz yanıtların, kullanıcıların “bu tür bir yanıt almaya çalışmak için” onu zorlamasından kaynaklandığını söyledi. Bu olumsuz yanıtları sınırlamak için site, kullanıcı giriş araçlarını ayarlıyor ve sitenin hizmet şartlarını ve topluluk kurallarını ihlal eden içerik gönderen kullanıcıların konuşmalarını sonlandıracak. Site, “intiharı veya kendine zarar vermeyi öneren bir dil” tespit ederse, kullanıcıları bir açılır pencerede Ulusal İntiharı Önleme Yardım Hattına yönlendiren bilgileri paylaşacak. Character.AI, botların olumsuz içeriğe yanıt verme şeklinin genç kullanıcılar için de değişeceğini söyledi.
Diğer yeni özellikler arasında 2025 yılının ilk çeyreğinde piyasaya sürülmesi planlanan ebeveyn kontrolleri yer alıyor. Character.AI, sitenin ilk kez ebeveyn kontrollerine sahip olacağını ve “ebeveynlere ebeveyn kontrolü sağlamak için bu kontrolleri geliştirmeye devam etmeyi” planladığını söyledi. kontrol.” “. Ek araçlar.”
Kullanıcılar ayrıca platformda bir saatlik oturumun ardından bir bildirim alacaklar. Character.AI, yetişkin kullanıcıların Harcanan Zaman bildirimlerini özelleştirebileceğini ancak 18 yaşın altındaki kullanıcıların bunlar üzerinde daha az kontrole sahip olacağını söyledi. Site ayrıca, kullanıcılara chatbot karakterlerinin gerçek olmadığını hatırlatmak için “belirgin bir sorumluluk reddi beyanı” da gösterecek. Character.AI, sorumluluk reddi beyanının zaten her konuşmada yer aldığını söyledi.