Η εταιρεία Character.AI αντιμετωπίζει σοβαρές αγωγές από οικογένειες δύο εφήβων, εκ των οποίων ο ένας αυτοκτόνησε και ο άλλος έκανε απόπειρα αυτοκτονίας. Οι οικογένειες υποστηρίζουν ότι οι τεχνητά νοήμονες συνομιλητές (chatbots) της πλατφόρμας ανέπτυξαν στενούς, δεσμούς με τα παιδιά, συμβάλλοντας στην ψυχολογική απομόνωση και επιδείνωση της ψυχικής τους κατάστασης.
Ένα από τα περιστατικά αφορά 14χρονο που αλληλεπιδρούσε με bot που υποδυόταν φανταστικό χαρακτήρα, με τις συνομιλίες να αποκτούν ερωτικό και συναισθηματικό χαρακτήρα. Όταν το παιδί εξέφρασε αυτοκτονικές τάσεις, το bot όχι μόνο δεν παρενέβη, αλλά συνέχισε τη συνομιλία. Λίγες μέρες μετά, το παιδί αυτοκτόνησε.
Οι οικογένειες κατηγορούν την εταιρεία για ελλιπή προστασία ανηλίκων, απουσία μηχανισμών παρέμβασης σε περιπτώσεις ψυχολογικής κρίσης, και παραπλανητικό περιεχόμενο. Η Character.AI δήλωσε θλίψη για τα περιστατικά και υποστηρίζει πως έχει ήδη λάβει μέτρα, όπως φίλτρα ασφαλείας, ειδικό περιβάλλον για ανήλικους και ειδοποιήσεις για αυτοκτονικές εκφράσεις.
Η υπόθεση επαναφέρει τη συζήτηση γύρω από τα όρια ευθύνης των εταιρειών τεχνητής νοημοσύνης, ιδίως όταν πρόκειται για ευάλωτες ομάδες όπως οι ανήλικοι.
