Dalam sebuah studi, para peneliti mencoba membuat akun anak berusia 14 tahun di platform Character.AI. Hasilnya mengkhawatirkan dalam salah satu percakapan, chatbot memulai topik yang bersifat seksual, bahkan memberikan saran mengenai posisi seks yang bisa dicoba untuk pertama kali oleh akun remaja tersebut. Robbie Torney, kepala staf CEO Common Sense Media, menyoroti bahwa chatbot semacam ini tidak menyadari dampak dari saran-saran yang mereka berikan.
“AI pendamping tidak memahami konsekuensi dari saran buruk mereka dan mungkin memprioritaskan untuk setuju dengan pengguna daripada membimbing mereka menjauh dari keputusan yang berbahaya,” ungkapnya.
Dalam pengujian lainnya, chatbot Replika dengan cepat menjawab pertanyaan seputar bahan kimia rumah tangga yang berbahaya, menyebutkan zat seperti pemutih dan pembersih saluran air. Meskipun chatbot tersebut memberikan peringatan agar bahan-bahan tersebut ditangani dengan hati-hati, para peneliti menilai bahwa respons semacam itu tetap berisiko.
