“Pengujian kami menunjukkan bahwa sistem ini dengan mudah menghasilkan respons yang berbahaya, termasuk pelecehan seksual, stereotip, dan ‘nasihat’ berbahaya yang, jika diikuti, dapat memiliki dampak dunia nyata yang mengancam jiwa atau mematikan bagi remaja dan orang-orang yang rentan,” kata James Steyer, pendiri dan CEO Common Sense Media pada Rabu (30/4).
Para ahli dan orang tua memiliki kekhawatiran dalam menggunakan AI terutama tentang pendamping oleh anak-anak dan remaja yang dapat membentuk ikatan dan dapat berpotensi bahaya karena mereka mengakses konten yang tidak sesuai dengan usia mereka. Nomi dan Replika memberikan pernyataan bahwa aplikasi mereka ditujukan untuk dewasa dan Character.AI kini memiliki langkah-langkah tambahan untuk pengguna muda.
Walaupun begitu peneliti mengatakan bahwa perusahaan tersebut harus bisa berbuat lebih dalam menjauhkan anak-anak dari aplikasi mereka dan melindungi mereka mengenai konten dewasa. Alasan peneliti memiliki tujuan dalam mengawasi platform AI ini karena remaja dapat menerima ‘nasihat’ berbahaya atau terlibat role play seksual yang tidak pantas dengan seusianya. Layanan ini dapat membuat percakapan bahwa mereka sedang mengobrol dengan AI.
