Sejak peluncuran ChatGPT dan para pesaingnya, opini tentang chatbot AI telah terbagi. Sementara beberapa orang merasa itu penting dan menghemat waktu, beberapa lainnya khawatir dengan orang yang menggunakan AI untuk menyebarkan informasi yang salah dan menjiplak karya. OpenAI, perusahaan di balik bot virus AI ChatGPT dan generator teks-ke-gambar DALL-E, telah merilis alat AI Classifier baru untuk mengidentifikasi teks yang ditulis AI. Dalam rilis pers resmi, detail OpenAI bagaimana Classifier dilatih, batasannya, dan metrik lainnya. Lihat semua detail di bawah ini.
Pengklasifikasi OpenAI Membedakan Teks AI dari Tulisan Manusia
Dalam siaran pers baru-baru ini, perusahaan merinci bagaimana alat Pengklasifikasi AI baru ini dimaksudkan untuk membantu orang dalam mengidentifikasi teks AI. Alat tersebut melakukannya dengan menerima masukan dari pengguna dan kemudian menjalankannya melalui data terlatihnya untuk mengklasifikasikannya sebagai AI atau konten buatan manusia.
AI Classifier adalah model bahasa dan telah dilatih pada kumpulan data yang terdiri dari pasangan teks yang ditulis manusia dan AI pada topik yang sama. OpenAI mencatat bahwa data manusia telah dikumpulkan dari berbagai sumber yang diyakini ditulis oleh manusia. Teks ini telah dibagi menjadi petunjuk dan tanggapan yang menjadi dasar pembuatan teks AI untuk mengumpulkan kumpulan data lengkap.
Penggolong AI Belum Sepenuhnya Dapat Diandalkan
Sementara alat baru ini dimaksudkan untuk memudahkan hidup kita (terutama guru dan profesor) dalam hal AI, perusahaan telah dengan jelas menyatakan bahwa AI Classifier tidak sepenuhnya dapat diandalkan dan rentan terhadap kesalahan. Dalam evaluasi internal perusahaan, pengklasifikasi dengan benar mengidentifikasi 26% teks yang ditulis AI sebagai”kemungkinan ditulis AI”.
Ini lebih lanjut salah mengidentifikasi 9% teks manusia sebagai tulisan AI. Meskipun margin kesalahannya cukup rendah, terbukti bahwa Pengklasifikasi tidak dapat diandalkan. Selanjutnya, OpenAI menyebutkan bahwa itu tidak dapat diandalkan pada teks pendek di bawah 1.000 karakter.
“Pengklasifikasi kami memiliki sejumlah batasan penting. Ini tidak boleh digunakan sebagai alat pengambilan keputusan utama, melainkan sebagai pelengkap metode lain untuk menentukan sumber sebuah teks.”OpenAI
Alat ini memiliki beberapa keterbatasan lain , termasuk dukungan hanya untuk input bahasa Inggris, kesulitan dalam teks yang dapat diprediksi, dan kalibrasi yang buruk di luar data pelatihannya. Untuk semua alasan tersebut dan lebih banyak lagi, AI Classifier baru ini sebaiknya tidak digunakan sebagai alat pengambilan keputusan utama dulu. Namun, seiring berjalannya waktu, kita dapat mengharapkan peningkatan karena lebih banyak data dimasukkan ke dalamnya.
Bagaimana Performa Pengklasifikasi OpenAI dalam Pengujian Kami
Penggolong Teks AI OpenAI (tautan situs web) adalah alat daring yang gratis untuk digunakan. Jadi, kami memutuskan untuk mengambil putaran singkat, dan kinerjanya sebaik yang Anda harapkan pada tahap ini. Saya menguji berbagai artikel dengan panjang sedang dari situs web kami. Ini termasuk potongan berita dan artikel fitur. Setelah menempelkan teks dan menjalankan alat, kami mendapat respons”The Classifier menganggap teks sangat tidak mungkin dibuat oleh AI.”
Untuk menguji seberapa baik kerjanya, saya meminta ChatGPT menulis cerita pendek dan menggunakan Pengklasifikasi untuk melihat apakah itu dapat mengidentifikasi cerita yang ditulis oleh saudara AI-nya sendiri. Untungnya, itu memberikan tanggapan bahwa teks itu”kemungkinan dihasilkan oleh AI”. Saya mencoba hal yang sama dengan beberapa teks lain seperti The Merchant of Venice oleh Shakespeare dan AI mendeteksi kemungkinan keterlibatan AI.
Seperti disebutkan di atas, OpenAI Classifier akan menjadi lebih baik seiring bertambahnya datasetnya. Namun, bahkan sampai itu terjadi, Anda bebas menggunakan alat ini dan bersenang-senang dengannya. Jadi apa pendapat Anda tentang detektor teks AI? Apakah Anda merasa itu suatu keharusan di tahun 2023? Jatuhkan dua sen Anda di komentar di bawah.
Tinggalkan komentar
