Τα ακαδημαϊκά επιστημονικά κείμενα που γράφονται με AI μπορούν να αναγνωριστούν με ακρίβεια

Παρόλο που πολλοί ανιχνευτές κειμένου τεχνητής νοημοσύνης είναι διαθέσιμοι στο διαδίκτυο και έχουν αρκετά καλές επιδόσεις, δεν έχουν κατασκευαστεί εργαλεία ειδικά για ακαδημαϊκή συγγραφή. Για να καλύψει το κενό, η συγκεκριμένη ερευνητική ομάδα είχε ως στόχο να κατασκευάσει ένα εργαλείο με καλύτερες επιδόσεις, ακριβώς γι' αυτό τον σκοπό.

Η έρευνα επικεντρώθηκε σε ένα τύπο άρθρων που ονομάζονται Perspectives, τα οποία περιέχουν μια επισκόπηση συγκεκριμένων ερευνητικών θεμάτων που γράφονται από επιστήμονες. Η ομάδα επέλεξε 64 τέτοια άρθρα και δημιούργησε 128 άρθρα με το ChatGPT για τις ίδιες θεματικές. Όταν συνέκριναν τα άρθρα, οι ερευνητές βρήκαν έναν δείκτη για τα άρθρα που γράφονται με τεχνητή νοημοσύνη: την προβλεψιμότητα.

Σε αντίθεση με την τεχνητή νοημοσύνη, οι άνθρωποι έχουν πιο πολύπλοκες δομές παραγράφων, που ποικίλλουν ως προς τον αριθμό των προτάσεων και το σύνολο των λέξεων ανά παράγραφο, καθώς και ως προς το μήκος των προτάσεων. Οι προτιμήσεις στα σημεία στίξης και στο λεξιλόγιο είναι επίσης ενδεικτικές. Η ομάδα συγκέντρωσε 20 χαρακτηριστικά που πρέπει να προσέχει το εργαλείο.

Όταν δοκιμάστηκε, το εργαλείο πέτυχε ποσοστό ακρίβειας 100% στο να ξεχωρίζει τα άρθρα που δημιουργούνται με τεχνητή νοημοσύνη, σε σχέση με αυτά που γράφονται από ανθρώπους. Για τον εντοπισμό μεμονωμένων παραγράφων μέσα στο άρθρο, το μοντέλο είχε ποσοστό ακρίβειας 92%.

Σε επόμενη φάση, η ερευνητική ομάδα θέλει να δοκιμάσει το εργαλείο σε πιο εκτεταμένα σύνολα δεδομένων και σε διαφορετικούς τύπους ακαδημαϊκής επιστημονικής γραφής. Ωστόσο, το εργαλείο δεν σχεδιάστηκε για να πιάνει τις εκθέσεις των φοιτητών που δημιουργούνται με τεχνητή νοημοσύνη, αλλά, όπως σημειώνει η επικεφαλής συγγραφέας και καθηγήτρια στο Πανεπιστήμιο του Κάνσας, Χέδερ Ντεζάιρ, οι άνθρωποι μπορούν εύκολα να αντιγράψουν τις μεθόδους αυτές για να δημιουργήσουν μοντέλα για τους