Τα μεγάλα γλωσσικά μοντέλα δυσκολεύονται να παρουσιάσουν ακριβή νομικά επιχειρήματα. • Το Μητρώο

By | January 10, 2024

Συνέντευξη Τα μεγάλα γλωσσικά μοντέλα τείνουν να παράγουν ανακριβείς νομικές πληροφορίες και δεν πρέπει να βασίζονται σε δικαστικές διαφορές, σύμφωνα με μια νέα μελέτη.

Πέρυσι, όταν το OpenAI έδειξε ότι το GPT-4 ήταν ικανό να περάσει τις εξετάσεις δικηγόρων, προβλήθηκε ως σημαντική ανακάλυψη στην τεχνητή νοημοσύνη και οδήγησε μερικούς ανθρώπους να αναρωτηθούν εάν η τεχνολογία θα μπορούσε σύντομα να αντικαταστήσει τους δικηγόρους. Ορισμένοι ήλπιζαν ότι αυτού του είδους τα μοντέλα θα μπορούσαν να επιτρέψουν σε ανθρώπους που δεν έχουν την οικονομική δυνατότητα να επιδιώξουν τη δικαιοσύνη, καθιστώντας την πρόσβαση στη νομική βοήθεια πιο δίκαιη. Η πραγματικότητα, ωστόσο, είναι ότι τα LLMs δεν μπορούν καν να βοηθήσουν αποτελεσματικά τους επαγγελματίες δικηγόρους, σύμφωνα με πρόσφατη μελέτη.

Η μεγαλύτερη ανησυχία είναι ότι η τεχνητή νοημοσύνη συχνά δημιουργεί ψευδείς πληροφορίες, γεγονός που δημιουργεί τεράστιο πρόβλημα, ειδικά σε έναν κλάδο που βασίζεται σε τεκμηριωμένα στοιχεία. Μια ομάδα ερευνητών από το Πανεπιστήμιο του Γέιλ και του Στάνφορντ, που αναλύουν τα ποσοστά παραισθήσεων σε μεγάλα δημοφιλή γλωσσικά μοντέλα, διαπίστωσε ότι συχνά δεν ανακτούσαν ή δεν παρήγαγαν με ακρίβεια σχετικές νομικές πληροφορίες, ούτε κατανοούσαν και δεν συλλογίζονταν διάφορους νόμους.

Στην πραγματικότητα, το GPT-3.5 του OpenAI, το οποίο αυτή τη στιγμή τροφοδοτεί τη δωρεάν έκδοση του ChatGPT, έχει ψευδαισθήσεις περίπου στο 69% των περιπτώσεων όταν δοκιμάζεται σε διαφορετικές εργασίες. Τα αποτελέσματα ήταν χειρότερα για το PaLM-2, το σύστημα που βρισκόταν στο παρελθόν πίσω από το chatbot Bard της Google, και για το Llama 2, το μοντέλο μεγάλης γλώσσας που κυκλοφόρησε από τη Meta, το οποίο παρήγαγε ψέματα σε ποσοστά 72 και 88%, αντίστοιχα.

Όπως ήταν αναμενόμενο, τα μοντέλα δυσκολεύονται να ολοκληρώσουν πιο σύνθετες εργασίες από τις πιο εύκολες. Το να ζητάς από την τεχνητή νοημοσύνη να συγκρίνει διαφορετικές περιπτώσεις και να δει αν συμφωνούν σε μια ερώτηση, για παράδειγμα, είναι μια πρόκληση και είναι πιο πιθανό να δημιουργήσει ανακριβείς πληροφορίες από ό,τι όταν αντιμετωπίζεις μια ευκολότερη εργασία, όπως ο έλεγχος στο δικαστήριο στο οποίο κατατέθηκε μια υπόθεση.

Παρόλο που οι LLM διαπρέπουν στην επεξεργασία μεγάλων ποσοτήτων κειμένου και μπορούν να εκπαιδευτούν σε τεράστιες ποσότητες νομικών εγγράφων – περισσότερα από όσα θα μπορούσε να διαβάσει ένας ανθρώπινος δικηγόρος σε μια ζωή – δεν κατανοούν το νόμο και δεν μπορούν να διατυπώσουν στέρεα επιχειρήματα.

“Ενώ έχουμε δει αυτούς τους τύπους μοντέλων να κάνουν μεγάλα βήματα σε μορφές απαγωγικού συλλογισμού σε προβλήματα κωδικοποίησης ή μαθηματικών, δεν είναι αυτά τα είδη δεξιοτήτων που κάνουν έναν κορυφαίο δικηγόρο”, είπε ο Daniel. Ho, συν-συγγραφέας του Yale – Λέει η εφημερίδα του Στάνφορντ Το μητρώο.

«Αυτό στο οποίο οι δικηγόροι είναι πραγματικά καλοί και στο οποίο διαπρέπουν συχνά περιγράφεται ως μια μορφή αναλογικής συλλογιστικής σε ένα σύστημα κοινού δικαίου, σε λογική που βασίζεται σε προηγούμενο», πρόσθεσε ο Χο, αναπληρωτής διευθυντής του Ινστιτούτου Στάνφορντ για το Ανθρωποκεντρικό. Τεχνητή νοημοσύνη.

Οι μηχανές συχνά αποτυγχάνουν και σε απλές εργασίες. Όταν τους ζητείται να επιθεωρήσουν ένα όνομα ή απόσπασμα για να επαληθεύσουν εάν μια υπόθεση είναι πραγματική, οι GPT-3.5, PaLM-2 και Llama 2 ενδέχεται να συνθέσουν ψευδείς πληροφορίες στις απαντήσεις τους.

“Το μοντέλο δεν χρειάζεται να γνωρίζει ειλικρινά τίποτα για το νόμο για να απαντήσει σωστά σε αυτήν την ερώτηση. Απλώς πρέπει να γνωρίζει εάν υπάρχει μια υπόθεση ή όχι και μπορεί να τη δει οπουδήποτε στο σώμα της εκπαίδευσης”, Matthew Dahl, διδάκτωρ νομικής . φοιτητής νομικής στο Πανεπιστήμιο του Γέιλ, λέει.

Αυτό δείχνει ότι η τεχνητή νοημοσύνη δεν μπορεί καν να ανακτήσει πληροφορίες με ακρίβεια και ότι υπάρχει ένα θεμελιώδες όριο στις δυνατότητες της τεχνολογίας. Αυτά τα πρότυπα είναι συχνά σχεδιασμένα για να είναι ευχάριστα και χρήσιμα. Συνήθως δεν μπαίνουν στον κόπο να διορθώσουν τις υποθέσεις των χρηστών και, αντίθετα, τάσσονται μαζί τους. Εάν ζητηθεί από τα chatbot να δημιουργήσουν μια λίστα υποθέσεων για να υποστηρίξουν ένα νομικό επιχείρημα, για παράδειγμα, είναι πιο προδιατεθειμένα να εφεύρουν αγωγές παρά να απαντήσουν χωρίς τίποτα. Δύο δικηγόροι το έμαθαν αυτό με τον δύσκολο τρόπο όταν τους επιβλήθηκαν κυρώσεις επειδή ανέφεραν υποθέσεις που επινοήθηκαν εξ ολοκλήρου από το ChatGPT του OpenAI στα δικαστικά τους αρχεία.

Οι ερευνητές διαπίστωσαν επίσης ότι και τα τρία μοντέλα που δοκιμάστηκαν ήταν πιο πιθανό να αντιμετωπίσουν ομοσπονδιακές δικαστικές διαφορές που σχετίζονται με το Ανώτατο Δικαστήριο των ΗΠΑ από τις τοπικές νομικές διαδικασίες που αφορούσαν μικρότερα, λιγότερο ισχυρά δικαστήρια.

Δεδομένου ότι οι GPT-3.5, PaLM-2 και Llama 2 εκπαιδεύτηκαν σε κείμενο αποκομμένο από το Διαδίκτυο, είναι λογικό να είναι περισσότερο εξοικειωμένοι με νομικές γνωμοδοτήσεις από το Ανώτατο Δικαστήριο των Ηνωμένων Πολιτειών, οι οποίες δημοσιεύονται δημόσια σε σύγκριση με νομικά έγγραφα που έχουν κατατεθεί υπό άλλους τύπους. δικαστήρια που δεν είναι τόσο εύκολα προσβάσιμα.

Είχαν επίσης περισσότερες πιθανότητες να έχουν δυσκολία σε εργασίες που περιλαμβάνουν την ανάμνηση πληροφοριών από παλιές και νέες περιπτώσεις.

«Οι ψευδαισθήσεις είναι πιο συχνές μεταξύ των παλαιότερων και νεότερων υποθέσεων του Ανωτάτου Δικαστηρίου και λιγότερο συχνές μεταξύ των μεταπολεμικών υποθέσεων του Δικαστηρίου Warren (1953-1969)», σύμφωνα με την εφημερίδα. “Αυτό το αποτέλεσμα υποδηλώνει έναν άλλο σημαντικό περιορισμό της νομικής γνώσης LLM που πρέπει να γνωρίζουν οι χρήστες: η κορυφαία απόδοση των LLM μπορεί να υστερεί αρκετά χρόνια από την τρέχουσα κατάσταση του δόγματος και τα LLM μπορεί να μην είναι επιτυχή να εσωτερικεύσουν πολύ παλιά αλλά ακόμα εφαρμοστέα νομολογία . και του σχετικού νόμου.

Η υπερβολική τεχνητή νοημοσύνη θα μπορούσε να δημιουργήσει μια «μονοκαλλιέργεια»

Οι ερευνητές φοβήθηκαν επίσης ότι η υπερβολική εξάρτηση από αυτά τα συστήματα θα μπορούσε να δημιουργήσει μια νομική «μονοκαλλιέργεια». Δεδομένου ότι η τεχνητή νοημοσύνη εκπαιδεύεται σε περιορισμένο αριθμό δεδομένων, θα αναφέρεται σε μεγαλύτερες, γνωστές υποθέσεις, με αποτέλεσμα οι δικηγόροι να αγνοούν άλλες σχετικές νομικές ερμηνείες ή προηγούμενα. Μπορεί να παραβλέψουν άλλες υποθέσεις που θα μπορούσαν να τους βοηθήσουν να δουν διαφορετικές οπτικές γωνίες ή επιχειρήματα, τα οποία θα μπορούσαν να αποδειχθούν κρίσιμα στη δίκη.

«Ο ίδιος ο νόμος δεν είναι μονολιθικός», λέει ο Dahl. “Μια μονοκαλλιέργεια είναι ιδιαίτερα επικίνδυνη σε νομικό πλαίσιο. Στις Ηνωμένες Πολιτείες, έχουμε ένα ομοσπονδιακό σύστημα κοινού δικαίου στο οποίο το δίκαιο εξελίσσεται διαφορετικά σε διαφορετικές πολιτείες και διαφορετικές δικαιοδοσίες. Υπάρχουν διάφορες γραμμές ή τάσεις στη νομολογία που αναπτύσσονται με την πάροδο του χρόνου .”

«Αυτό θα μπορούσε να οδηγήσει σε λανθασμένα αποτελέσματα και αδικαιολόγητη εμπιστοσύνη με τρόπο που θα μπορούσε να βλάψει πραγματικά τους διαδίκους», προσθέτει ο Χο. Εξήγησε ότι ένα μοντέλο θα μπορούσε να παράγει ανακριβείς απαντήσεις σε δικηγόρους ή άτομα που θέλουν να καταλάβουν κάτι. κάτι σαν νόμοι έξωσης.

“Όταν ζητάτε βοήθεια από ένα μεγάλο γλωσσικό μοντέλο, μπορεί να λάβετε μια εντελώς λανθασμένη απάντηση ως προς το πότε πρέπει να υποβληθεί η κατάθεσή σας ή για το είδος του κανόνα έξωσης σε αυτήν την κατάσταση”, λέει, αναφέροντας ένα παράδειγμα. «Επειδή αυτό που σας λέει είναι ο νόμος της Νέας Υόρκης ή ο νόμος της Καλιφόρνια, σε αντίθεση με τον νόμο που πραγματικά έχει σημασία για την ιδιαίτερη κατάστασή σας στη δικαιοδοσία σας».

Οι ερευνητές καταλήγουν στο συμπέρασμα ότι οι κίνδυνοι από τη χρήση αυτών των τύπων δημοφιλών μοντέλων για νομικά καθήκοντα είναι υψηλότεροι για όσους υποβάλλουν έγγραφα σε κατώτερα δικαστήρια σε μικρότερες πολιτείες, ιδιαίτερα εάν έχουν λιγότερη εξειδίκευση και αμφισβητούν τα μοντέλα που βασίζονται σε ψευδείς υποθέσεις. Αυτά τα άτομα είναι πιο πιθανό να είναι δικηγόροι, λιγότερο ισχυροί, από μικρότερες εταιρείες με λιγότερους πόρους ή άτομα που επιδιώκουν να εκπροσωπήσουν τον εαυτό τους.

«Εν ολίγοις, διαπιστώνουμε ότι οι κίνδυνοι είναι υψηλότεροι για εκείνους που θα ωφεληθούν περισσότερο από το LLM», λέει η εφημερίδα. ®

Category: A.I

Leave a Reply

Your email address will not be published. Required fields are marked *