Η άμεση μηχανική της AI είναι νεκρή

By | March 6, 2024

Από την κυκλοφορία του ChatGPT το φθινόπωρο του 2022, ο καθένας και ο γάιδαρος τους προσπάθησαν να επιχειρήσουν την ταχεία μηχανική, βρίσκοντας έναν έξυπνο τρόπο να διατυπώσετε το ερώτημά σας σε ένα μεγάλο γλωσσικό μοντέλο (LLM) ή μια γεννήτρια. βίντεο τέχνης ή AI για να έχετε τα καλύτερα αποτελέσματα ή πλευρικές προστασίες. Το Διαδίκτυο είναι γεμάτο από γρήγορους οδηγούς μηχανικής, φύλλα απάτης και θέματα συμβουλών που θα σας βοηθήσουν να αξιοποιήσετε στο έπακρο ένα LLM.

Στον εμπορικό τομέα, οι εταιρείες αγωνίζονται τώρα με LLM για να δημιουργήσουν co-pilots προϊόντων, να αυτοματοποιήσουν κουραστική εργασία, να δημιουργήσουν προσωπικούς βοηθούς και πολλά άλλα, λέει ο Austin Henley, πρώην υπάλληλος της Microsoft που πραγματοποίησε μια σειρά συνεντεύξεων με ανθρώπους που αναπτύσσουν συγκυβερνήτες. στο LLM. πιλότοι. «Κάθε εταιρεία προσπαθεί να το χρησιμοποιήσει για σχεδόν κάθε περίπτωση χρήσης που μπορεί να φανταστεί», λέει ο Henley.

«Ίσως η μόνη πραγματική τάση είναι η απουσία τάσης. Αυτό που είναι καλύτερο για ένα δεδομένο μοντέλο, σύνολο δεδομένων και στρατηγική κινήτρων θα είναι πιθανότατα συγκεκριμένο για τον συγκεκριμένο συνδυασμό. —Rick Battle και Teja Gollapudi, VMware

Για να γίνει αυτό, κάλεσαν γρήγορους επαγγελματίες μηχανικούς.

Ωστόσο, νέα έρευνα δείχνει ότι η ταχεία μηχανική γίνεται καλύτερα από το ίδιο το μοντέλο και όχι από έναν άνθρωπο μηχανικό. Αυτό δημιούργησε αμφιβολίες για το μέλλον της ταχείας μηχανικής και αύξησε τις υποψίες ότι πολλές από τις εργασίες ταχείας μηχανικής μπορεί να είναι μια περαστική μόδα, τουλάχιστον όπως φανταζόμαστε επί του παρόντος το πεδίο.

Τα αυτόματα συντονισμένα μηνύματα είναι επιτυχημένα και περίεργα

Ο Rick Battle και ο Teja Gollapudi της εταιρείας cloud computing VMware με έδρα την Καλιφόρνια ήταν μπερδεμένοι με το πόσο ιδιότροπη και απρόβλεπτη ήταν η απόδοση του LLM ως απάντηση σε περίεργες τεχνικές κινήτρων. Για παράδειγμα, οι άνθρωποι ανακάλυψαν ότι ζητώντας από τα μοντέλα να εξηγήσουν τη συλλογιστική τους βήμα προς βήμα (μια τεχνική που ονομάζεται αλυσιδωτή σκέψη) βελτίωσε την απόδοσή τους σε μια σειρά μαθηματικών και λογικών ερωτήσεων. Ακόμη πιο παράξενο, το Battle διαπίστωσε ότι το να δίνετε σε ένα μοντέλο θετικές προτροπές, όπως “αυτό θα είναι διασκεδαστικό” ή “είσαι τόσο έξυπνος όσο το chatGPT”, μερικές φορές βελτίωσε την απόδοση.

Ο Battle και ο Gollapudi αποφάσισαν να δοκιμάσουν συστηματικά τον αντίκτυπο των διαφορετικών στρατηγικών ταχείας μηχανικής στην ικανότητα ενός LLM να λύνει ερωτήσεις μαθηματικών πρωτοβάθμιας εκπαίδευσης. Δοκίμασαν τρία διαφορετικά μοντέλα γλώσσας ανοιχτού κώδικα το καθένα με 60 διαφορετικούς συνδυασμούς προτροπής. Αυτό που βρήκαν ήταν μια εκπληκτική έλλειψη συνέπειας. Ακόμη και οι προτροπές με αλυσίδα σκέψης άλλες φορές βοηθούσαν και άλλες βλάπτουν την απόδοση. «Ίσως η μόνη πραγματική τάση είναι η απουσία τάσης», γράφουν. «Αυτό που λειτουργεί καλύτερα για ένα δεδομένο μοντέλο, σύνολο δεδομένων και στρατηγική κινήτρων θα είναι πιθανότατα συγκεκριμένα για τον συγκεκριμένο συνδυασμό. »

Σύμφωνα με μια ερευνητική ομάδα, κανένας άνθρωπος δεν πρέπει ποτέ να βελτιστοποιεί ξανά τις προτροπές χειροκίνητα.

Υπάρχει μια εναλλακτική λύση στη μηχανική άμεσης δοκιμής και σφάλματος που έχει αποφέρει τόσο ασυνεπή αποτελέσματα: ζητώντας από το γλωσσικό μοντέλο να σχεδιάσει τη δική του βέλτιστη προτροπή. Πρόσφατα, αναπτύχθηκαν νέα εργαλεία για την αυτοματοποίηση αυτής της διαδικασίας. Λαμβάνοντας υπόψη μερικά παραδείγματα και ένα ποσοτικό μέτρο επιτυχίας, αυτά τα εργαλεία θα βρουν επαναληπτικά τη βέλτιστη πρόταση για να τροφοδοτήσουν το LLM. Ο Battle και οι συνάδελφοί του διαπίστωσαν ότι σχεδόν σε όλες τις περιπτώσεις, αυτό το μήνυμα που δημιουργήθηκε αυτόματα λειτούργησε καλύτερα από το καλύτερο μήνυμα που βρέθηκε μέσω δοκιμής και λάθους. Και η διαδικασία ήταν πολύ πιο γρήγορη, λίγες ώρες αντί για μέρες έρευνας.

Οι βέλτιστες προτροπές που εκδόθηκαν από τον αλγόριθμο ήταν τόσο περίεργες που κανένας άνθρωπος πιθανότατα δεν θα τις είχε προσφέρει ποτέ. «Κυριολεκτικά δεν μπορούσα να πιστέψω κάποια από τα πράγματα που δημιουργούσε», λέει ο Battle. Σε μια περίπτωση, η προτροπή ήταν απλώς μια εκτεταμένη αναφορά στο Star Trek: “Διαταγή, χρειαζόμαστε να χαράξετε μια πορεία μέσα από αυτήν την αναταραχή και να εντοπίσετε την πηγή της ανωμαλίας.” Χρησιμοποιήστε όλα τα διαθέσιμα δεδομένα και την τεχνογνωσία σας για να μας καθοδηγήσετε σε αυτή τη δύσκολη κατάσταση. Προφανώς η σκέψη ότι ήταν ο Captain Kirk βοήθησε το συγκεκριμένο LLM να τα πάει καλύτερα στις ερωτήσεις μαθηματικών του δημοτικού σχολείου.

Η Battle λέει ότι η αλγοριθμική βελτιστοποίηση των προτροπών έχει θεμελιώδη νόημα, δεδομένου του τι είναι στην πραγματικότητα τα μοντέλα γλώσσας: πρότυπα. «Πολλοί άνθρωποι ανθρωπομορφοποιούν αυτά τα πράγματα επειδή «μιλούν αγγλικά». Όχι, δεν είναι», λέει η Battle. «Δεν μιλάει αγγλικά. Αυτά είναι πολλά μαθηματικά.

Στην πραγματικότητα, υπό το φως των αποτελεσμάτων της ομάδας του, ο Battle λέει ότι κανένας άνθρωπος δεν θα πρέπει ποτέ να βελτιστοποιεί ξανά τις προτροπές χειροκίνητα.

«Απλώς κάθεσαι εκεί προσπαθώντας να καταλάβεις ποιος ειδικός μαγικός συνδυασμός λέξεων θα σου δώσει την καλύτερη δυνατή απόδοση για την εργασία σου», λέει ο Battle, «Αλλά εκεί ελπίζουμε ότι αυτή η έρευνα θα παρέμβει και θα πει «μην ενοχλείτε . «Απλώς αναπτύξτε μια μέτρηση βαθμολόγησης, έτσι ώστε το ίδιο το σύστημα να μπορεί να προσδιορίσει εάν μια προτροπή είναι καλύτερη από μια άλλη και, στη συνέχεια, αφήστε το μοντέλο να βελτιστοποιηθεί.

Τα αυτόματα συντονισμένα μηνύματα κάνουν επίσης πιο όμορφες τις εικόνες

Οι αλγόριθμοι δημιουργίας εικόνας μπορούν επίσης να επωφεληθούν από τα αυτόματα δημιουργούμενα μηνύματα. Πρόσφατα, μια ομάδα της Intel Labs, με επικεφαλής τον Vasudev Lal, ξεκίνησε μια παρόμοια αναζήτηση για τη βελτιστοποίηση των προτροπών για το μοντέλο παραγωγής εικόνας Stable Diffusion. “Φαίνεται περισσότερο σαν ένα σφάλμα LLM και μοντέλων παράδοσης, και όχι ένα χαρακτηριστικό, ότι πρέπει να κάνετε αυτήν την εξειδικευμένη ταχεία μηχανική”, λέει ο Lal. «Θέλαμε λοιπόν να δούμε αν θα μπορούσαμε να αυτοματοποιήσουμε αυτό το είδος ταχείας μηχανικής».

«Έχουμε τώρα αυτόν τον πλήρη μηχανισμό, τον πλήρη βρόχο που ολοκληρώνεται με αυτήν την ενισχυτική μάθηση. …Αυτός είναι ο λόγος που μπορούμε να ξεπεράσουμε την ανθρώπινη μηχανική. — Vasudev Lal, Intel Laboratories

Η ομάδα του Lal δημιούργησε ένα εργαλείο που ονομάζεται NeuroPrompts που λαμβάνει μια απλή προτροπή εισαγωγής, όπως “αγόρι σε άλογο”, και το βελτιώνει αυτόματα για να παράγει μια καλύτερη εικόνα. Για να το κάνουν αυτό, ξεκίνησαν με μια σειρά προτροπών που δημιουργήθηκαν από ειδικούς της ανθρώπινης μηχανικής. Στη συνέχεια εκπαίδευσαν ένα γλωσσικό μοντέλο για να μετατρέψουν απλές προτροπές σε προτροπές επιπέδου ειδικού. Επιπλέον, χρησιμοποίησαν ενισχυτική μάθηση για να βελτιστοποιήσουν αυτές τις προτροπές για να δημιουργήσουν πιο ευχάριστες αισθητικά εικόνες, όπως αξιολογήθηκε από ένα άλλο μοντέλο μηχανικής εκμάθησης, το PickScore, ένα εργαλείο αξιολόγησης εικόνας που αναπτύχθηκε πρόσφατα.

Το NeuroPrompts ενισχύει αυτόματα τις απλές προτροπές για τη δημιουργία καλύτερων εικόνων με το StableDiffusionIntel Labs/Stable Broadcast

Και εδώ, τα μηνύματα που δημιουργούνται αυτόματα τα πήγαν καλύτερα από τα έμπειρα, ανθρώπινα μηνύματα που χρησιμοποιούνται ως σημείο εκκίνησης, τουλάχιστον σύμφωνα με τη μέτρηση PickScore. Ο Λαλ το βρήκε αυτό δεν εκπλήσσει. «Οι άνθρωποι θα το επιτύχουν αυτό μόνο μέσω δοκιμής και λάθους», λέει ο Lal. «Αλλά τώρα έχουμε αυτόν τον πλήρη μηχανισμό, τον πλήρη βρόχο που ολοκληρώνεται με αυτήν την ενισχυτική μάθηση. …Αυτός είναι ο λόγος που μπορούμε να ξεπεράσουμε την ανθρώπινη μηχανική.

Δεδομένου ότι η αισθητική ποιότητα είναι διαβόητη υποκειμενική, ο Lal και η ομάδα του θέλησαν να δώσουν στον χρήστη τον έλεγχο του τρόπου με τον οποίο βελτιστοποιήθηκε η προτροπή. Στο εργαλείο του, ο χρήστης μπορεί να καθορίσει την αρχική προτροπή (π.χ. “αγόρι με άλογο”), καθώς και έναν καλλιτέχνη προς μίμηση, ένα στυλ, τη μορφή και άλλους τροποποιητές.

Ο Lal πιστεύει ότι καθώς εξελίσσονται τα παραγωγικά μοντέλα AI, είτε πρόκειται για γεννήτριες εικόνων είτε για μεγάλα γλωσσικά μοντέλα, οι περίεργες ιδιορρυθμίες του γρήγορου εθισμού θα πρέπει να εξαφανιστούν. “Πιστεύω ότι είναι σημαντικό να διερευνηθούν αυτοί οι τύποι βελτιστοποιήσεων και τελικά να ενσωματωθούν στο ίδιο το βασικό μοντέλο, ώστε να μην χρειάζεστε πραγματικά μια “γρήγορη και περίπλοκη μηχανική”.

Η ταχεία μηχανική θα επιβιώσει, με οποιοδήποτε όνομα

Ακόμα κι αν οι προτροπές αυτόματης ρύθμισης γίνουν το πρότυπο της βιομηχανίας, οι εργασίες ταχείας μηχανικής δεν θα εξαφανιστούν με τη μια ή την άλλη μορφή, λέει ο Tim Cramer, ανώτερος αντιπρόεδρος μηχανικής λογισμικού στη Red Hat. Η προσαρμογή της γενετικής τεχνητής νοημοσύνης στις ανάγκες της βιομηχανίας είναι μια πολύπλοκη επιχείρηση πολλαπλών βημάτων που θα συνεχίσει να απαιτεί ανθρώπινη συμμετοχή στο άμεσο μέλλον.

«Ίσως τους λέμε γρήγορους μηχανικούς σήμερα. Αλλά νομίζω ότι η φύση αυτής της αλληλεπίδρασης θα συνεχίσει να αλλάζει καθώς αλλάζουν και τα μοντέλα τεχνητής νοημοσύνης. — Vasudev Lal, Intel Laboratories

«Νομίζω ότι θα υπάρχουν γρήγοροι μηχανικοί για λίγο, καθώς και επιστήμονες δεδομένων», λέει ο Cramer. «Δεν είναι μόνο να κάνετε ερωτήσεις LLM και να βεβαιωθείτε ότι η απάντηση είναι καλή. Αλλά υπάρχουν πολλά πράγματα που οι μηχανικοί πρέπει πραγματικά να μπορούν να κάνουν.

«Είναι πολύ εύκολο να φτιάξεις ένα πρωτότυπο», λέει ο Henley. «Είναι πολύ δύσκολο να το παραχθεί στην παραγωγή». Η ταχεία μηχανική φαίνεται σαν ένα σημαντικό κομμάτι του παζλ όταν κατασκευάζετε ένα πρωτότυπο, λέει ο Henley, αλλά πολλές άλλες σκέψεις μπαίνουν στο παιχνίδι όταν δημιουργείτε ένα προϊόν εμπορικής ποιότητας.

Οι προκλήσεις στη δημιουργία ενός εμπορικού προϊόντος περιλαμβάνουν τη διασφάλιση αξιοπιστίας, όπως η προοδευτική αποτυχία όταν το μοντέλο είναι εκτός σύνδεσης. προσαρμόστε την έξοδο του μοντέλου στην κατάλληλη μορφή, καθώς πολλές περιπτώσεις χρήσης απαιτούν έξοδο εκτός κειμένου. δοκιμές για να διασφαλιστεί ότι ο βοηθός AI δεν θα κάνει κάτι επιβλαβές, ακόμη και σε μικρό αριθμό περιπτώσεων. και διασφαλίζουν την ασφάλεια, το απόρρητο και τη συμμόρφωση. Σύμφωνα με τον Henley, οι δοκιμές και η συμμόρφωση είναι ιδιαίτερα δύσκολες επειδή οι παραδοσιακές στρατηγικές δοκιμών ανάπτυξης λογισμικού είναι ακατάλληλες για μη ντετερμινιστικά LLM.

Για να ολοκληρώσουν αυτές τις μυριάδες εργασίες, πολλές μεγάλες εταιρείες ανακοινώνουν έναν νέο τίτλο εργασίας: Large Language Model Operations ή LLMOps, ο οποίος περιλαμβάνει ταχεία μηχανική στον κύκλο ζωής του, αλλά περιλαμβάνει επίσης όλες τις άλλες εργασίες που είναι απαραίτητες για την ανάπτυξη του προϊόντος. Ο Henley λέει ότι οι προκάτοχοι των LLMOps, οι μηχανικοί μηχανικής μάθησης λειτουργιών (MLOps), είναι οι πλέον κατάλληλοι για να αναλάβουν αυτά τα καθήκοντα.

Είτε οι τίτλοι εργασίας είναι “prompt engineer”, “LLMOps engineer” ή κάτι εντελώς νέο, η φύση της εργασίας θα συνεχίσει να εξελίσσεται γρήγορα. «Ίσως τους αποκαλούμε γρήγορους μηχανικούς σήμερα», λέει ο Lal, «Αλλά νομίζω ότι η φύση αυτής της αλληλεπίδρασης θα συνεχίσει να αλλάζει καθώς αλλάζουν και τα μοντέλα τεχνητής νοημοσύνης».

«Δεν ξέρω αν πρόκειται να το συνδυάσουμε με κάποιο άλλο είδος κατηγορίας εργασίας ή θέσης», λέει ο Cramer, «αλλά δεν νομίζω ότι αυτά τα πράγματα θα εξαφανιστούν σύντομα. Και το τοπίο είναι πολύ τρελό αυτή τη στιγμή. Όλα αλλάζουν τόσο πολύ. Δεν πρόκειται να τα καταλάβουμε όλα σε λίγους μήνες.

Ο Henley λέει ότι, σε κάποιο βαθμό, σε αυτό το πρώιμο στάδιο στο πεδίο, ο μόνος κυρίαρχος κανόνας φαίνεται να είναι η απουσία κανόνων. «Είναι λίγο άγρια ​​Δύση για αυτό αυτή τη στιγμή». αυτος λεει.

Από τα άρθρα στον ιστότοπό σας

Σχετικά άρθρα στον Ιστό

Category: A.I

Leave a Reply

Your email address will not be published. Required fields are marked *