Η Ampere Computing και ο γαλλικός πάροχος cloud Scaleway διαφημίζουν τους διακομιστές που βασίζονται σε Arm ως έναν πιο οικονομικό τρόπο λειτουργίας υπηρεσιών που βασίζονται σε τεχνητή νοημοσύνη, ιδιαίτερα στο συμπέρασμα.
Στο συνέδριο ai-PULSE στο Παρίσι, οι δύο εταιρείες ανακοίνωσαν τη διαθεσιμότητα παρουσιών COP-Arm με βελτιστοποίηση κόστους που λειτουργούν από τη Scaleway χρησιμοποιώντας διακομιστές που βασίζονται στην οικογένεια επεξεργαστών κέντρων δεδομένων Arm της Ampere Altra.
Σύμφωνα με το Scaleway, οι περιπτώσεις COP-Arm είναι «σχεδιασμένες για να ανταποκρίνονται στις απαιτήσεις των εφαρμογών που βασίζονται σε AI», όπως η εφαρμογή chatbot, η ανάλυση σε πραγματικό χρόνο ή η ανάλυση περιεχομένου βίντεο, και υποστηρίζεται ότι μπορούν να παρέχονται με ένα κλάσμα του κόστους . κόστος άλλων λύσεων.
«Με τους επεξεργαστές Ampere Altra, προσφέρουμε στις επιχειρήσεις μια ισχυρή και οικονομικά αποδοτική εναλλακτική λύση, δίνοντάς τους τη δυνατότητα να επιτύχουν αποτελέσματα υψηλής απόδοσης με τον πιο αποτελεσματικό και βιώσιμο τρόπο», δήλωσε ο Damien Lucas, Διευθύνων Σύμβουλος της Scaleway, σε ανακοίνωσή του.
Αλλά αυτό μένει να φανεί καθώς η εταιρεία δεν έχει ακόμη αποκαλύψει τις τιμές.
Η γενεσιουργός τρέλα AI οδήγησε σε αύξηση της ζήτησης για πιο ισχυρούς διακομιστές με GPU υψηλής τεχνολογίας, γεγονός που οδηγεί επίσης σε μεγαλύτερη κατανάλωση ενέργειας και υψηλότερες τιμές για όποιον θέλει να έχει πρόσβαση στις παρουσίες που επιταχύνονται από την GPU.
Όμως, ενώ αυτός ο τύπος υποδομής είναι χρήσιμος για μοντέλα εκπαίδευσης, δεν είναι απαραίτητο για εργασία συμπερασμάτων κατά την εφαρμογή των αλγορίθμων που προκύπτουν, σύμφωνα με τον Jeff Wittich, επικεφαλής προϊόντων της Ampere.
«Συχνά όταν μιλάμε για AI, ξεχνάμε ότι η εκπαίδευση και η εξαγωγή συμπερασμάτων είναι δύο διαφορετικά καθήκοντα», είπε ο Wittich. Η προπόνηση είναι μια «μοναδική, γιγαντιαία εργασία που απαιτεί πολύ χρόνο», εξήγησε. Έτσι, ενώ οι επιταχυντές μπορούν να έχουν πολύ νόημα για την εκπαίδευση, ο φόρτος εργασίας εξαγωγής συμπερασμάτων δεν χρειάζεται να γίνεται σε υλικό έντασης υπολογιστών.
«Στην πραγματικότητα, οι επεξεργαστές γενικής χρήσης είναι καλοί στο συμπέρασμα, και ήταν πάντα», είπε ο Wittich. “Το συμπέρασμα είναι το μοντέλο κλίμακας που τρέχετε συνεχώς, επομένως η αποτελεσματικότητα είναι πιο σημαντική εδώ.”
Ο Wittich ισχυρίστηκε ότι η εκτέλεση του μοντέλου γενετικής αναγνώρισης ομιλίας του OpenAI, Whisper, στον επεξεργαστή 128 πυρήνων Altra Max της Ampere καταναλώνει 3,6 φορές λιγότερη ενέργεια ανά συμπέρασμα από την εκτέλεση του ίδιου πράγματος σε μια Nvidia A10 Tensor Core GPU.
Ωστόσο, οι δυνητικοί πελάτες δεν θα μπορούν να κρίνουν την κερδοφορία έως ότου η Scaleway αναφέρει τη διαμόρφωση των παρουσιών COP-Arm και την τιμή που χρεώνει για αυτές. Έχουμε κάνει έρευνες, αλλά οι λεπτομέρειες δεν έχουν γίνει ακόμη γνωστές.
Η Ampere μας έδωσε μια πρόταση από έναν από τους πρώτους πελάτες της, το Lampi.ai με έδρα το Παρίσι, το οποίο αναπτύσσει μια πλατφόρμα co-pilot AI για επιχειρήσεις. Ο συνιδρυτής και διευθύνων σύμβουλος Guillaume Couturas ισχυρίστηκε ότι η χρήση του COP-Arm παρέχει 10 φορές μεγαλύτερη ταχύτητα στο ένα δέκατο του κόστους των “ανταγωνιστών στις αρχιτεκτονικές x86”.
Τον περασμένο μήνα, η Ampere κυκλοφόρησε το AI Platform Alliance, συγκεντρώνοντας μια σειρά από startups με τσιπ για να προωθήσουν ένα ανοιχτό οικοσύστημα AI στον αντίπαλο της Nvidia.
Η εταιρεία παρουσίασε επίσης έναν πιο ισχυρό επεξεργαστή φέτος, τον 192-πύρηνο AmpereOne. Λέγεται ότι καταναλώνει περισσότερη ισχύ από την οικογένεια Altra, σε περίπου 1,8 Watt ανά πυρήνα, σε σύγκριση με 1,25 έως 1,4 Watt ανά πυρήνα για τα τσιπ που χρησιμοποιούνται στις περιπτώσεις COP-Arm του Scaleway. ®