Στον αγώνα για την επιτάχυνση της τεχνητής νοημοσύνης, η εταιρεία Cerebras της Silicon Valley υιοθετεί μια ασυνήθιστη στρατηγική: Προχωρήστε.
Ενώ ένα τυπικό τσιπ υπολογιστή είναι το μέγεθος ενός νυχιού, το Cerebras' το τσιπ είναι το μέγεθος ενός πιάτου δείπνου.
Η βαθιά μάθηση, μια τεχνολογία τεχνητής νοημοσύνης που ενεργοποιεί τους βοηθούς φωνής, τα αυτοκινούμενα αυτοκίνητα και τους πρωταθλητές Go, βασίζεται σε πολύπλοκο" νευρωνικό δίκτυο" λογισμικό διατεταγμένο σε επίπεδα. Τα συστήματα βαθιάς εκμάθησης μπορούν να λειτουργούν σε έναν υπολογιστή, αλλά τα μεγαλύτερα συστήματα απλώνονται σε χιλιάδες συνδεδεμένα μηχανήματα, μερικές φορές σε μεγάλα κέντρα δεδομένων, όπως αυτά που λειτουργούν από την Google. Σε ένα μεγάλο συγκρότημα, έως 48 διακομιστές μεγέθους κουτιού πίτσας μεταφέρονται σε ράφια ύψους ενός ατόμου. Τα ράφια είναι παραταγμένα σε σειρές και γεμίζουν ένα κτίριο στο μέγεθος μιας αποθήκης. Τα νευρωνικά δίκτυα σε αυτά τα συστήματα μπορούν να λύσουν τρομακτικά προβλήματα, αλλά αντιμετωπίζουν επίσης προφανείς προκλήσεις. Ένα δίκτυο που πολλαπλασιάζεται σε ένα σύμπλεγμα είναι σαν ένας εγκέφαλος σκορπισμένος σε ένα δωμάτιο και συνδεδεμένος μεταξύ τους. Τα ηλεκτρόνια κινούνται γρήγορα, αλλά ακόμα κι έτσι, η επικοινωνία μεταξύ των τσιπ είναι αργή και καταναλώνει πολλή ενέργεια.
Ο Eric Vishria, γενικός συνεργάτης στην εταιρεία Benchmark στο San Francisco, συνειδητοποίησε για πρώτη φορά το πρόβλημα όταν άκουσε την Cerebras Systems, μια νέα εταιρεία τσιπ υπολογιστών, να μιλά την άνοιξη του 2016. Ο Benchmark είναι γνωστός ως πρώιμος επενδυτής σε εταιρείες όπως το Twitter, Uber και ebay - δηλαδή στο λογισμικό και όχι στο υλικό. Η εταιρεία εξετάζει περίπου 200 νεοσύστατες επιχειρήσεις ετησίως και επενδύει σε μία." Παίζαμε αυτό το παιχνίδι για να φιλήσουμε χίλιους βάτραχους," Μου είπε η Βισρία. Στην αρχή της ομιλίας του, αποφάσισε να πετάξει τον βάτραχο πίσω." Σκέφτηκα, γιατί συμφώνησα σε αυτό;"' δεν πρόκειται να επενδύσουμε σε υλικό,&», θυμήθηκε τη σκέψη." Είναι' είναι ηλίθιο."
Ο συνιδρυτής της Cerebras Andrew Feldman ξεκίνησε με το κάλυμμα της διαφάνειας στην ολίσθηση της ομάδας του και τράβηξε την προσοχή του Vishria': το ταλέντο του ήταν εντυπωσιακό. Ο Feldman συνέκρινε τότε τους δύο τύπους τσιπ υπολογιστών. Αρχικά, εξέτασε μονάδες επεξεργασίας γραφικών ή Gpus - τσιπ σχεδιασμένα ειδικά για τη δημιουργία τρισδιάστατων εικόνων. Σήμερα τα συστήματα μηχανικής μάθησης του' βασίζονται σε αυτά τα τσιπ γραφικών για διάφορους λόγους. Στη συνέχεια, εξέτασε τις κεντρικές μονάδες επεξεργασίας ή τα cpus, τα τσιπ γενικής χρήσης που κάνουν το μεγαλύτερο μέρος της εργασίας σε έναν τυπικό υπολογιστή." Η τρίτη διαφάνεια αφορούσε', Gpus,' τα οποία είναι πραγματικά κακά για βαθιά μάθηση - τυχαίνει να είναι εκατό φορές καλύτερα από το cpus." Η Cerebras κατέληξε σε έναν νέο τύπο τσιπ που δεν έχει σχεδιαστεί για γραφικά αλλά έχει σχεδιαστεί ειδικά για τεχνητή νοημοσύνη.
Το Vishria συνηθίζει να ακούει γήπεδα από εταιρείες που σχεδιάζουν να χρησιμοποιήσουν τη βαθιά μάθηση στην ασφάλεια στον κυβερνοχώρο, την ιατρική απεικόνιση, τα chatbots και άλλες εφαρμογές. Μετά την ομιλία του Cerebras', μίλησε με μηχανικούς σε εταιρείες που χρηματοδοτήθηκαν από την Benchmark, συμπεριλαμβανομένων των Zillow, Uber και Stitch Fix. Του είπαν ότι αντιμετώπιζαν προβλήματα με την τεχνητή νοημοσύνη, διότι χρειάστηκε πολύς χρόνος για να [τρέξει" το νευρωνικό δίκτυο. Η Google έχει αρχίσει να χρησιμοποιεί εξαιρετικά γρήγορες" μονάδες επεξεργασίας τεντώσεων," ή Tpus, ειδικά τσιπ σχεδιασμένα για ΤΕΧΝΗΤΗ νοημοσύνη. Ο Βίσρια ήξερε ότι συνέβαινε μια χρυσή βιασύνη και κάποιος έπρεπε να κάνει τις επιλογές και τα φτυάρια.
Εκείνη τη χρονιά, η Benchmark και η Foundation Capital, μια άλλη εταιρεία επιχειρηματικών κεφαλαίων, ηγήθηκαν ενός γύρου χρηματοδότησης 27 εκατομμυρίων δολαρίων για την Cerebras, η οποία συγκέντρωσε σχεδόν 500 εκατομμύρια δολάρια. Άλλες εταιρείες κατασκευάζουν επίσης τους λεγόμενους επιταχυντές τεχνητής νοημοσύνης. Cerebras' Οι ανταγωνιστές groq, Graphcore και Sambanova άντλησαν κεφάλαιο άνω των 2 δισεκατομμυρίων δολαρίων μεταξύ τους. Αλλά Cerebras' η προσέγγιση είναι μοναδική. Αντί να τυπώνει δεκάδες γκοφρέτες σε ένα μεγάλο κομμάτι πυριτίου, να τις κόβει και να τις συνδέει μεταξύ τους, η εταιρεία δημιούργησε ένα γιγάντιο" επίπεδο γκοφρέτας" πατατακι. Ενώ ένα τυπικό τσιπ υπολογιστή είναι το μέγεθος ενός νυχιού, το Cerebras είναι περίπου το μέγεθος ενός πιάτου και είναι το μεγαλύτερο τσιπ υπολογιστών στον κόσμο.
Ακόμα και οι ανταγωνιστές βρήκαν το κατόρθωμα εντυπωσιακό." Αυτή είναι νέα επιστήμη," Ο Nigel Toon, διευθύνων σύμβουλος και συνιδρυτής του Graphcore', μου είπε." Είναι' είναι ένα απίστευτο κομμάτι μηχανικής. Είναι' είναι ένα αριστούργημα." Εν τω μεταξύ, ένας άλλος μηχανικός στον οποίο μίλησα το περιέγραψε ως επιστημονικό έργο - μεγάλο για χάρη του μεγάλου' Στο παρελθόν, η εταιρεία προσπάθησε και απέτυχε να κατασκευάσει γιγαντιαία τσιπ. Cerebras' σχέδιο ισοδυναμεί με στοίχημα ότι η υπέρβαση των προκλήσεων της μηχανικής είναι δυνατή και αξίζει τον κόπο." Για να είμαι ειλικρινής, για μένα, η άγνοια είναι ένα πλεονέκτημα," Είπε ο Βίσρια." Δεν' δεν ξέρω αν ήξερα πόσο δύσκολο είναι να κάνουν αυτό που κάνουν, θα είχα το θάρρος να επενδύσω."
Είναι εύκολο να θεωρηθεί δεδομένο ότι οι υπολογιστές γίνονται όλο και πιο γρήγοροι. Αυτό συχνά εξηγείται από τον νόμο του Moore': το πρότυπο που καθιερώθηκε το 1965 από τον πρωτοπόρο ημιαγωγών Gordon Moore, σύμφωνα με το οποίο ο αριθμός των τρανζίστορ σε ένα τσιπ διπλασιάζεται κάθε χρόνο ή κάθε δύο χρόνια. Φυσικά, ο νόμος του Moore' κάθε τσιπ για τη δημιουργία πιο αποτελεσματικών και ισχυρών σχεδίων.
Οι αρχιτέκτονες τσιπ αναρωτιούνται αν ένα τσιπ υπολογιστών μεγάλης κλίμακας μπορεί να είναι πιο αποτελεσματικό από ένα μικρότερο τσιπ, όπως μια πόλη με συγκεντρωμένους πόρους και πυκνά μπλοκ είναι πιο αποδοτική από ένα προάστιο. Η ιδέα δοκιμάστηκε για πρώτη φορά στη δεκαετία του 1960, όταν η Texas Instruments περιόρισε την παραγωγή τσιπ πλάτους λίγων εκατοστών. Αλλά οι μηχανικοί της εταιρείας' αντιμετώπισαν προβλήματα απόδοσης. Σε οποιαδήποτε γκοφρέτα σιλικόνης, τα κατασκευαστικά ελαττώματα θέτουν σε κίνδυνο αναπόφευκτα ορισμένο αριθμό κυκλωμάτων. Εάν μια γκοφρέτα περιέχει 50 μάρκες, η εταιρεία μπορεί να πετάξει τις κακές και να πουλήσει τις καλές. Αλλά αν κάθε επιτυχημένο τσιπ εξαρτιόταν από το κύκλωμα λειτουργίας μιας μεμονωμένης γκοφρέτας, πολλά ακριβά γκοφρέτες θα απορρίπτονταν. Η Texas Instruments βρήκε μια λύση, αλλά η τεχνολογία και η ανάγκη δεν ήταν' ακόμα εκεί.
Στη δεκαετία του 1980, ένας μηχανικός ονόματι Gene Amdahl προσπάθησε ξανά να λύσει το πρόβλημα με μια εταιρεία που ίδρυσε με την ονομασία Trilogy Systems. Έγινε η μεγαλύτερη startup στην ιστορία της Silicon Valley', με περίπου 250 εκατομμύρια δολάρια σε χρηματοδότηση. Για την αντιμετώπιση του προβλήματος απόδοσης, η Trilogy εκτύπωσε περιττά εξαρτήματα στο τσιπ. Αυτή η μέθοδος αυξάνει την παραγωγή αλλά μειώνει την ταχύτητα του τσιπ. Εν τω μεταξύ, η Τριλογία δυσκολεύεται με άλλους τρόπους. Ο Άμνταλ πέρασε έναν μοτοσικλετιστή με τα ρολά του Ρόις, προκαλώντας νομικά προβλήματα. Ο πρόεδρός του πέθανε από όγκο στον εγκέφαλο. Οι έντονες βροχοπτώσεις καθυστέρησαν την κατασκευή εργοστασίων, τη σκουριά των συστημάτων κλιματισμού και τη συλλογή σκόνης στα τσιπ. Το 1984, η Τριλογία εγκατέλειψε." Δεν κατάλαβα' δεν κατάλαβα πόσο δύσκολο θα ήταν," Ο γιος του Άμνταλ' είπε στους Times.
Εάν η τεχνολογία του Trilogy' είναι επιτυχής, θα μπορούσε τώρα να χρησιμοποιηθεί για βαθιά μάθηση. Αντ 'αυτού, το Gpus (τσιπ που χρησιμοποιείται σε βιντεοπαιχνίδια) επιλύει επιστημονικά προβλήματα σε εθνικά εργαστήρια. Η επαναχρησιμοποίηση του gpus για AI εξαρτάται από το γεγονός ότι τα νευρωνικά δίκτυα, αν και πολύ περίπλοκα, βασίζονται σε πολλαπλασιασμό και προσθήκη. Όταν το" νευρώνες" στο δίκτυο πυροδοτούνται μεταξύ τους, ενισχύουν ή μειώνουν το ένα το άλλο' s σήματα, πολλαπλασιάζοντάς τα με συντελεστές που ονομάζονται βάρη σύνδεσης. Ένας αποτελεσματικός επεξεργαστής τεχνητής νοημοσύνης θα υπολογίζει πολλές ενεργοποιήσεις παράλληλα. Τα συνδυάζει σε μια σειρά αριθμών που ονομάζονται διανύσματα ή πλέγματα αριθμών που ονομάζονται πίνακες ή μπλοκ υψηλότερων διαστάσεων που ονομάζονται τεντωτές. Στην ιδανική περίπτωση, θέλετε να πολλαπλασιάσετε έναν πίνακα ή έναν τανυστή με έναν ταυτόχρονα. Το Gpus έχει σχεδιαστεί για να κάνει κάτι παρόμοιο:
& quot; Η σκιά της Τριλογίας είναι τόσο μεγάλη," Ο Feldman μου είπε πρόσφατα," ότι οι άνθρωποι σταματούν να σκέφτονται και αρχίζουν να λένε,'' είναι αδύνατο.'" Οι εταιρείες GPU, συμπεριλαμβανομένης της Nvidia, πήραν την ευκαιρία να προσαρμόσουν τις μάρκες τους για βαθιά μάθηση. Το 2015, ο Feldman και μια ομάδα αρχιτεκτόνων υπολογιστών άρχισαν να συζητούν την ιδέα των μεγαλύτερων τσιπ αφού ίδρυσαν έναν κατασκευαστή διακομιστών υπολογιστών, τον Seamicro, τον οποίο πούλησαν στον κατασκευαστή τσιπ AMD για 334 εκατομμύρια δολάρια. Εργάστηκαν για το θέμα για τέσσερις μήνες σε ένα γραφείο δανεισμένο από μια εταιρεία επιχειρηματικών κεφαλαίων. Όταν είχαν ένα περίγραμμα μιας βιώσιμης λύσης, μίλησαν με οκτώ εταιρείες. Πήρε χρηματοδότηση από τα Benchmark, Foundation Capital και Eclipse και άρχισε να προσλαμβάνει.
Cerebras' το πρώτο καθήκον είναι να λύσει τα προβλήματα κατασκευής που μαστίζουν τα μεγάλα τσιπ. Το τσιπ ήταν αρχικά ένα κυλινδρικό πλινθώμα κρυσταλλικού πυριτίου διαμέτρου περίπου ενός ποδιού και το χαλύβδινο πλινθώμα κόπηκε σε γκοφρέτες με πάχος μικρότερο από ένα χιλιοστό. Το κύκλωμα στη συνέχεια", εκτυπώνεται". πάνω στη γκοφρέτα μέσω μιας διαδικασίας που ονομάζεται λιθογραφία. Οι ευαίσθητες σε υπεριώδεις χημικές ουσίες εναποτίθενται προσεκτικά στην επιφάνεια και στη συνέχεια προβάλλεται μια δέσμη υπεριώδους φωτός μέσω ενός λεπτομερούς προτύπου που ονομάζεται μάσκα. Αυτά τα χημικά αντιδρούν σχηματίζοντας κυκλώματα.
Κανονικά, η περιοχή που καλύπτεται από το φως που προβάλλεται μέσω της μάσκας γίνεται τσιπ. Στη συνέχεια, το τσιπ κινείται και το φως προβάλλεται ξανά. Αφού εκτυπωθούν δεκάδες ή εκατοντάδες τσιπ, κόβονται με λέιζερ από τη γκοφρέτα." Ο ευκολότερος τρόπος για να το κάνετε είναι η μαμά σας να βγάλει μια στρογγυλή ζύμη μπισκότων," Είπε ο Φέλντμαν." Έχει μια φόρμα μπισκότων και κόβει τα μπισκότα προσεκτικά." Οι νόμοι της φυσικής και της οπτικής καθιστούν αδύνατη την κατασκευή μεγαλύτερου κόφτη μπισκότων. Ως αποτέλεσμα," αναπτύξαμε μια τεχνολογία έτσι ώστε να μπορείτε να επικοινωνείτε μέσα από μια μικρή ζύμη ανάμεσα σε δύο μπισκότα."
Στο σύστημα εκτύπωσης Cerebras που αναπτύχθηκε σε συνεργασία με την TSMC, την εταιρεία που κατασκευάζει το τσιπ, οι άκρες των cookies επικαλύπτονται έτσι ώστε να συνδέονται τα καλώδια τους. Το αποτέλεσμα είναι ένα" μέγεθος γκοφρέτας" γκοφρέτα, τετράγωνο σε χρώμα χαλκού και 21εκ σε κάθε πλευρά. (Η μεγαλύτερη Gpus έχει διάμετρο ελαφρώς μικρότερη από 3 εκατοστά.) Η Cerebras παρήγαγε το πρώτο της τσιπ, Wafer-scale Engine 1, το 2019. Το Wse-2, που παρουσιάστηκε φέτος, χρησιμοποιεί ένα πιο πυκνό κύκλωμα, με 2,6 τρισεκατομμύρια τρανζίστορ συσκευασμένα σε 850.000 μονάδες επεξεργασίας , ή" πυρήνες" ;. (Το Top Gpus έχει μόνο μερικές χιλιάδες πυρήνες, ενώ τα περισσότερα cpus έχουν λιγότερους από 10.)
& quot; 2,6 τρισεκατομμύρια τρανζίστορ είναι εκπληκτικά," δήλωσε ο Aart de Geus, πρόεδρος και συν-διευθύνων σύμβουλος της Synopsys. Η Synopsys παρέχει κάποιο λογισμικό που χρησιμοποιούν οι Cerebras και άλλοι κατασκευαστές τσιπ για να κατασκευάζουν και να επικυρώνουν τα σχέδια των τσιπ τους. Ο De Geus λέει ότι κατά το σχεδιασμό τσιπ, οι μηχανικοί πρέπει πρώτα να λάβουν υπόψη δύο βασικά ερωτήματα:" Από πού προέρχονται τα δεδομένα;" Πού χειρίζεται;" Όταν τα τσιπ ήταν πιο απλά, οι σχεδιαστές μπορούσαν να απαντήσουν σε αυτές τις ερωτήσεις με ένα μολύβι σε ένα τραπέζι σχεδίασης. Όταν εργάζεστε με τα πιο πολύπλοκα τσιπ του', εισαγάγετε κώδικα που περιγράφει την αρχιτεκτονική που θέλετε να δημιουργήσετε και, στη συνέχεια, προχωρήστε στα εργαλεία απεικόνισης και κωδικοποίησης." Σκεφτείτε πώς φαίνεται το σπίτι από τη στέγη," είπε ο ντε Γκέους." Είναι το γκαράζ κοντά στην κουζίνα; Or είναι κοντά στην κρεβατοκάμαρα; Το θέλετε κοντά στην κουζίνα - αλλιώς,' θα πρέπει να μεταφέρετε παντοπωλεία σε κάθε γωνιά του σπιτιού." Αφού σχεδίασε την κάτοψη, εξήγησε," μπορείτε να χρησιμοποιήσετε εξισώσεις για να περιγράψετε τι συμβαίνει στο δωμάτιο."
Η σχεδιαστική πολυπλοκότητα των τσιπ είναι εντυπωσιακή." Υπάρχουν πολλά στρώματα εδώ," είπε ο ντε Γκέους, με κυκλώματα διασταυρωμένα και στρωμένα το ένα πάνω στο άλλο, σαν μια υπέρβαση μεγάλου αυτοκινητόδρομου. Για τους μηχανικούς της Cerebras, που εργάζονται στην κλίμακα μιας γκοφρέτας, η πολυπλοκότητα αυξάνεται. Synopsys' Το λογισμικό βοηθά με τη μορφή τεχνητής νοημοσύνης: οι αλγόριθμοι αντιστοίχισης προτύπων εντοπίζουν κοινά προβλήματα και προτείνουν λύσεις. Το πρόγραμμα βελτιστοποίησης μεταφέρει το δωμάτιο σε μια γρηγορότερη, πιο αποτελεσματική διάταξη. Εάν πολλές λωρίδες προσπαθήσουν να εισχωρήσουν σε ένα κτίριο δύο τετραγώνων, το λογισμικό επιτρέπει στους μηχανικούς να παίξουν τον Robert Moses και να μετακινήσουν το μπλοκ.
Στο τέλος, λέει ο Feldman, υπάρχουν πολλά πλεονεκτήματα σε υπερμεγέθη σχέδια τσιπ. Όταν οι πυρήνες βρίσκονται στο ίδιο τσιπ, επικοινωνούν γρηγορότερα: ο εγκέφαλος του υπολογιστή' είναι τώρα συγκεντρωμένος σε ένα μόνο κρανίο και όχι διάσπαρτος σε ένα δωμάτιο. Τα μεγαλύτερα τσιπ επίσης χειρίζονται καλύτερα τη μνήμη. Συνήθως, ένα μικρό τσιπ έτοιμο για επεξεργασία ενός αρχείου πρέπει πρώτα να λάβει το αρχείο από ένα τσιπ κοινής μνήμης που βρίσκεται αλλού στην πλακέτα κυκλώματος. Μόνο τα πιο συχνά χρησιμοποιούμενα δεδομένα αποθηκεύονται στην κρυφή μνήμη πιο κοντά στο σπίτι. Περιγράφοντας την αποτελεσματικότητα των τσιπ επιπέδου γκοφρέτας, ο Feldman προσέφερε μια αναλογία: Μου ζήτησε να φανταστώ μια ομάδα συγκάτοικων (πυρήνα) που ζούσαν σε κοιτώνα (τσιπ) που ήθελαν να παρακολουθήσουν έναν αγώνα ποδοσφαίρου (να κάνουν υπολογιστικές εργασίες). Για να παρακολουθήσουν το παιχνίδι, λέει ο feldman, οι συγκάτοικοι πρέπει να αποθηκεύουν μπύρα στο ψυγείο (τα δεδομένα αποθηκεύονται στη μνήμη). Ο Cerebras διατηρεί ένα ψυγείο σε κάθε δωμάτιο, οπότε οι συγκάτοικοι δεν πρέπει να ρισκάρουν να πάνε στην κοινόχρηστη κουζίνα του κοιτώνα' ή στο Safeway. Αυτό έχει το πρόσθετο πλεονέκτημα ότι επιτρέπει σε κάθε πυρήνα να επεξεργάζεται διαφορετικά δεδομένα πιο γρήγορα." Έτσι μπορώ να έχω Bud στο κοιτώνα μου," Είπε ο Φέλντμαν." Στον κοιτώνα σας, μπορείτε να έχετε Schlitz."
Τέλος, ο Cerebras πρέπει να ξεπεράσει τα προβλήματα απόδοσης. Οι μηχανικοί της εταιρείας' χρησιμοποιούν το τέχνασμα της Trilogy': πλεονασμός. Αλλά εδώ έχουν ένα πλεονέκτημα έναντι των προκατόχων τους. Η Trilogy προσπαθεί να δημιουργήσει γενικά τσιπ με πολλά διαφορετικά εξαρτήματα, οπότε η καλωδίωση γύρω από ένα μόνο αποτυχημένο στοιχείο μπορεί να απαιτεί σύνδεση με μια μακρινή αντικατάσταση. Στο Cerebras' τσιπ, όλοι οι πυρήνες είναι ίδιοι. Εάν ένα μπισκότο είναι λάθος, τα γύρω του είναι εξίσου καλά.