LegoGPT: Η Τεχνητή Νοημοσύνη Μετατρέπει Τις Εντολές Κειμένου Σε Δημιουργίες Lego

Ερευνητές στο Πανεπιστήμιο Carnegie Mellon παρουσίασαν το LegoGPT, ένα νέο σύστημα τεχνητής νοημοσύνης που δημιουργεί πραγματικές δημιουργίες Lego από γραπτές περιγραφές.

Είναι η πρώτη AI του είδους της που όχι μόνο ακολουθεί μια υπόδειξη κειμένου -όπως «ένα αεροδυναμικό, επιμηκυσμένο σκάφος»- αλλά επίσης διασφαλίζει ότι η τελική κατασκευή είναι φυσικά σταθερή και μπορεί να χτιστεί, τούβλο τούβλο.

«Για να επιτύχουμε αυτό, δημιουργούμε μια μεγάλης κλίμακας, φυσικά σταθερή βάση δεδομένων με σχέδια LEGO, μαζί με τις σχετικές λεζάντες τους», εξήγησε η ομάδα στην ερευνητική της εργασία.

Το LegoGPT εκπαιδεύτηκε χρησιμοποιώντας πάνω από 47.000 σταθερά μοντέλα Lego σε συνδυασμό με λεπτομερείς λεζάντες που δημιουργήθηκαν από το GPT-4o. Αυτά κατασκευάστηκαν από 3D σχήματα, μετατράπηκαν σε δομές Lego και στη συνέχεια δοκιμάστηκαν για πραγματική σταθερότητα χρησιμοποιώντας προσομοιώσεις φυσικής.

Κάθε δομή περιγράφηκε επίσης από 24 γωνίες, ώστε η AI να μπορεί να μάθει πώς θα πρέπει να φαίνονται διάφορα σχέδια με λόγια.

Η ομάδα χρησιμοποίησε μια ειδική τεχνική που ονομάζεται «φυσικο-ευαισθητοποιημένη επαναφορά», όπου ασταθή μέρη ενός σχεδίου αφαιρούνται και ξαναχτίζονται μέχρι ολόκληρη η δομή να αντέχει. Αυτό βελτίωσε τα ποσοστά επιτυχίας κατασκευής από 24% σε 98.8%.

Το μοντέλο AI, που βασίζεται στο LLaMA-3.2-Instruct της Meta, προβλέπει ποιο τουβλάκι Lego θα τοποθετηθεί επόμενο – παρόμοια με τον τρόπο που το ChatGPT προβλέπει την επόμενη λέξη. Κάθε προτεινόμενο τουβλάκι ελέγχεται για τοποθέτηση, μέγεθος και πιθανές συγκρούσεις πριν προστεθεί στο μοντέλο.

Τα δημιουργήματα του LegoGPT μπορούν να χτιστούν τόσο από ανθρώπους όσο και από ρομπότ. «Τα πειράματά μας δείχνουν ότι το LegoGPT παράγει σταθερά, διάφορα και αισθητικά ευχάριστα σχέδια Lego που ταιριάζουν στενά με τις εντολές κειμένου που δίνονται,» έγραψαν οι ερευνητές.

Για τώρα, το LegoGPT χρησιμοποιεί μόνο οκτώ βασικά είδη τούβλων και λειτουργεί σε έναν χώρο 20×20×20, αλλά η ομάδα ελπίζει να το επεκτείνει.

Το πλήρες σύνολο δεδομένων τους, ο κώδικας και το μοντέλο είναι ελεύθερα προσβάσιμα, ώστε άλλοι να μπορούν να συνεχίζουν να οικοδομούν πάνω σε αυτήν την έρευνα. Εναλλακτικά, μπορείτε απλώς να παίξετε με την δοκιμαστική έκδοση τους.