LegoGPT: AI forvandler tekstoppfordringer til Lego-kreasjoner

Forskere ved Carnegie Mellon University har introdusert LegoGPT, et nytt AI-system som bygger virkelige Lego-kreasjoner basert på skriftlige beskrivelser.

Dette er den første AI-en av sitt slag som ikke bare følger en tekstprompt – som «et strømlinjeformet, forlenget fartøy» – men også sikrer at den resulterende strukturen er fysisk stabil og kan bygges, murstein for murstein.

“For å oppnå dette, konstruerer vi en stor skala, fysisk stabil datasett med LEGO-design, sammen med deres tilhørende bildetekster,” forklarte teamet i deres forskningsartikkel.

LegoGPT ble trent ved bruk av over 47 000 stabile Lego-modeller sammen med detaljerte bildetekster generert av GPT-4o. Disse ble bygget fra 3D-former, gjort om til Lego-strukturer, og deretter testet for virkelighetsnær stabilitet ved bruk av fysikksimuleringer.

Hver struktur ble også beskrevet fra 24 vinkler slik at AI-en kunne lære hvordan ulike design bør se ut i ord.

Teamet brukte en spesiell teknikk kalt «fysikk-bevisst tilbakerulling», der ustabile deler av et design fjernes og bygges opp igjen til hele strukturen holder seg oppe. Dette forbedret byggesuksessraten fra 24% til 98,8%.

AI-modellen, basert på Metas LLaMA-3.2-Instruct, forutsier hvilken Lego-kloss som skal plasseres neste – likt hvordan ChatGPT forutsier det neste ordet. Hver foreslåtte kloss blir sjekket for plassering, størrelse og potensielle kollisjoner før den blir lagt til i modellen.

LegoGPTs skaperverk kan bygges av både mennesker og roboter. «Våre eksperimenter viser at LegoGPT produserer stabile, varierte og estetisk tiltalende Lego-design som stemmer godt overens med de innskrevne tekstpromptene,» skrev forskerne.

For øyeblikket bruker LegoGPT bare åtte grunnleggende brikke-typer og fungerer innenfor et 20×20×20 område, men teamet håper å utvide det.

Deres fulle datasett, kode og modell er gratis å tilgjengelig, slik at andre kan fortsette å bygge videre på denne forskningen. Alternativt kan du bare leke rundt med deres demo.