Microsoft trener AI-modell som kan konkurrere med store LLM-er

Microsoft utvikler en ny, stor språkmodell (LLM) med kodenavnet MAI-1, som har potensial til å konkurrere med AI-LLM-er utviklet av Google og OpenAI. Dette er første gang Microsoft utvikler en så stor LLM siden de investerte milliarder av dollar i OpenAI for å ha rettighetene til å distribuere sistnevntes teknologi i sin produktivitetspakke.

Utviklingen av MAI-1 ledes av Mustafa Suleyman, medstifter av Google DeepMind og Inflection, ifølge en rapport fra The Information. I mars 2024 kjøpte Microsoft flere av Inflections ansatte i en avtale verdt 650 millioner dollar.

Ifølge rapporten som ble utgitt 6. mai, vil MAI-1 ha omtrent 500 milliarder parametere, noe som plasserer den et sted mellom de rapporterte 1 billion parameterene i OpenAIs GPT-4 og 70 milliarder parametere i Metas AI-modell Llama 3. Den forventes også å være «mye større» og dyrere enn noen av Microsofts tidligere mindre open-source-AI-er (Phi-3 og WizardLM-2) da den vil kreve større datakraft og mer treningsdata.

Selv om MAI-1 kan utnytte teknikker og treningsdata fra Inflection, forblir den forskjellig fra alle modeller eller teknologier produsert av OpenAI eller Inflection. Ifølge Microsoft-ansatte som er kjent med prosjektet, er MAI-1 en helt ny LLM utviklet internt av Microsoft.

Microsoft har ennå ikke annonsert den eksakte hensikten med MAI-1, og dens spesifikke bruksområder vil avhenge av ytelsen. I mellomtiden har selskapet allokert en stor gruppe med servere med Nvidia GPU-er, og bruker store mengder data fra ulike kilder for å utvikle modellen.

Avhengig av fremdriften sier rapporter at selskapet kan komme til å presentere MAI-1 på utviklerkonferansen Build senere denne måneden, men dette er ikke bekreftet.