Microsoft kouluttaa uutta AI-mallia, joka on tarpeeksi suuri kilpailemaan tärkeimpien LLM-mallien kanssa

Microsoft kehittää uutta suurta kielimallia (LLM), jonka koodinimi on MAI-1 ja jolla on potentiaalia kilpailla Googlen ja OpenAI:n kehittämien tekoäly-LLM:ien kanssa. Tämä on ensimmäinen kerta, kun Microsoft kehittää näin suuren LLM:n sen jälkeen, kun se on sijoittanut miljardeja dollareita OpenAI:hin saadakseen oikeudet käyttää sen teknologiaa tuottavuusohjelmistojensa paketissa.

MAI-1:n kehitystä valvoo Google DeepMindin ja Inflectionin perustajiin kuuluva Mustafa Suleyman, raportoi The Information. Maaliskuussa 2024 Microsoft hankki useita Inflectionin työntekijöitä 650 miljoonan dollarin arvoisessa kaupassa.

Raportin mukaan, joka julkaistiin 6. toukokuuta, MAI-1:ssä on noin 500 miljardia parametria, mikä sijoittaa sen jonnekin OpenAI:n GPT-4-mallin ilmoitettujen biljoonan parametrin ja Metan Llama 3 -tekoälymallin 70 miljardin parametrin väliin. Sen odotetaan myös olevan ”huomattavasti suurempi” ja kalliimpi kuin mikään Microsoftin aiemmista, pienemmistä avoimen lähdekoodin tekoälyistä (Phi-3 ja WizardLM-2), koska se vaatii enemmän laskentatehoa ja koulutusdataa.

Vaikka MAI-1 saattaa hyödyntää Inflectionin tekniikoita ja koulutusdataa, se pysyy erillään kaikista OpenAI:n tai Inflectionin tuottamista malleista tai teknologioista. Microsoftin projektin tuntevien työntekijöiden mukaan MAI-1 on täysin uusi LLM, jonka Microsoft on kehittänyt sisäisesti.

Microsoft ei ole vielä ilmoittanut MAI-1:n tarkkaa tarkoitusta, ja sen täsmällinen käyttö riippuu sen suorituskyvystä. Sillä välin yhtiö on varannut suuren klusterin palvelimia Nvidian grafiikkasuorittimilla ja käyttää suuria määriä dataa eri lähteistä parantaakseen mallia.

Raporttien mukaan, riippuen edistymisestä, yhtiö saattaa esitellä MAI-1:n myöhemmin tässä kuussa Build-kehittäjäkonferenssissa, mutta tämä ei ole varmaa.