Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS och NLU-gruppen vid AI Sweden har tilldelats en betydande beräkningskapacitet på superdatorn MareNostrum 5 vid Barcelona Supercomputing Center. Detta kapacitetstilldelning är en av de största som beviljats av European High Performance Computing Joint Undertaking (EuroHPC JU) för utveckling av storskaliga europeiska språkmodeller.
Projektet "EuroLingua-GPT" ska påbörjas i slutet av maj 2024 och sträcker sig över ett år. Under denna period kommer forskningspartner att utveckla flerspråkiga öppna källkodsmodeller som stödjer 45 europeiska språk, inklusive de 24 officiella europeiska språken. Detta är ett betydande framsteg mot att ge europeiska språk och värderingar större tyngd, eftersom flerspråkiga stora språkmodeller fortfarande är sällsynta.
EuroLingua-GPT – en milstolpe för europeisk AI
Den godkända kontingenten genom EuroHPC "Extreme Scale Access" inkluderar 8,8 miljoner GPU-timmar på H100-chips. "Dessa beräkningskapaciteter är en milstolpe för Tyskland och Europa. Modellerna som tränas med dem kommer att påskynda användningen av generativ AI i företag och ge både näringslivet och vetenskapen en skjuts – GenAI 'made in Europe' blir verklighet," säger Dr. Joachim Köhler, chef för NetMedia-avdelningen på Fraunhofer IAIS.
Små och stora modeller
Med de nya beräkningsresurserna kan små modeller i storleksordningen 7 till 34 miljarder parametrar och stora modeller med upp till 180 miljarder parametrar tränas från grunden.
- Vårt mål med samarbetet med AI Sweden är att träna en familj av stora språkmodeller från grunden som kommer att publiceras som öppen källkod, säger projektledaren Dr. Nicolas Flores-Herr, teamledare för Conversational AI på Fraunhofer IAIS. Magnus Sahlgren, chef för forskning NLU vid AI Sweden, tillägger:
- Både offentliga och privata sektorer i EU efterfrågar öppna, kraftfulla språkmodeller tränade för europeiska språk. Detta är ett sätt att möta det behovet.
Stödjer forskning och vetenskap
Modellerna som utvecklas på EuroHPC-infrastrukturen är avsedda att dels fungera som generalistiska basmodeller för att stödja forskning och vetenskap, dels tillhandahålla specialiserade modeller för specifika sektorer eller användningsområden för produktivt bruk i företag eller offentlig förvaltning.
För att uppnå detta sammanför de två organisationerna sin expertis: Fraunhofer IAIS och AI Swedens NLU-grupp är två av de ledande LLM-labb i Europa med beprövad expertis och flera års erfarenhet av att utveckla LLM
. Fraunhofer leder till exempel OpenGPT-X konsortieprojektet som finansieras av Tysklands federala ministerium för ekonomi och klimatskydd (BMWK), där stora europeiska, flerspråkiga öppen källkodsmodeller också utvecklas. NLU-gruppen vid AI Sweden har utvecklat GPT-SW3 LLM för de skandinaviska språken. De två teamen samarbetar också på andra öppen källkod-gemenskapsprojekt. EuroLingua-GPT är också ett av tre stora pågående EU-projekt om språkmodeller där Fraunhofer IAIS och AI Sweden samarbetar. De övriga två är TrustLLM och Deploy AI.
Källa: Fraunhofer IAIS