Snowflake lanceert Arctic: het meest open Large Language Model voor bedrijven

Snowflake (NYSE: SNOW), het bedrijf van de Data Cloud, heeft Snowflake Arctic gepresenteerd, een large language model (LLM) van de nieuwste generatie dat exclusief is ontworpen om het meest open LLM voor bedrijven op de markt te zijn. Met zijn unieke MoE-architectuur (Mixture of Experts) biedt Arctic toonaangevende intelligentie met een ongekende efficiëntie op schaal. Het is geoptimaliseerd voor complexe bedrijfswerklasten en overtreft verschillende branch benchmarks in SQL-codegeneratie, instructie-tracking en meer. Bovendien publiceert Snowflake de gewichten van Arctic onder een Apache 2.0-licentie en de onderzoeksgegevens die hebben geleid tot hoe het getraind is, waarmee een nieuwe norm voor openheid van bedrijfs-IA-technologie wordt gesteld. Het LLM Snowflake Arctic maakt deel uit van de Snowflake Arctic-modelserie, een reeks modellen gemaakt door Snowflake die ook de beste ingebedde tekstmodellen voor gebruikssituaties van retrieval omvat.

“Dit is een bepalend moment voor Snowflake, met ons AI-onderzoeksteam dat innoveert op de voorgrond van AI”, zegt Sridhar Ramaswamy, CEO van Snowflake. “Door toonaangevende intelligentie en efficiëntie in de industrie op een echt open manier aan te bieden aan de AI-gemeenschap, verleggen we de grenzen van wat open-source AI kan doen. Ons onderzoek met Arctic zal onze mogelijkheden om betrouwbare en efficiënte AI aan onze klanten te bieden aanzienlijk verbeteren.”

Arctic markeert een mijlpaal met een echt open en breed beschikbare samenwerking

Volgens een recent rapport van Forrester maakt ongeveer 46% van de AI-besluitvormers in bedrijven over de hele wereld gebruik van bestaande open-source LLMs om generatieve AI te adopteren als onderdeel van hun bedrijfs-AI-strategie1. Met Snowflake’s fundamentele data voor meer dan 9.400 bedrijven en organisaties over de hele wereld2, worden alle gebruikers in staat gesteld hun data te benutten met toonaangevende open LLMs in de industrie, terwijl ze flexibiliteit en keuzevrijheid hebben met betrekking tot de modellen waarmee ze werken.

Nu, met de lancering van Arctic, biedt Snowflake een krachtig en echt open model met een Apache 2.0-licentie die persoonlijk, commercieel en onderzoek gebruik zonder beperkingen toestaat. Bovendien biedt Snowflake code-sjablonen en flexibele inferentie- en trainingsopties zodat gebruikers snel aan de slag kunnen met het implementeren en aanpassen van Arctic met behulp van hun voorkeurswerk omgevingen. Hieronder vallen NVIDIA NIM met NVIDIA TensorRT-LLM, vLLM en Hugging Face. Voor onmiddellijk gebruik is Arctic beschikbaar voor serverloze inferentie op Snowflake Cortex, de volledig beheerde machine learning en AI-service van Snowflake in de Data Cloud. Het zal ook beschikbaar zijn op Amazon Web Services (AWS), samen met andere bestanden en modelcatalogi, waaronder Hugging Face, Lamini, Microsoft Azure, de NVIDIA API-catalogus, Perplexity, Together AI, en anderen.

Arctic biedt toonaangevende intelligentie met hoge hulpbronnenefficiëntie

Het AI-onderzoeksteam van Snowflake, dat bestaat uit een unieke selectie van toonaangevende onderzoekers en systeemingenieurs in de industrie, heeft in minder dan drie maanden ongeveer een achtste deel van de kosten voor het trainen van vergelijkbare modellen besteed aan het bouwen van Arctic. Getraind met Amazon Elastic Compute Cloud (Amazon EC2) P5-instanties, stelt Snowflake een nieuwe benchmark voor de snelheid waarmee de meest geavanceerde open bedrijfsmodellen kunnen worden getraind, wat uiteindelijk gebruikers in staat zal stellen kosteneffectief aangepaste modellen op grote schaal te creëren.

Als onderdeel van deze strategische inspanning verbetert het onderscheidende MoE-ontwerp van Arctic zowel trainingssystemen als modelprestaties, met een zorgvuldig ontworpen en bedrijfsgerichte samenstelling van data. Arctic levert ook resultaten van hoge kwaliteit door 17 van de 480 miljard parameters tegelijk te activeren om een toonaangevende kwaliteit met een ongekende token-efficiëntie te bereiken. In een doorbraak voor efficiëntie, activeert Arctic ongeveer 50 procent minder parameters dan DBRX en 75 procent minder dan Llama 3 70B tijdens inferentie of training. Bovendien overtreft het toonaangevende open modellen zoals DBRX, Mixtral-8x7B en anderen in codering (HumanEval+, MBPP+) en SQL-generatie (Spider), terwijl het toonaangevende prestaties biedt in het algemeen begrip van taal (MMLU).

Snowflake blijft de innovatie in AI versnellen voor alle gebruikers

Snowflake blijft bedrijven voorzien van de fundamentele data en geavanceerde AI-bouwstenen die ze nodig hebben om krachtige AI- en machine learning-applicaties te bouwen met hun bedrijfsdata. Wanneer toegang wordt verkregen tot Snowflake Cortex, zal Arctic het vermogen van klanten versnellen om productieklare AI-applicaties op schaal te bouwen, binnen de beveiligings- en governancegrenzen van de Data Cloud.

Naast het Arctic LLM omvat de Snowflake Arctic-modelserie ook de recent aangekondigde Arctic Embed, een reeks van de nieuwste generatie ingebedde tekstmodellen beschikbaar voor de open-sourcegemeenschap onder een Apache 2.0-licentie. De reeks van vijf modellen is beschikbaar op Hugging Face voor onmiddellijk gebruik en zal binnenkort beschikbaar zijn als onderdeel van de Snowflake Cortex ingebedde functie (in privévoorbeeld). Deze embed-modellen zijn geoptimaliseerd om toonaangevende retrievalprestaties te leveren met ongeveer een derde van de grootte van vergelijkbare modellen, wat organisaties een krachtige en kosteneffectieve oplossing biedt voor het combineren van hun eigen datasets met LLMs als onderdeel van knowledge retrieval of semantische zoekdiensten.

Snowflake geeft ook prioriteit aan het bieden van toegang tot de nieuwste en krachtigste LLMs van de Data Cloud, inclusief de recente toevoegingen aan de modellen van Reka en Mistral AI. Bovendien heeft Snowflake onlangs de uitbreiding van de samenwerking met NVIDIA aangekondigd om te blijven innoveren in AI, waarbij het geaccelereerde full-stack platform van NVIDIA wordt gecombineerd met de Data Cloud van Snowflake om een veilige en uitzonderlijke combinatie van infrastructuur en rekenmogelijkheden te bieden voor het ontgrendelen van AI-productiviteit. Snowflake Ventures heeft ook onlangs geïnvesteerd in Landing AI, Mistral AI, Reka en andere bedrijven om Snowflakes toewijding om klanten te helpen waarde te creëren uit hun bedrijfsdata met LLM en AI te ondersteunen.

Reacties van AI-experts op de aankondiging

“Snowflake Arctic staat klaar om betekenisvolle resultaten te stimuleren die onze strategische samenwerking versterken, door toegang tot AI, democratisering en innovatie voor iedereen te stimuleren”, zegt Yoav Shoham, mede-oprichter en co-CEO van AI21 Labs. We zijn verheugd te zien hoe Snowflake bedrijven helpt de kracht van open-sourcemodellen te benutten, zoals we hebben gedaan met onze recente lancering van Jamba, het eerste productieklaar Transformer-SSM-model gebaseerd op Mamba. Snowflake’s voortdurende investering in AI is een cruciale factor in onze keuze om te bouwen op Data Cloud en we kijken ernaar uit om nog meer waarde te creëren voor onze gezamenlijke klanten.”

“Snowflake en AWS zijn ervan overtuigd dat generatieve AI vrijwel elke klant ervaring die we kennen zal transformeren”, zegt David Brown, vicepresident van Compute and Networking bij AWS. “Dankzij AWS kon Snowflake zijn infrastructuur afstemmen om de time-to-market voor de training van Snowflake Arctic te versnellen. Met gebruik van Amazon EC2 P5-instanties met het efficiënte trainingssysteem van Snowflake en een gezamenlijk ontwerp van de modelarchitectuur, kon Snowflake snel een nieuw bedrijfsmodel aan klanten leveren. En met de plannen om Snowflake Arctic op AWS beschikbaar te maken, zullen klanten meer opties hebben om krachtige AI-technologie te benutten om hun transformatie te versnellen.”

“Terwijl het tempo van AI blijft versnellen, heeft Snowflake zich gevestigd als een AI-innovator met de lancering van Snowflake Arctic”, zegt Shishir Mehrotra, mede-oprichter en CEO van Coda. “Onze innovatie- en ontwerpprincipes zijn in lijn met de vooruitziende aanpak van Snowflake op AI en daarbuiten, en we zijn enthousiast om een partner te zijn op deze transformerende reis van alledaagse applicaties en workflows door AI.”

“De afgelopen maanden was er een massale golf van open-source AI,” zegt Clement Delangue, CEO en mede-oprichter van Hugging Face. “We zijn verheugd te zien dat Snowflake aanzienlijk bijdraagt met deze lancering niet alleen van het model met een Apache 2.0-licentie, maar ook met details over hoe het werd getraind. Het biedt de transparantie en controle die nodig zijn voor bedrijven om AI te bouwen en voor het vakgebied om nieuwe wegen in te slaan.”

“De visie van Lamini is om AI te democratiseren, iedereen in staat te stellen zijn eigen superintelligentie te bouwen. We geloven dat de toekomst van bedrijfs-AI is gebouwd op de funderingen van krachtige open modellen en open samenwerking”, zegt Sharon Zhou, mede-oprichter en CEO van Lamini. “Snowflake Arctic is belangrijk om die toekomst van AI te ondersteunen. We zijn enthousiast om Arctic af te stellen en aan te passen voor zeer nauwkeurige LLM’s, waardoor controle, veiligheid en veerkracht geoptimaliseerd worden in een dynamisch AI-ecosysteem.”

“De bijdragen van de gemeenschap zijn cruciaal voor het ontsluiten van innovatie in AI en waarde te creëren voor iedereen”, zegt Andrew Ng, CEO van Landing AI. “De open source-lancering van Arctic door Snowflake is een spannende stap om cutting-edge modellen beschikbaar te maken voor iedereen om te verfijnen, te evalueren en erop te innoveren.”

“We zijn verheugd om de keuzes voor zakelijke klanten te vergroten in het snel evoluerende AI-landschap, door de robuuste mogelijkheden van het nieuwe Arctic LLM-model van Snowflake toe te voegen aan de AI-modelcatalogus van Microsoft Azure”, zegt Eric Boyd, corporate vicepresident van Azure AI Platform bij Microsoft. “Onze samenwerking met Snowflake is een voorbeeld van onze inzet om open innovatie te bevorderen en de grenzen van wat AI kan bereiken uit te breiden.”

“De continue vooruitgang – en de gezonde concurrentie tussen – open-source AI-modellen is niet alleen cruciaal voor het succes van Perplexity, maar ook voor de toekomst van het democratiseren van generatieve AI voor iedereen”, merkt Aravind Srinivas op, mede-oprichter en CEO van Perplexity. “We kijken uit naar het experimenteren met Snowflake Arctic om het aan te passen voor ons product, uiteindelijk nog meer waarde creërend voor onze eindgebruikers.”

“Snowflake en Reka hebben zich ertoe verbonden AI in handen van alle gebruikers te leggen, ongeacht hun technische ervaring, om zakelijke resultaten sneller te stimuleren”, zegt Dani Yogatama, mede-oprichter en CEO van Reka. “Met de lancering van Snowflake Arctic zet Snowflake deze visie voort door wereldwijd echt open large language models binnen ieders handbereik te brengen.”

“Als organisatie aan de voorhoede van open-source AI-onderzoek, modellen en datasets zijn we verheugd om getuige te zijn van de lancering van Snowflake Arctic”, zegt Vipul Ved Prakash, mede-oprichter en CEO van Together AI. “Vooruitgang in het open-source AI-landschap is gunstig voor het hele ecosysteem en maakt het voor ontwikkelaars en onderzoekers over de hele wereld mogelijk om impactvolle generatieve AI-modellen te ontplooien.”