Openain siirtyminen vapauttamaan avoimen painon kielimalleja, GPT-OSS-120B ja GPT-OSS-20B, merkitsee keskeistä muutosta AI-saavutettavuudelle ja hallintaan. Sen sijaan, että luottaisivat yksinomaan omistusoikeuksien, pilvipalveluiden järjestelmiin, käyttäjillä on nyt mahdollisuus ladata, suorittaa ja mukauttaa edistyneitä AI-malleja suoraan omalla laitteistollaan. Tämä lähestymistapa käsittelee kasvavaa halvemman, joustavien AI-ratkaisujen kysyntää, jotka tukevat yksityisyyttä, datan residenssiä ja paikan päällä olevia käyttötarpeita.
GPT-OSS-mallit on suunniteltu toimittamaan vahvaa reaalimaailman suorituskykyä, etenkin päättelutehtävissä. Suurempi malli, GPT-OSS-120B, toimii tehokkaasti yhdellä 80 Gt GPU: lla, sovittaen tai ylittäen Openain O4-Mini-mallin suorituskyvyn keskeisissä vertailukohdissa, kuten kilpailun koodauksessa, yleisessä ongelmanratkaisussa ja terveyteen liittyvissä kyselyissä. Pienempi GPT-OSS-20B-malli on riittävän kompakti kuluttajalaitteille, joilla on 16 Gt muistia, joten se sopii paikallisiin päätelmiin tai nopeaan prototyyppiin ilman kallista infrastruktuuria.
Molemmat mallit ovat saatavana Apache 2.0 -lisenssissä, mikä mahdollistaa kaupallisen käytön, uudelleenjaon ja integroinnin muihin ohjelmistoprojekteihin ilman rajoittavia patentti- tai copyleft -huolenaiheita. Tämä sallittava lisensointi poistaa esteet startup-yrityksille, akateemisille hankkeille ja yrityksille, joiden on hienosoitava tai mukautettava AI-malleja erikoistuneisiin käyttötapauksiin.
Kuinka ladata ja suorittaa Openain avoimen painon mallit
Vaihe 1:Vieraile virallisella halaamalla kasvovarastossa tai Openain GitHub-sivulla päästäksesi GPT-OSS-120B: n ja GPT-OSS-20B: n mallipainoihin. Molemmat alustat tarjoavat tarvittavat tiedostot ja dokumentaation aloittamiseen.
Vaihe 2:Valitse laitteistoon sopiva malliversio. GPT-OSS-120B: lle varmista, että sinulla on pääsy GPU: hon, jossa on vähintään 80 Gt muistia. GPT-OSS-20B: lle laite, jossa on 16 Gt RAM-muistia, riittää. Lataa kvantisoidut mallitiedostot (MXFP4 -muoto) tehokkaaseen tallennustilaan ja päättelyyn.
Vaihe 3:Aseta ensisijainen päätelmäkehys. OpenAI tarjoaa Pytorchin ja Applen metallialustan referenssihankintatoimenpiteet sekä mallejen käyttämiseen paikallisesti kolmansien osapuolien ratkaisujen, kuten Ollama, LM Studio tai Vllm, käyttämällä. Noudata dokumentaation asennusohjeita asentaaksesi riippuvuudet ja määritä ympäristösi.
Vaihe 4:Lataa mallipainot valituun kehykseen ja testaa näytteen kehoteilla. Hienotoiminnasta kiinnostuneille kehittäjille mallit tukevat koko parametrin räätälöintiä ja niitä voidaan mukauttaa tietyille verkkotunnuksille tai tehtäville, jotka käyttävät tavanomaista koneoppimista.
Vaihe 5:Integroi mallit sovelluksiisi. Sekä GPT-OSS-120B että GPT-OSS-20B on optimoitu agentisille työnkulkuille, jotka tukevat edistyneitä ohjeita, työkalujen käyttöä (kuten verkkohaku tai koodin suorittaminen) ja ajatetun ketjun päättelyn. Käytä toimitettuja sovellusliittymiä tai rakenna mukautettuja rajapintoja hyödyntääksesi näitä ominaisuuksia ohjelmistosi.
Katso myös:OpenAi julkaisee GPT OSS: n 120B & 20B -mallilla avoimen lähdekoodin AI
Organisaatioille, joilla on tiukka tietojen asuinpaikka tai turvallisuusvaatimukset, näiden mallejen käyttöönotto varmistaa, että arkaluontoiset tiedot eivät koskaan jätä paikallista infrastruktuuria. Tämä joustavuus on erityisen arvokas hallituksille, terveydenhuollon tarjoajille ja yrityksille, jotka käsittelevät luottamuksellisia tietoja.
Turvallisuus, räätälöinti ja suorituskyky
Openai ponnisteli merkittäviä turvallisuuskoulutusta ja arviointia näihin avoimiin malleihin. Esi-koulutuksen aikana kemiallisiin, biologisiin, radiologisiin ja ydinasemaan (CBRN) aiheisiin liittyvät haitalliset tiedot suodatettiin. Koulutuksen jälkeiseen prosessiin sisälsi vastustavan hienosäätöä simuloidakseen, kuinka haitalliset toimijat voivat yrittää väärinkäyttää malleja, riippumattomien asiantuntijoiden tarkistamisen tulokset. Nämä turvallisuustoimenpiteet auttavat ylläpitämään voimakasta kieltäytymiskäyttäytymistä ja puolustamaan nopeaa injektiotaktiikkaa vastaan asettaen uuden standardin avoimen painon mallin turvallisuudelle.
Kehittäjät voivat säätää mallien - pienen, keskisuurten tai korkean - päättelypyrkimyksen latenssin ja suorituskyvyn tasapainottamiseksi sovellustarpeiden perusteella. Mallit tukevat jäsenneltyjä tuotoksia ja tarjoavat koko ajatellut jäljet, jotka voivat olla korvaamattomia virheenkorjaamiseen ja luottamuksen rakentamiseen AI: n tuotettuihin vastauksiin. Openai suosittelee kuitenkin, että ajatellut ketjun lähtöjä ei näytetä suoraan loppukäyttäjille, koska ne voivat sisältää hallusoitua tai herkkiä sisältöä.
Suorituskyvyn vertailuarvot osoittavat, että GPT-OSS-120B-kilpailijat tai ylittävät Openain omistamat mallit useissa tehtävissä, mukaan lukien kilpailun matematiikka ja terveyteen liittyvät kyselyt. Pienempi GPT-OSS-20B-malli, joka on koosta, vastaa tai ylittää O3-Mini-mallin avainarvioinneissa, osoittaen, että vahvat päättely kyvyt ovat nyt saatavana jopa vaatimattomilla laitteilla.
Käyttövaihtoehdot ja ekosysteemin tuki
Openai teki yhteistyötä johtavien laitteisto- ja ohjelmistokumppaneiden kanssa saavutettavuuden maksimoimiseksi. GPT-OSS-malleja voidaan ajaa paikallisesti yksityisellä palvelimella tai suurten pilvipalveluntarjoajien, kuten Azure, AWS ja halaus kasvojen, kautta. Microsoft tarjoaa GPU-optimoituja versioita Windows-laitteille, mikä tekee kehittäjille helpon rakentaa AI-käyttöisiä sovelluksia tavanomaisiin tietokoneisiin tai kannettaviin tietokoneisiin.
Niille, jotka etsivät multimodaalista tukea tai saumattomia integraatioita Openain laajempaan alustaan, omat sovellusliittymämallit ovat edelleen saatavana. Avoin painon mallit antavat kuitenkin käyttäjille mahdollisuuden valita oikean kustannus-, viive- ja hallintatasapaino heidän erityistarpeisiinsa. Varhaiset kumppanit, mukaan lukien AI Ruotsi, oranssi ja lumihiutale, ovat jo alkaneet käyttää näitä malleja turvallisille, paikallisille AI-ratkaisuille ja erikoistuneille hienosäätöprojekteille.
Miksi avoimen painon malleilla on merkitystä
Vapauttamalla GPT-OSS-120B ja GPT-OSS-20B, OpenAi edistää AI-kehityksen demokratisointia. Avoin painomallit alentavat pääsyn esteitä, jolloin yksilöiden, startup-yritykset ja resurssien rajoittamat organisaatiot voivat kokeilla ja innovoida riippumatta kalliista pilvi-infrastruktuurista tai omistusliittymistä. Tämä laaja pääsy tukee akateemista tutkimusta, polttaa paikallista innovaatiota ja auttaa asettamaan avoimuuteen ja demokraattisiin arvoihin juurtuneet globaalit standardit.
Openain lähestymistapa vahvistaa myös avoimen mallin ekosysteemiä, rohkaisemalla yhteistyötä ja inkrementaalisia parannuksia koko yhteisössä. Kun yhä useammat kehittäjät omaksuvat ja tarkentavat näitä malleja, kollektiivinen hyöty kasvaa-liristaa avoimen lähdekoodin ohjelmistojen, kuten Linuxin, vaikutuksia nykyaikaisen laskentamaiseman muotoilussa.
Openain avoimen painoisen GPT-mallit tarjoavat käytännön polun turvallisten, kustannustehokkaiden ja muokattavien AI-ratkaisujen rakentamiseen-oletko yksin kehittäjä, yritys tai valtion virasto. Vahvien turvaominaisuuksien ja vahvan suorituskyvyn avulla nämä mallit on asetettu nopeuttamaan AI: n käyttöönottoa monilla sovelluksilla.
