Dhruv Bhutani / Android Authority
Olin yksi ensimmäisistä ihmisistä, jotka hyppäsivät ChatGPT:n kelkkaan. Kaiken tietävän tutkimusavustajan käyttömukavuus napin painalluksella on houkutteleva, enkä pitkään aikaan välittänyt paljon tekoälyn käytön seurauksista. Nopeasti eteenpäin tähän päivään, ja se on täysin erilainen maailma. Ei voida kiertää sitä tosiasiaa, että syötät valtavan määrän syvästi henkilökohtaisia tietoja päiväkirjamerkinnöistä arkaluontoisiin työsähköposteihin biljoonan dollarin suuryritysten omistamaan mustaan laatikkoon. Mikä voisi mennä pieleen?
Nyt tekoälystä ei ole paluuta, mutta sille on käyttötapauksia, joissa se voi toimia tuottavuuden kertojana. Ja siksi olen lähtenyt kaninkuoppaan tutkimaan paikallista tekoälyä. Jos et ole perehtynyt konseptiin, se on itse asiassa melko yksinkertainen. On täysin mahdollista käyttää suurta kielimallia, ChatGPT:n kaltaisen työkalun takana olevia aivoja suoraan tietokoneeltasi tai jopa puhelimeltasi. Se ei tietenkään ole yhtä tehokas tai kaikkitietävä kuin ChatGPT, mutta käyttötapauksestasi riippuen se saattaa silti olla tarpeeksi tehokas. Mikä parasta, tietoja ei poistu laitteeltasi, eikä kuukausittaista tilausmaksua ole harkittava. Mutta jos olet huolissasi siitä, että tämän suorittaminen vaatii insinöörin tutkinnon, mieti uudelleen. Vuonna 2025 paikallisen LLM:n pyörittäminen on hämmästyttävän helppoa, ja työkalut, kuten LM Studio ja Ollama, tekevät siitä yhtä helppoa kuin sovelluksen asentamisen. Kun olen viettänyt viimeiset kuukaudet oman paikallisen tekoälyni pyörittämisessä, voin turvallisesti sanoa, etten koskaan palaa olemaan täysin pilviriippuvainen. Tässä on syy.
Oletko harkinnut paikallisen tekoälyn käyttämistä tietokoneellasi?
410 ääntä
Kyllä, käytän sitä jo.
28%
Kyllä, olen harkinnut sitä.
44%
Ei, en tiennyt sen olevan mahdollista.
19%
Ei, en halua. ChatGPT ja Gemini toimivat minulle.
9%
Yksityisyys
Dhruv Bhutani / Android Authority
Olemme kaikki liittäneet ChatGPT:hen jotain, mitä meidän ei luultavasti olisi pitänyt. Ehkä se oli työssä oleva koodinpätkä, jota yritit ymmärtää. Tai ehkä kopio sopimuksesta, ehkä joitain vientikieltotietoja tai jopa vain todella henkilökohtainen päiväkirjamerkintä, jota et halua paljastaa yritysjohtajillemme. Joka kerta kun painat lähetä pilvipohjaisessa tekoälyssä, tiedot käsitellään täysin läpinäkymättömällä palvelimella, joka väistämättä käyttää tietojasi tekoälyn kaltaisten parannusten hyväksi.
Tässä on sopimus. Journalistisen työni ohella johdan yritystä, jossa olen säännöllisesti alttiina NDA:n suojaamille tiedoille. Ilmeisen tietosuojariskin lisäksi minun olisi laitonta jakaa näitä tietoja julkisen tekoälytyökalun kanssa. Paikallisen LLM:n käyttäminen kuitenkin kääntää skriptin kokonaan. Olen kokeillut monia työkaluja, mutta nykyään testaan AnythingLLM:ää. Se on uskomattoman yksinkertainen työpöytätyökalu, jonka avulla voit keskustella asiakirjojen kanssa kokonaan omalla tietokoneellasi. Tämän avulla voin tehdä esimerkiksi syötteen veroilmoituksia, laskuja, tiliotteita ja jopa NDA-suojattuja asiakirjoja ja pyytää sitä tekemään yhteenvedon asioista, kuten kuluista tai lippulausekkeista, joita minun pitäisi pitää silmällä. Koska koko LLM on käynnissä tietokoneellani, tiedän, että näitä tietoja ei lähetetä offshore-palvelimille käsittelyä varten, ja se antaa minulle mahdollisuuden tehdä nopeampi tekoälypohjainen analyysi tiedoille, joita ei ehdottomasti ole tarkoitettu jaettavaksi. Käytännössä tämä on kuin käyttäisit ChatGPT:n tai Copilotin yritysversiota, mutta tietokoneellasi ilman kustannuksia.
Kieliopin tarkistus
Dhruv Bhutani / Android Authority
Kirjoitan elantoni vuoksi, ja kuten vastaavat toimittajani todistavat, kieliopin tarkistus on työlle välttämätön paha. Mutta työkalut, kuten Grammarly, ovat määritelmän mukaan keyloggereita. Saadakseen mitään aikaan, heidän on luettava ja käsiteltävä mitä kirjoitat. Se saattaa olla hyvä nopealle sähköpostille, mutta en halua käyttää sitä, kun käsittelen etuoikeutettuja tietoja. Lisäksi sinun on kirjauduttava tilaukseen saadaksesi oikean hyödyn näistä työkaluista. Haitat ovat ehdottomasti suuremmat kuin edut.
Joten ratkaisuni on ollut käyttää yhtä monista offline LLM:istä tehokkaana oikolukuna. Voit esimerkiksi asentaa LM Studion, joka käyttää mallia, kuten Llama 3 tai Mistral, ja antaa sille erittäin yksityiskohtaisen komennon, joka käskee korjaamaan kieliopin ja oikeinkirjoituksen muuttamatta sävyä tai lauseita. Siinä kaikki. Voin liittää kokonaisia artikkeleita paikalliseen LLM:ään ja saada välitöntä palautetta ja korjauksia kirjoituksiini. Voit jopa harjoitella sitä tietyillä tyylioppailla, kuten esimerkiksi Oxford-pilkkujen suosimisella tai sitä vastaan, ja paikallinen LLM noudattaa näitä sääntöjä. Käytännössä voit luottaa paikalliseen LLM:ään toimimaan toisena silmänä ilman pelkoa tiedon vuotamisesta laajempaan verkkoon.
Suositeltu luettava:Microsoft Edge siirsi juuri osoitepalkin välilehtien yläpuolelle - Copilot-tila saattaa olla syy
Koodaus
Dhruv Bhutani / Android Authority
Paljon on puhuttu LLM:ien luomasta spagettikoodista. On kuitenkin vaikea kiistää, että se voi olla hyödyllistä generoitaessa vakiokoodia, joka antaa sinulle etumatkan. Katsos, olen melko ruosteinen insinööri viisitoista vuotta yliopistosta päässyt, ja silti tykkään harrastaa koodia silloin tällöin viikonloppuisin. Minun kaltaiselleni tekoäly on ollut uskomatonta ymmärtämään avoimen lähdekoodin sovellusten koodinpätkät. Osoittautuu, että en todellakaan tarvitse Copilotia tai Claudea tähän. Perusasioissa voin kirjaimellisesti vain upottaa koodinpätkän Ollamaan ja pyytää tekoälyä selittämään minulle logiikan. Mitä tulee koodin kirjoittamiseen, olen harrastellut käyttämään VS Coden laajennuksia, jotka voivat liittää Ollaman suoraan koodieditoriin.
Lataa vain koodauskohtainen malli, kuten esim.DeepSeek-kooderipaikallisesti. LLM tarjoaa ehdotuksia koodin automaattiseen täydennykseen, uudelleenmuodostukseen ja virheiden selityksiin, kun asiat väistämättä epäonnistuvat. Ja se tekee kaiken tämän itse IDE:ssä soittamatta kotiin. Se on GitHub Copilot -kokemus, mutta se toimii kokonaan tietokoneellani. Kehittäjille tämä tarkoittaa, että he voivat työskennellä yksityisten projektien tai asiakaskoodin parissa täysin varmuudella, etteivät he vuoda immateriaalioikeuksia julkiselle LLM:lle. Lisäksi saatat vain huomata parantuneen käyttökokemuksen, kun työskentelet kehittäjäkeskeisen LLM:n kanssa yleiskäyttöiseen malliin verrattuna.
Sensuroimatonta luovuutta
Dhruv Bhutani / Android Authority
Täällä asiat ovat mielenkiintoisia. Yleisölle päin olevat tekoälymallit on rakennettu suojakaiteet ajatellen. Kaikki liian äärimmäisenä tai mahdollisesti vaarallisena pidetyt asiat estetään tehokkaasti. Tämä voi olla ongelmallista, jos olet luonnostaan utelias henkilö tai jos haluat tehdä tutkimusta, joka menee askeleen pidemmälle kuin ChatGPT voi tarjota. Minun tapauksessani yksi viikonlopun harrastuksistani on kirjoittaa karkeita trillerinovelleja, ja kun haluan tehdä tutkimusta trilleristä tai kauhukaaresta, ChatGPT ei vain mene niin pitkälle.
Jos kuitenkin käytät paikallista LLM:ää, voit ladata lukitsemattoman mallin, joka on suunniteltu noudattamaan ohjeita ilman moralisointia. Tämä voi vapauttaa luovan vapauden antamalla sinun kehittää hahmoja, joilla on minkälainen persoonallisuus tavoittelet. Sama vapaus voi olla hyödyllistä myös, jos harrastat lautapelejä ja haluat luoda hirvittävän uuden DnD-kampanjan.
Se toimii, kun ChatGPT ei toimi
Robert Triggs / Android Authority
Matkustan paljon ja haluan, että suurin osa yleisesti käyttämistäni palveluista on käytettävissä offline-tilassa. On ennustettavasti, että pilvi tekoälyyn luottamisesta voi tulla suuri kipukohta heti, kun astut lentokoneeseen tai käyt syrjäisessä paikassa, jossa on täpliä Internetiä. Vaikka lentokoneessa olisi WiFi, latenssi voi usein johtaa yhteyden katkeamiseen kyselyn aikana. Se ei ole kovin hyvä käyttäjäkokemus.
Paikallinen tekoälykokoonpanoni sen sijaan kulkee mukanani. Minulla on Ollama asennettuna kannettavalle tietokoneelleni, ja voin pyörittää sitä aina kun tarvitsen sitä. Niin nörttiseltä kuin se saattaa kuulostaakin, se on ollut tuottavuuden paljastus, sillä voin saada melkein kaikki asiat, joita käytän ChatGPT:tä tietokoneellani 36 000 jalan korkeudessa. Jos haluat viedä sen askeleen pidemmälle, voit jopa käyttää sovellusta, kuten SmolChat, ajaaksesi pienempiäkielimalli Android-puhelimellasija käytä sitä yksinkertaisempiin tehtäviin. Tässä on paljon joustavuutta.
Tilausväsymys
Robert Triggs / Android Authority
Aikakaudella, jolloin kaikesta mediankulutuksesta uutisten lukemiseen on tulossa tilaus, ei pitäisi olla yllätys, että kunnollisen tekoälykokemuksen saaminen on myös, arvasit sen, lukittuvan tilauksen taakse. Ymmärrän, että tekoälymallin rakentaminen ja käyttäminen on erittäin kallista. Mikään yksittäinen GPT ei kuitenkaan ole hyvä jokaisessa tehtävässä, ja jos aloin nostaa lukuja, 20 dollarin kuukausimaksu jokaisesta rekisteröidyn LLM:stä alkaa näyttää erittäin kuluvalta erittäin nopeasti.
Paikallinen tekoäly on osta-se-for-life -vaihtoehto. Ainoa todellinen hinta on laitteisto, jolla käytät sitä. Jos käytät tietokonetta, tarvitset tehokkaan näytönohjaimen. Applen puolella jopa MacBook Air pystyy ajamaan kohtuullisen kokoisia malleja kunnollisella leikeellä. Itse avoimen lähdekoodin mallit ovat ilmaisia. Itse asiassa, jos sinulla on uusi tietokone, sinulla on todennäköisesti jo kaikki laitteisto, jota tarvitset oman paikallisen AI-esiintymän saattamiseksi käyntiin. Lisäksi, vaikka sinun on odotettava OpenAI:n vuosittaisen ChatGPT-päivityksen julkaisemista, voit testata uusia malleja ja muunnelmia käytännössä viikoittain Hugging Facen kautta.
Nopeus ja latenssi
Dhruv Bhutani / Android Authority
Vaikka tietokoneesi ei tietenkään kilpaile massiivisesti ylivoimaisten ChatGPT:tä käyttävien datakeskusten kanssa, riippuen siitä, kuinka käytät näitä LLM:itä, saatat huomata, että ero on pienempi kuin kuvittelet. Kun käytetään paikallisesti kohtuullisen tehon omaavalla laitteistolla, tekstin luominen ja yhteenveto voivat usein tapahtua yhtä nopeasti kuin kaupallinen työkalu, ja joskus jopa nopeammin. Lisäksi sinun ei tarvitse kohdata latenssia tai palvelimen kuormitusta. Jos olet käyttänyt ChatGPT:tä millä tahansa taajuudella, olet väistämättä törmännyt käsittelypyörään tai joskus jopa pelättyyn yhteyden aikakatkaisuun. Mikään näistä ei ole asioita, kun tekoälymallisi toimii tietokoneellasi.
Onko paikallisen tekoälymallin käyttäminen kaikille?
Katsokaa, en aio sokeritakkia sitä. Paikallinen tekoäly ei ole täydellinen, eikä se ole kaikille. Jos käytät Claudea monimutkaisten matemaattisten ongelmien ratkaisemiseen tai haluat ehdottoman huippuluokan päättelykyvyn saatavilla, massiivinen pilvimalli, kuten ChatGPT 5.1 tai Claude, on paras vaihtoehto. Niillä on yksinkertaisesti paljon suurempi parametrikanta työskentelyyn kuin mitä tietokoneellesi mahtuu. Tietokoneesi ei myöskään ole tarpeeksi tehokas suorittamaan niitä. Mutta et välttämättä tarvitse sitä voimaa päivittäin. Kokemukseni perusteella 90 % päivittäisistä tekoälytehtävistäni, kuten yhteenveto, editointi, koodin selitys ja aivoriihi, toimivat täydellisesti paikallisten mallien kanssa.
Onko se nörttiä toimintaa? Kyllä. Onko hauskaa puuhailla? Myös kyllä. Se on vähän kuin Internetin aikaisin villin, villin lännen päivä, paitsi että olet täysin sinun hallinnassasi.
Etkö halua missata Android Authorityn parasta?
Kiitos, että olet osa yhteisöämme. Lue kommenttikäytäntömme ennen julkaisemista.
