Heikkolaatuisen tekoälyn tuottaman sisällön tulvan edessä akateeminen preprint-palvelin arXiv tiukentaa tietojenkäsittelytieteen papereiden lähettämissääntöjä.
Ilmoituksessa 31. lokakuuta, vaikutusvaltainen alusta ilmoitti, että sen Computer Science (CS) -luokka ei enää hyväksy arvosteluartikkeleita tai kannanottoja, elleivät ne ole jo läpäisseet vertaisarviointia tunnustetussa lehdessä tai konferenssissa.
Siirron tarkoituksena on vähentää vapaaehtoisten moderaattoreiden taakkaa ja se kohtaa suoraan lähetystulvan, jonka arXiv sanoo olevan "nopeita ja helppoja kirjoittaa" generatiivisen tekoälyn avulla, mutta joissa ei useinkaan ole sisältöä.
Tekoälyn tuottaman "slopin" tulva
Pyrkiessään turvaamaan tutkimuksen laadun arXiv kohtaa suoraan suurten kielimallien vaikutuksen akateemiseen julkaisuun. Alusta on täynnä palautetta, erityisesti sen nopeasti muuttuvassa tietojenkäsittelytieteen osassa.
Virallisen lausunnon mukaan sivusto saa nyt "satoja arvosteluartikkeleita joka kuukausi". Sen valtava määrä on muuttunut alustan tarkistusjärjestelmälle hallitsemattomaksi.
Monet näistä väitteistä eivät täytä tieteellisiä perusstandardeja. arXiv-moderaattorit havaitsivat, että "suurin osa saamistamme katsausartikkeleista on hieman enemmän kuin huomautettuja bibliografioita, joissa ei ole keskustelua avoimista tutkimuskysymyksistä."
Tällaiset paperit lisäävät akateemista melua ja tuhlaavat tutkijoiden aikaa uusien oivallusten etsimiseen. Tällainen tuotannon helppous on johtanut merkittävään rasitukseen papereita tarkastaville vapaaehtoisille asiantuntijoille.
Kuten arXiv selitti, "generatiiviset tekoälymallit / suuret kielimallit ovat lisänneet tätä tulvaa tekemällä papereista - varsinkin papereista, jotka eivät esitä uusia tutkimustuloksia - nopeita ja helppoja kirjoittaa."
Tämä vähäponnistetun sisällön nousu uhkaa haudata laillisen tutkimuksen ja laimentaa alustan arvoa.
Myös tämän tulvan mahdollistavien kehittyneiden työkalujen määrä ja kapasiteetti kasvavat. Viimeaikaiset julkaisut, kuten yksi, joka kuvaa monen agentin tekoälyn tutkimusassistenttia, osoittavat teknologiaa, joka pystyy automatisoimaan koko akateemisen kirjoitusprosessin ideoinnista luonnoksiin.
Tämän tekniikan ansiosta on triviaalia luoda uskottavalta kuulostava, mutta lopulta onttoja kirjallisuuskatsauksia, mikä pahentaa ongelmaa, jota arXiv nyt yrittää ratkaista. Edellisen vertaisarvioinnin vaatiminen toimii ratkaisevana suodattimena ja ulkoistaa alkuperäisen laadunvalvonnan vakiintuneisiin lehtiin ja konferensseihin.
Paineen alainen järjestelmä
Vaikka politiikan muutos on uusi, taustalla oleva ongelma ei ole. Theakateeminen vertaisarviointiprosession kamppaillut vuosia "julkaise tai hävitä" -kulttuurin alla, joka kannustaa määrää laadun edelle.
Asiantuntijat, kuten Satoshi Tanaka Kioton lääkeyliopistosta, ovat väittäneet, että korkeakoulujen vertaisarviointiprosessi "on kriisissä".
Kriisiä pahentaa se, että vapaaehtoisten arvioijien rajallinen joukko on hämmästynyt hakemusten määrästä. Tämä väsymys luo haavoittuvuuden, jota tekoälytyökalut, sekä hyvään että huonoon, alkavat hyödyntää.
arXiv on ollut tekoälystä ja akateemisesta eheydestä käytyjen keskustelujen keskipiste ennenkin. Viime vuonna tutkijoiden havaittiin jopa upottaneen papereihinsa piilotettuja komentoja tekoälypohjaisten tarkistusjärjestelmien manipuloimiseksi. Tämä käytäntö tunnetaan nimellä pikainjektio.
Kirjoittajat yrittivät huijata automaattisia järjestelmiä antamaan positiivista palautetta piilottamalla ohjeet valkoiseen tekstiin tai mikroskooppisiin kirjasimiin. Tämä tapaus korosti, kuinka helposti automatisoituja järjestelmiä voitiin pelata, mikä heikensi koko tarkistusprosessia.
ArXivin äskettäisen muutoksen vivahteet aiheuttivat jopa hämmennystä, sillä jotkin myyntipisteet raportoivat alun perin virheellisesti uuden säännön laajuudesta.
Ei uusi politiikka, vaan välttämätön täytäntöönpano
ArXiv-virkailijat selittivät, että muutos on enemmän täytäntöönpanotoimi kuin uusi käytäntö, viitaten hallitsemattomaan lähetysten virtaan.
Lisää luettavaa:Microsoft aikoo soveltaa tiukempia ajurien eristyssääntöjä WHCP-/todistustoimituksiin
Arvosteluartikkelit ja kannanotot eivät koskaan olleet virallisesti hyväksyttyjä sisältötyyppejä, mutta ne sallittiin historiallisesti moderaattorin harkinnan mukaan, kun ne olivat korkealaatuisia ja tieteellisesti kiinnostavia.
Äskettäinen räjähdysmäinen määrä tekoälyn vetämänä on yksinkertaisesti tehnyt tästä harkinnanvaraisesta lähestymistavasta kestämättömäksi. Näiden vapaaehtoisten moderaattorien ajan – preprint-järjestelmän peruskallio – suojeleminen on välttämätöntä.
ArXiv-alustan ohjeissa todetaan, että ihmistekijät ovat täysin vastuussa kaikesta tekoälytyökalujen tuottamasta sisällöstä ja kieltävät nimenomaisesti tekoälyn listaamisen mukana kirjoittajiksi.
Tämän uuden moderointikäytännön ottaminen käyttöön CS-kategoriassa on looginen jatko tälle periaatteelle, mikä vahvistaa, että ihmislähtöinen validointi on edelleen ensiarvoisen tärkeää. Julkaisijat eri puolilla alaa kamppailevat tämän kanssa ja luovat hajanaisia käytäntöjä.
Vaikka jotkut sallivat rajoitetun tekoälyn käytön,muut, kuten Elsevier, ovat kieltäneet sen kokonaan, vetoaa "riskiin, että tekniikka tuottaa vääriä, epätäydellisiä tai puolueellisia johtopäätöksiä".
Jatkossa alusta on osoittanut, että muut tieteenalat saattavat nähdä samanlaisia muutoksia. Ilmoituksessaan arXiv totesi: "Jos muut kategoriat näkevät samanlaisen nousun LLM:n kirjoittamissa arvosteluartikkeleissa ja kannanotoissa, he voivat muuttaa moderointikäytäntöjään samalla tavalla…"
Tällainen liike viittaa mahdolliseen alustanlaajuiseen muutokseen, jos tekoälyn luoman sisällön aalto jatkaa leviämistä. Se ei aseta arXivin liikettä yksittäiseksi korjaukseksi, vaan potentiaalisena kellonäänenä sille, kuinka koko tiedeyhteisö pakotetaan sopeutumaan generatiivisen tekoälyn haasteisiin ja houkutuksiin.
