Mitä tietää
- CloudFlare väittää, että hämmentyneen AI -robotit ohittavat lohkoja indeksoidakseen rajoitettuja verkkosivustoja.
- CloudFlare sanoo, että hämmentyminen käyttää vaihtoehtoisia IP -osoitteita ja peittää käyttäjäagentinsa.
- Hälytys kiistää tarkoituksella välttää verkkosivustojen rajoituksia tai toimia petollisesti.
- Riita korostaa kasvavia jännitteitä AI -tiedonkeruukäytäntöjen suhteen.
CloudFlare, merkittävä Internet -infrastruktuurin tarjoaja,on syyttänytHälytys, AI-käyttöinen hakukäynnistys, "varkain indeksointi" -taktiikan käyttäminen verkkosivustoihin, jotka ovat nimenomaisesti estäneet sen robotit. Kiista keskittyy siihen, kuinka hämmennyksen AI kerää tietoja verkosta, herättäen uusia kysymyksiä avoimuudesta ja suostumuksesta AI-pohjaisen haun aikakaudella.
CloudFlaren mukaan Perplexity -robotit ovat käyttäneet verkkosivustoja, jotka ovat asettaneet sääntöjä niiden estämiseksi. Tyypillisesti verkkosivustot voivat estää robotteja indeksoimasta sisältöä käyttämällä tiedostoa nimeltä Robots.txt tai estämällä tunnettuja IP -osoitteita. Cloudflare väittää kuitenkin hämmentyneenä näiden rajoitusten kiertämisessä käyttämällä erilaisia pilvipalvelujen tarjoajia ja pyöriviä IP -osoitteita, mikä vaikeuttaa sivustojen tunnistamista ja estämistä indeksoijistaan.
CloudFlaren raportissa sanotaan, että hämmennyksen robotit eivät aina tunnista itseään rehellisesti. Sen sijaan, että käyttäisi käyttäjäagenttia, joka selvästi toteaa sen olevan hämmennystä, robotit esiintyvät joskus tavallisina selainina tai muina palveluina. Tämä käytäntö, joka tunnetaan nimellä “käyttäjäagentin huijaus”, voi tehdä verkkosivustojen järjestelmänvalvojien lähes mahdotonta tietää, milloin hämmentyminen indeksoi heidän sivustojaan.
Hälytys vastasi väitteisiin kieltämällä tahalliset väärinkäytökset. Yhtiö sanoi, että se ei yritetä tarkoituksella kiertää verkkosivustojen rajoituksia tai johtaa ketään harhaan sen indeksointitoiminnasta. Hälytys väittää, että se kunnioittaa robots.txt ja muita standardiverkkoprotokollia ja että kaikki ongelmat ovat tahatonta tai kolmansien osapuolien infrastruktuurin tarjoajien tulosta.
Tämä riita tulee aikaan, jolloin AI -yritykset ovat yhä enemmän tarkastelemassa siitä, kuinka he keräävät ja käyttävät tietoja avoimesta verkosta. Monet kustantajat ja verkkosivustojen omistajat ovat huolissaan AI-roboteista, jotka raaputtavat sisältöään ilman lupaa, etenkin kun AI-moottorien työkalut muuttuvat yleisemmiksi ja vaikutusvaltaisemmiksi. Cloudflaren väitteet lisäävät polttoainetta meneillään olevaan keskusteluun AI -yritysten vastuista ja verkkosivustojen omistajien oikeuksista.
Toistaiseksi CloudFlare sanoo, että se jatkaa hämmentävyyden toimintaa ja työskentelee verkkosivustojen omistajien kanssa auttaakseen heitä estämään ei -toivottuja indeksoijia. Yhtiö rohkaisee myös avoimuutta kaikilta AI -yrityksiltä siitä, kuinka he keräävät tietoja ja ovat vuorovaikutuksessa verkon kanssa.
