Internetin rakenteita muokataan tekoälyagenttien käyttöön

Tekoälyagenttien yleistyminen on alkanut muuttaa sitä, millaiselle käytölle internetin ja pilvipalvelujen perusrakenteita suunnitellaan. Ihmiskäyttäjien sijaan yhä suurempi osa kuormasta voi syntyä ohjelmistoista, jotka tekevät hetkessä hakuja, kutsuvat rajapintoja ja käsittelevät suuria määriä tietoa.

Ihmisten rytmistä agenttien purskeisiin

Pilvi-infrastruktuuri on pitkään rakennettu käytölle, jossa ihmiset hakevat tietoa, klikkaavat linkkejä, selaavat sivuja ja katsovat sisältöjä melko ennakoitavassa tahdissa. Tekoälyagentit eivät kuitenkaan toimi samalla tavalla. Ne voivat käynnistää useita alitehtäviä, kysellä satoja tietokantoja, etsiä asiakirjoista tietoa ja kutsua ohjelmointirajapintoja muutamassa sekunnissa.

Tällainen liikenne voi syntyä nopeasti ja myös päättyä nopeasti. Se tekee kuormasta vaikeammin ennakoitavaa kuin perinteinen verkkokäyttö, jossa käyttäjämäärät ja käyttötavat muuttuvat usein tasaisemmin. Siksi infrastruktuurin on kyettävä vastaamaan äkillisiin piikkeihin ilman, että kapasiteettia pidetään jatkuvasti varattuna tyhjäkäyntiä varten.

AWS uudistaa hakupalveluaan

Amazonin pilviyksikkö AWS on vastannut muutokseen julkaisemalla torstaina uuden sukupolven OpenSearch Serverless -palvelustaan. Kyse on täysin hallinnoidusta haku- ja vektoritietokannasta, jonka tarkoitus on tallentaa ja hakea tietoa suuressa mittakaavassa.

AWS:n mukaan uusi järjestelmä on suunniteltu erityisesti agenttipohjaisille työkuormille. Palvelun kerrotaan pystyvän kasvattamaan kapasiteettiaan heti, kun agentit käynnistävät tehtäviä, ja skaalautumaan takaisin nollaan, kun käyttöä ei ole. Tämä vastaa tilanteeseen, jossa agentti voi hetkellisesti synnyttää suuren määrän hakuja ja rajapintakutsuja ja kadota sen jälkeen yhtä nopeasti.

Arkistot joutuvat samaan paineeseen

Koneellisen käytön kasvu näkyy myös muualla verkon infrastruktuurissa. Suuret kielimallit tarvitsevat valtavia määriä laadukasta tekstiä, ja vuosikymmenten aikana kertynyt uutisaineisto on niille arvokasta koulutusmateriaalia. Internet Archiven Wayback Machine tarjoaa arkistoitua verkkosisältöä rajapintojen ja osoitteiden kautta, ja vuoden 2023 Washington Postin analyysin mukaan Internet Archivesta peräisin olevaa dataa oli esiintynyt merkittävissä tekoälyn koulutusaineistoissa.

The New York Times, CNN, USA Today, The Guardian ja vähintään 241 muuta uutisorganisaatiota yhdeksässä maassa ovat ryhtyneet rajoittamaan Archiven indeksoijia. Internet Archive on säilyttänyt yli biljoona verkkosivua vuodesta 1996 lähtien, ja sitä käyttävät muun muassa tuomioistuimet, toimittajat ja historioitsijat. Rajoitusten taustalla on kustantajien huoli siitä, että tekoäly-yhtiöt käyttävät arkistoitua uutisaineistoa mallien kouluttamiseen ilman lupaa tai korvausta.