Bottiliikenne: mitä se on ja miksi sinun pitäisi välittää siitä (2023)

Boteista on tullut olennainen osa digitaalista tilaa nykyään. He auttavat meitä tilaamaan elintarvikkeita, soittamaan musiikkia Slack-kanavallamme ja maksamaan kollegoillemme takaisin meille ostamistaan ​​herkullisista smoothieista. Botit myös täyttävät Internetin suorittamaan niille suunniteltuja toimintoja. Mutta mitä tämä tarkoittaa verkkosivustojen omistajille? Ja (ehkä vielä tärkeämpää) mitä tämä tarkoittaa ympäristölle? Lue eteenpäin saadaksesi selville, mitä sinun tulee tietää robottiliikenteestä ja miksi sinun pitäisi välittää siitä!

Mikä on botti?

Aloitetaan perusasioista: Botti on ohjelmistosovellus, joka on suunniteltu suorittamaan automatisoituja tehtäviä Internetissä. Botit voivat jäljitellä tai jopa korvata todellisen käyttäjän käyttäytymistä. He ovat erittäin hyviä suorittamaan toistuvia ja arkipäiväisiä tehtäviä. Ne ovat myös nopeita ja tehokkaita, mikä tekee niistä täydellisen valinnan, jos sinun on tehtävä jotain suuressa mittakaavassa.

Mitä on bot-liikenne?

Bottiliikenteellä tarkoitetaan mitä tahansa ei-inhimillistä liikennettä verkkosivustolle tai sovellukseen. Mikä on hyvin tavallista Internetissä. Jos omistat verkkosivuston, on hyvin todennäköistä, että robotti on käynyt sinulla. Itse asiassa bottiliikenteen osuus onmelkein 30 %kaikesta Internet-liikenteestä tällä hetkellä.

Onko bottiliikenne huonoa?

Olet luultavasti kuullut, että bot-liikenne on haitallista sivustollesi. Ja monissa tapauksissa se on totta. Mutta on olemassa myös hyviä ja laillisia botteja. Se riippuu robottien tarkoituksesta ja niiden tekijöiden tarkoituksesta. Jotkut robotit ovat välttämättömiä digitaalisten palveluiden, kuten hakukoneiden tai henkilökohtaisten avustajien, käyttämiselle. Jotkut robotit haluavat kuitenkin tunkeutua verkkosivustollesi raa'alla voimalla ja varastaa arkaluonteisia tietoja. Joten mitkä robotit ovat "hyviä" ja mitkä "pahoja"? Sukellaanpa hieman syvemmälle tähän aiheeseen.

"Hyvät" robotit

"Hyvät" robotit suorittavat tehtäviä, jotka eivät aiheuta haittaa verkkosivustollesi tai palvelimellesi. He ilmoittavat itsestään ja kertovat sinulle, mitä he tekevät verkkosivustollasi. Suosituimmat "hyvät" robotit ovat hakukoneiden indeksointirobotit. Ilman indeksointirobotteja, jotka vierailevat verkkosivustollasi löytääkseen sisältöä, hakukoneet eivät voi tarjota sinulle tietoja, kun haet jotain. Joten kun puhumme "hyvästä" robottiliikenteestä, puhumme näistä roboteista.

Hakukoneiden indeksointirobottien lisäksi muita hyviä Internet-botteja ovat:

• SEO-indeksoijat: Jos olet hakukoneoptimoinnin alalla, olet todennäköisesti käyttänyt työkaluja, kutenSemrushtaiAhrefstehdä avainsanatutkimusta tai saada tietoa kilpailijoista. Jotta nämä työkalut palvelisivat sinulle tietoja, niiden on myös lähetettävä botteja, jotka indeksoivat verkkoa ja keräävät tietoja.
• Kaupalliset robotit: Kaupalliset yritykset lähettävät nämä robotit indeksoimaan Internetiä keräämään tietoja. Esimerkiksi tutkimusyritykset käyttävät niitä markkinoiden uutisten seuraamiseen; mainosverkostot tarvitsevat niitä näyttömainosten valvontaan ja optimointiin. "Kuponki"-sivustot keräävät alennuskoodeja ja myyntiohjelmia palvellakseen käyttäjiä verkkosivuillaan.
• Sivuston seurantabotit: Niiden avulla voit seurata verkkosivustosi käytettävyyttä ja muita mittareita. He tarkistavat ja raportoivat säännöllisesti tiedot, kuten palvelimesi tilan ja käyttöajan keston. Näin voit ryhtyä toimiin, kun sivustossasi on jotain vialla.
• Syöte/koontibotit: Ne keräävät ja yhdistävät uutisarvoista sisältöä toimittaakseen sivustosi vierailijoille tai sähköpostin tilaajille.

"Huonot" robotit

"Huonot" robotit luodaan ilkeämielisesti. Olet luultavasti nähnyt roskapostirobotteja, jotka lähettävät sivustollesi roskapostia järjettömillä kommenteilla, asiaankuulumattomilla käänteislinkeillä ja hirvittävillä mainoksilla. Ja ehkä olet myös kuullut boteista, jotka vievät ihmisten paikan online-arvonnoissa, tai boteista, jotka ostavat konserttien hyviä paikkoja.

Näiden haitallisten robottien ansiosta bottiliikenne saa huonon maineen, ja aivan oikein. Valitettavasti Internetissä on nykyään huomattava määrä huonoja botteja.

Tässä on joitain botteja, joita et halua sivustollesi:

• Sähköpostikaapijat: He keräävät sähköpostiosoitteita ja lähettävät haitallisia sähköposteja näille yhteyshenkilöille.
• Kommentoi roskapostirobotteja: Roskapostia verkkosivustollesi kommenteilla ja linkeillä, jotka ohjaavat ihmiset haitalliselle verkkosivustolle. Monissa tapauksissa he lähettävät sivustollesi roskapostia mainostaakseen tai yrittääkseen saada käänteisiä linkkejä sivustoilleen.
• Kaavinrobotit:Nämä robotit tulevat verkkosivustollesi ja lataavat kaiken, mitä he löytävät. Se voi sisältää tekstiä, kuvia, HTML-tiedostoja ja jopa videoita. Bottioperaattorit käyttävät sitten sisältöäsi uudelleen ilman lupaa.
• Botit tunnistetietojen täyttämiseen tai raa'an voiman hyökkäyksiin: Nämä robotit yrittävät päästä verkkosivustollesi varastaakseen arkaluonteisia tietoja. He tekevät tämän yrittämällä kirjautua sisään oikeana käyttäjänä.
• Botnet, zombie-tietokoneet: Ne ovat tartunnan saaneiden laitteiden verkkoja, joita käytetään DDoS-hyökkäyksiin. DDoS on lyhenne sanoista hajautettu palvelunesto. DDoS-hyökkäyksen aikana hyökkääjä käyttää tällaista laiteverkkoa täyttääkseen verkkosivuston bottiliikenteellä. Tämä ylittää verkkopalvelimesi pyynnöillä, mikä johtaa hitaaseen tai käyttökelvottomaan verkkosivustoon.
• Varasto ja lippubotit: He käyvät verkkosivustoilla ostaakseen lippuja viihdetapahtumiin tai ostamassa joukkona uusia tuotteita. Välittäjät käyttävät niitä lippujen tai tuotteiden jälleenmyyntiin korkeammalla hinnalla voittojen saamiseksi.

Miksi sinun pitäisi välittää bot-liikenteestä

Nyt kun sinulla on tietoa robottiliikenteestä, puhutaanpa siitä, miksi sinun pitäisi välittää.

Verkkosivustosi suorituskykyyn

Haitallinen robottiliikenne rasittaa verkkopalvelintasi ja joskus jopa ylikuormittaa sitä. Nämä robotit vievät pyyntöillään palvelimesi kaistanleveyttä, mikä tekee verkkosivustostasi hitaan tai täysin käyttökelvottoman DDoS-hyökkäyksen sattuessa. Sillä välin olet saattanut menettää liikennettä ja myyntiä muille kilpailijoille.

Lisäksi haitalliset robotit naamioituvat tavalliseksi ihmisliikenteeksi, joten ne eivät välttämättä näy, kun tarkistat verkkosivustosi tilastot. Lopputulos? Saatat nähdä satunnaisia ​​piikkejä liikenteessä, mutta et ymmärrä miksi. Tai saatat olla ymmälläsi siitä, miksi saat liikennettä, mutta et tuloksia. Kuten voit kuvitella, tämä voi vahingoittaa liiketoimintapäätöksiäsi, koska sinulla ei ole oikeita tietoja.

Sivustosi turvallisuuden vuoksi

Haitalliset robotit ovat myös haitallisia sivustosi turvallisuudelle. He yrittävät tunkeutua verkkosivustollesi raa'alla voimalla käyttämällä erilaisia ​​käyttäjätunnus-/salasanayhdistelmiä tai etsivät heikkoja sisäänkäyntikohtia ja raportoivat operaattoreilleen. Jos sinulla on tietoturva-aukkoja, nämä haitalliset pelaajat saattavat jopa yrittää asentaa viruksia verkkosivustollesi ja levittää niitä käyttäjillesi. Ja jos omistat verkkokaupan, sinun on hallittava arkaluontoisia tietoja, kuten luottokorttitietoja, joita hakkerit haluaisivat varastaa.

Ympäristön puolesta

Tiesitkö, että bot-liikennevaikuttaa ympäristöön? Kun robotti vierailee sivustollasi, se lähettää HTTP-pyynnön palvelimellesi ja pyytää tietoja. Palvelimesi on vastattava ja palautettava sitten tarvittavat tiedot. Aina kun näin tapahtuu, palvelimesi on käytettävä pieni määrä energiaa pyynnön suorittamiseen. Mieti nyt kuinka monta bottia Internetissä on. Voit luultavasti kuvitella, että bot-liikenteeseen käytetty energiamäärä onvaltava!

Tässä mielessä ei ole väliä, vieraileeko sivustollasi hyvä vai huono robotti. Prosessi on edelleen sama. Molemmat käyttävät energiaa tehtäviensä suorittamiseen, ja molemmilla on vaikutuksia ympäristöön.

Vaikka hakukoneet ovat olennainen osa Internetiä, ne syyllistyvät myös tuhlaukseen. He voivat vierailla sivustollasi liian monta kertaa eivätkä edes huomaa oikeita muutoksia. Suosittelemme tarkistamaan palvelinlokin, kuinka monta kertaa indeksointirobotit ja robotit vierailevat sivustollasi. Lisäksi Google Search Consolessa on indeksointitilastoraportti, joka kertoo myös kuinka monta kertaa Google indeksoi sivustosi. Saatat yllättyä joistakin luvuista.

Pieni tapaustutkimus Yoastilta

Otetaan esimerkiksi Yoast. Päivänä Googlen indeksointirobotit voivat vierailla verkkosivustollamme 10 000 kertaa. Saattaa tuntua järkevältä vierailla meillä paljon, mutta he indeksoivat vain 4 500 yksilöllistä URL-osoitetta. Tämä tarkoittaa, että päällekkäisten URL-osoitteiden indeksointiin käytettiin energiaa jatkuvasti. Vaikka julkaisemme ja päivitämme verkkosivustomme sisältöä säännöllisesti, emme todennäköisesti tarvitse kaikkia näitä indeksointeja. Nämä indeksoinnit eivät ole vain sivuja varten; indeksointirobotit käyvät läpi myös kuvamme, CSS:n, JavaScriptin jne.

Mutta siinä ei vielä kaikki. Google-botit eivät ole ainoita, jotka vierailevat meillä. On botteja muista hakukoneista, digitaalisista palveluista ja jopa huonoja botteja. Tällainen tarpeeton bot-liikenne rasittaa verkkosivustomme palvelinta ja tuhlaa energiaa, joka voitaisiin muuten käyttää muuhun arvokkaaseen toimintaan.

Mitä voit tehdä "pahoja" botteja vastaan?

Voit yrittää havaita huonot robotit ja estää niitä pääsemästä sivustollesi. Tämä säästää paljon kaistanleveyttä ja vähentää palvelimesi rasitusta, mikä puolestaan ​​auttaa säästämään energiaa. Yksinkertaisin tapa tehdä tämä on estää yksittäinen tai koko joukko IP-osoitteita. Sinun tulee estää IP-osoite, jos havaitset epäsäännöllistä liikennettä kyseisestä lähteestä. Tämä lähestymistapa toimii, mutta se on työlästä ja aikaa vievää.

Vaihtoehtoisesti voit käyttää robottien hallintaratkaisua palveluntarjoajilta, kutenCloudflare. Näillä yrityksillä on laaja tietokanta hyvistä ja huonoista roboteista. He myös käyttävät tekoälyä ja koneoppimista havaitakseen haitalliset robotit ja estävät ne, ennen kuin ne voivat vahingoittaa sivustoasi.

Suojauslaajennukset

Lisäksi sinun tulee asentaa suojauslaajennus, jos käytät WordPress-verkkosivustoa. Jotkut suosituimmista suojauslaajennuksista (esimTurvamehuttaiWordfence) ylläpitävät yritykset, jotka työllistävät tietoturvatutkijoita, jotka valvovat ja korjaavat ongelmia. Jotkut suojauslaajennukset estävät automaattisesti tiettyjä "huonoja" robotteja puolestasi. Toiset antavat sinun nähdä, mistä epätavallinen liikenne tulee, ja sitten voit päättää, kuinka käsitellä tätä liikennettä.

Entä "hyvät" robotit?

Kuten aiemmin mainitsimme, "hyvät" robotit ovat hyviä, koska ne ovat välttämättömiä ja läpinäkyviä toimissaan. Mutta ne voivat silti kuluttaa paljon energiaa. Puhumattakaan, nämä robotit eivät ehkä ole edes hyödyllisiä sinulle. Vaikka heidän toimintaansa pidetään "hyvänä", ne voivat silti olla haitallisia verkkosivustollesi ja ympäristöllesi. Joten mitä voit tehdä hyville roboteille?

1. Estä heidät, jos niistä ei ole hyötyä

Sinun on päätettävä, haluatko näiden "hyvien" robottien indeksoivan sivustosi. Onko sivustosi indeksoinnista sinulle hyötyä? Tarkemmin sanottuna: hyötyvätkö he sivustosi indeksoinnista sinulle enemmän kuin palvelimillesi, niiden palvelimille ja ympäristölle aiheutuvat kustannukset?

Otetaan esimerkiksi hakukonebotit. Google ei ole ainoa hakukone. Todennäköisimmin myös muiden hakukoneiden indeksointirobotit ovat vierailleet luonasi. Entä jos hakukone on indeksoinut sivustosi tänään 500 kertaa ja tuonut sinulle vain kymmenen kävijää? Onko siitä vielä hyötyä? Jos näin on, sinun kannattaa harkita niiden estämistä, koska et kuitenkaan saa paljon lisäarvoa tästä hakukoneesta.

2. Rajoita indeksointinopeutta

Jos botit tukevatryömimisen viiverobots.txt-tiedostossa, sinun tulee yrittää rajoittaa niiden indeksointinopeutta. Tällä tavalla he eivät palaa 20 sekunnin välein indeksoimaan samoja linkkejä uudestaan ​​​​ja uudestaan. Koska ollaan rehellisiä, et luultavasti päivitä verkkosivustosi sisältöä 100 kertaa minkään päivän aikana. Vaikka sinulla olisi isompi verkkosivusto.

Sinun tulisi pelata indeksointinopeudella ja seurata sen vaikutusta verkkosivustoosi. Aloita pienellä viiveellä ja lisää sitten määrää, kun olet varma, ettei sillä ole kielteisiä seurauksia. Lisäksi voit määrittää tietyn indeksointiviiveen eri lähteistä tuleville indeksointiroboteille. Valitettavasti Google ei tue indeksointiviivettä, joten et voi käyttää tätä Google-bottien kanssa.

3. Auta heitä indeksoimaan tehokkaammin

Verkkosivustollasi on monia paikkoja, joihin indeksointirobotit eivät tule. Esimerkiksi sisäiset hakutulokset. Siksi sinun pitäisiestää heidän pääsynsä robots.txt-tiedoston kautta. Tämä ei ainoastaan ​​säästä energiaa, vaan auttaa myös optimoimaanindeksointibudjetti.

Seuraavaksi voit auttaa botteja indeksoimaan sivustosi paremmin poistamalla tarpeettomat linkit, joita sisällönhallintajärjestelmäsi ja laajennukset automaattisesti luovat. Esimerkiksi WordPress luo automaattisesti RSS-syötteen verkkosivustosi kommenteille. Tässä RSS-syötteessä on linkki, mutta tuskin kukaan katso sitä joka tapauksessa, varsinkin jos sinulla ei ole paljon kommentteja. Siksi tämän RSS-syötteen olemassaolo ei välttämättä tuo sinulle mitään arvoa. Se vain luo uuden linkin, jonka indeksointirobotit voivat indeksoida toistuvasti, mikä kuluttaa energiaa prosessiin.

Optimoi verkkosivustosi indeksointi Yoast SEO:lla

Yoast SEO:lla on hyödyllinen ja kestävä uusi asetus:indeksoinnin optimointiasetukset! Yli kanssa20 käytettävissä olevaa kytkintä, voit poistaa käytöstä tarpeettomat asiat, jotka WordPress lisää automaattisesti sivustollesi. Voit nähdä indeksointiasetukset keinona puhdistaa sivustosi helposti ei-toivotuista kustannuksista. Sinulla on esimerkiksi mahdollisuus puhdistaa sivustosi sisäinen sivustohaku SEO-roskapostihyökkäyksen estämiseksi!

Vaikka olisit alkanut käyttää indeksoinnin optimointiasetuksia vasta tänään, autat jo ympäristöä!

Lue lisää:SEO perusteet: Mitä indeksoitavuus on? »