Si funksionojnë robotët e motorëve të kërkimit
Roboti i kërkimit (merimangë, bot) është a program i vogël, i aftë për të vizituar miliona faqe interneti pa pjesëmarrjen e një operatori dhe për të skanuar gigabajt tekstesh. Leximi i faqeve dhe ruajtja e kopjeve të tekstit të tyre është faza e parë e indeksimit të dokumenteve të reja. Duhet të theksohet se robotët e motorëve të kërkimit nuk kryejnë asnjë përpunim të të dhënave të marra. Detyra e tyre është vetëm ruajtja e informacionit tekstual.
Më shumë video në kanalin tonë - mësoni marketingun në internet me SEMANTICA
Lista e robotëve të kërkimit
Nga të gjithë motorët e kërkimit të përfshirë në skanimin e Runet, Yandex ka koleksionin më të madh të robotëve. Robotët e mëposhtëm janë përgjegjës për indeksimin:
- roboti kryesor i indeksimit që mbledh të dhëna nga faqet e internetit;
- një bot i aftë për të njohur pasqyrat;
- Roboti i kërkimit Yandex që indekson imazhet;
- një merimangë që shfleton faqet e faqeve të pranuara në YAN;
- ikonat e faviconave të skanimit të robotëve;
- disa merimanga që përcaktojnë disponueshmërinë e faqeve të faqes.
Roboti kryesor i kërkimit i Google mbledh informacione tekstuale. Në thelb, ai shikon skedarët html, analizon JS dhe CSS në intervale të rregullta. Mund të pranojë çdo lloj përmbajtjeje të lejuar për indeksim. PS Google ka një merimangë që kontrollon indeksimin e imazheve. Ekziston edhe një robot kërkimi - një program që mbështet funksionimin versioni celular kërkimi.
Shikoni faqen përmes syve të një roboti kërkimi
Për të korrigjuar gabimet e kodit dhe mangësitë e tjera, webmaster mund të zbulojë se si roboti i kërkimit e sheh faqen. Ky opsion ofrohet nga Google PS. Do t'ju duhet të shkoni te veglat e webmasterit dhe më pas të klikoni në skedën "skanim". Në dritaren që hapet, zgjidhni rreshtin "shfleto si Googlebot". Tjetra, duhet të vendosni adresën e faqes në studim në formularin e kërkimit (pa specifikuar domenin dhe protokollin http://).
Duke zgjedhur komandën "merr dhe shfaq", webmaster do të jetë në gjendje të vlerësojë vizualisht gjendjen e faqes së faqes. Për ta bërë këtë, duhet të klikoni në kutinë e kontrollit "kërkesa për shfaqje". Do të hapet një dritare me dy versione të dokumentit në internet. Uebmaster mëson se si një vizitor i rregullt e sheh faqen dhe në çfarë forme është e disponueshme për merimangën e kërkimit.
Këshillë!Nëse dokumenti në ueb që po analizohet nuk është ende i indeksuar, atëherë mund të përdorni komandën "shto në indeks" >> "zvarritje vetëm këtë URL". Merimanga do të analizojë dokumentin brenda pak minutash, në të ardhmen e afërt faqja e internetit do të shfaqet në rezultatet e kërkimit. Kufiri mujor i kërkesës për indeksim është 500 dokumente.
Si të ndikoni në shpejtësinë e indeksimit
Pasi të zbulojë se si funksionojnë robotët e kërkimit, webmaster do të jetë në gjendje të promovojë faqen e tij në mënyrë shumë më efikase. Një nga problemet kryesore të shumë projekteve të reja në internet është indeksimi i dobët. Robotët e motorëve të kërkimit hezitojnë të vizitojnë burime jo autoritative të internetit.
Është vërtetuar se shpejtësia e indeksimit varet drejtpërdrejt nga intensiteti me të cilin azhurnohet faqja. Shtimi i rregullt i materialeve tekstuale unike do të tërheqë vëmendjen e motorit të kërkimit.
Për të shpejtuar indeksimin, mund të përdorni faqerojtësit socialë dhe shërbimin twitter. Rekomandohet të krijoni një Sitemap dhe ta ngarkoni atë në direktorinë rrënjë të projektit në internet.
Duke parë nëpër regjistrat e serverit, ndonjëherë mund të vëreni interes të tepruar për faqet nga robotët e kërkimit. Nëse robotët janë të dobishëm (për shembull, indeksimi i boteve të PS), mbetet vetëm të vëzhgoni, edhe nëse ngarkesa në server rritet. Por ka ende shumë robotë dytësorë, qasja e të cilëve në sit nuk kërkohet. Për veten time dhe për ju, lexues i dashur, kam mbledhur informacion dhe i kam kthyer në një tabletë të përshtatshme.
Kush janë robotët e kërkimit
kërkimi bot, ose siç quhen gjithashtu, robot, zvarritës, merimangë - asgjë më shumë se një program që kërkon dhe skanon përmbajtjen e faqeve duke klikuar në lidhjet në faqe. Robotët e kërkimit nuk janë vetëm për motorët e kërkimit. Për shembull, shërbimi Ahrefs përdor merimangat për të përmirësuar të dhënat në lidhjet e pasme, Facebook kryen scraping në ueb të kodit të faqes për të shfaqur repostimet e lidhjeve me tituj, fotografi dhe përshkrime. Skrapimi i uebit është mbledhja e informacionit nga burime të ndryshme.
Përdorimi i emrave të merimangave në robots.txt
Siç mund ta shihni, çdo projekt serioz që lidhet me kërkimin e përmbajtjes ka merimangat e tij. Dhe ndonjëherë është një detyrë urgjente të kufizosh aksesin e disa merimangave në sit ose në të seksione të veçanta. Kjo mund të bëhet përmes skedarit robots.txt në direktorinë rrënjë të faqes. Kam shkruar më shumë për vendosjen e robotëve më herët, ju rekomandoj ta lexoni.
Ju lutemi vini re se skedari robots.txt dhe direktivat e tij mund të shpërfillen nga robotët e kërkimit. Direktivat janë vetëm udhëzime për robotët.
Ju mund të vendosni një direktivë për një robot kërkimi duke përdorur seksionin - një apel për agjentin e përdoruesit të këtij roboti. Seksionet për merimangat e ndryshme janë të ndara nga një rresht bosh.
Agjenti i përdoruesit: Googlebot Lejo: /
Agjenti i përdoruesit: Googlebot lejo:/ |
Sa më sipër është një shembull i një thirrjeje në zvarritësin kryesor të Google.
Fillimisht, kam planifikuar të shtoj shënime në tabelë se si robotët e kërkimit e identifikojnë veten në regjistrat e serverit. Por duke qenë se këto të dhëna kanë pak rëndësi për SEO dhe mund të ketë disa lloje regjistrimesh për çdo shenjë agjenti, u vendos që të merrej vetëm me emrin e robotëve dhe qëllimin e tyre.
Kërko robotët G o g l e
| përdorues-agjent | Funksione |
|---|---|
| Googlebot | Indeksuesi kryesor i zvarritësit për PC dhe faqet e optimizuara për smartphone |
| Mediapartners-Google | Roboti i rrjetit të reklamave AdSense |
| API-Google | API-agjent i përdoruesit të Google |
| AdsBot-Google | Kontrollon cilësinë e reklamave në faqet e internetit të krijuara për PC |
| AdsBot-Google-Mobile | Kontrollon cilësinë e reklamave në faqet e internetit të krijuara për pajisje celulare |
| Imazhi i Googlebot (Googlebot) | Indekson imazhet në faqet e sajtit |
| Googlebot News (Googlebot) | Në kërkim të faqeve për të shtuar në Google News |
| Video Googlebot (Googlebot) | Indekson përmbajtjen e videos |
| AdsBot-Google-Mobile-Aplikacione | Kontrollon cilësinë e reklamave në aplikacione për Pajisjet Android, punon në të njëjtat parime si AdsBot i rregullt |
Kërko robotët I indeksoj
| përdorues-agjent | Funksione |
|---|---|
| Yandex | Kur ky kod agjenti specifikohet në robots.txt, kërkesa shkon te të gjithë bots Yandex |
| YandexBot | Roboti kryesor i indeksimit |
| YandexDirect | Shkarkon informacione rreth përmbajtjes së sajteve partnere YAN |
| YandexImages | Indekson imazhet e faqes |
| YandexMetrika | Roboti Yandex.Metrica |
| YandexMobileBot | Shkarkon dokumente për analizë për praninë e paraqitjes për pajisjet celulare |
| YandexMedia | Robot që indekson të dhënat multimediale |
| YandexNews | Indeksuesi Yandex.News |
| YandexPagechecker | Validuesi i mikro të dhënave |
| YandexMarket | Roboti Yandex.Market; |
| YandexCalenda | Robot Yandex.Kalendar |
| YandexDirectDyn | Gjeneron banderola dinamike (Direkt) |
| YaDirectFetcher | Shkarkon faqet me reklama për të kontrolluar disponueshmërinë e tyre dhe për të sqaruar temat (YAN) |
| YandexAccessibilityBot | Shkarkon faqet për të kontrolluar disponueshmërinë e tyre për përdoruesit |
| YandexScreenshotBot | Merr një fotografi (screenshot) të faqes |
| YandexVideoParser | Merimanga e shërbimit Yandex.Video |
| YandexSearchShop | Shkarkon skedarët YML të katalogëve të produkteve |
| YandexOntoDBAPI | Roboti i përgjigjes së objektit që shkarkon të dhëna dinamike |
Bots të tjerë të njohur të kërkimit
| përdorues-agjent | Funksione |
|---|---|
| Baiduspider | Motori kinez i kërkimit Baidu merimangë |
| kliqzbot | Robot anonim motor kërkimi kliqz |
| AhrefsBot | Boti i kërkimit Ahrefs (analiza e lidhjes) |
| Genieo | Roboti i shërbimit Genieo |
| bingbot | Zvarritësi i motorit të kërkimit Bing |
| Slurp | Zvarritës i motorit të kërkimit Yahoo |
| DuckDuckBot | Zvarritës në internet PS DuckDuckGo |
| facebot | Robot në Facebook për zvarritje në ueb |
| WebAlta (WebAlta Crawler/2.0) | Kërkoni zvarritësin PS WebAlta |
| BomboraBot | Skanon faqet e përfshira në projektin Bombora |
| CCBot | Zvarritës i bazuar në Nutch që përdor projektin Apache Hadoop |
| MSNBot | Bot PS MSN |
| Mail.Ru | Zvarritës i motorit të kërkimit Mail.Ru |
| ia_arkivues | Skrapimi i të dhënave për shërbimin Alexa |
| Teoma | Pyet shërbimin robot |
Ka shumë robotë kërkimi, unë kam zgjedhur vetëm më të njohurit dhe më të njohurit. Nëse ka robotë që keni hasur për shkak të zvarritjes agresive dhe të vazhdueshme të faqes, ju lutemi tregoni këtë në komente, unë gjithashtu do t'i shtoj ato në tabelë.
Arsimi i lartë në dispozicion - trajnimi për terapist masazh.Ka më shumë se njëqind milionë burime në internet dhe miliona faqet e dëshiruara nuk do të na njihet kurrë. Si ta gjejmë pikën që na nevojitet në këtë oqean? Këtu na vjen në ndihmë. Kërko ow makinë. Kjo është merimangë, dhe vetëm ai e di se çfarë dhe në cilin vend të internetit ka.
Kërko makina te reja internet ah, këto janë faqe të krijuara posaçërisht për t'ju ndihmuar të gjeni informacionin e nevojshëm në rrjetin global të World Wide Web. Ekzistojnë tre funksione kryesore, të njëjta për të gjithë Kërko makina te reja:
- Kërko oviks në fjalët kyçe të dhëna "kërkoni" në internet;
- adresat e indeksuara Kërko ovikami së bashku me fjalët;
- faqet e internetit të indeksuar formojnë bazën, e cila Kërko oviki u ofron përdoruesve Kërko a fjalë kyçe ose kombinime të tyre.
Së pari Kërko Hoviki merrte deri në 2000 kërkesa në ditë dhe indeksonte qindra mijëra faqe. Sot, numri i kërkesave në ditë shkon në qindra miliona faqe dhe dhjetëra miliona.
P motorët e kërkimit deri në rrjet i gjere boteror.
Së pari Kërko ovikami internet dhe kishte programe "Gopher" dhe "Archie". Ata indeksuan skedarët e vendosur në lidhje internet serverët, duke reduktuar në mënyrë të përsëritur kohën për Kërko dokumentet e nevojshme. Në fund të viteve 1980, aftësia për të punuar në internet nuk zbriti në aftësinë për të përdorur Archie, gopher, Veronica dhe të ngjashme Kërko programe të reja.
Sot ueb u bë pjesa më e kërkuar internet dhe shumica internet përdoruesit kryejnë Kërko vetëm në rrjet i gjere boteror (www).
Robot- merimangë
Programi robot i përdorur në Kërko makinerive te reja quhet edhe ajo "merimangë", merimangë(merimangë), kryen procesin e krijimit të një liste fjalësh që gjenden në faqen wed-resource. Procesi quhet Zvarritje në ueb(zvarritje). Kërko i ri merimangë shikon shumë faqe të tjera, ndërton dhe rregullon një listë fjalësh të dobishme, d.m.th. ka një kuptim, peshë.
Udhëtim nëpër Kërko u në rrjet merimangë (spider) fillon me serverin më të madh dhe faqet më të njohura të internetit. Duke anashkaluar një sit të tillë dhe duke indeksuar të gjitha fjalët e gjetura, ai shkon për të zvarritur faqet e tjera duke përdorur lidhjet e gjetura. Në këtë mënyrë, roboti merimangë kap të gjithë hapësirën e internetit.
Themeluesit e Google, Sergey Brin dhe Laurence Page, japin një shembull të punës së Google merimangë ov. Ka disa. Kërko fillon tre merimangë ami. Një merimangë mbështet deri në 300 lidhje faqesh në të njëjtën kohë. Ngarkesa maksimale, katër merimangë dhe janë të afta të përpunojnë deri në njëqind faqe në sekondë, ndërsa gjenerojnë trafik prej rreth 600 kilobajt/sek. Në ky moment, kur ta lexoni këtë, ndoshta shifrat do t'ju duken qesharake.
Fjalë kyçe për robotin e motorit të kërkimit
Zakonisht pronari i një burimi në internet dëshiron të përfshihet në Kërko rezultate të reja për të kërkuarat Kërko o fjalë. Këto fjalë quhen Celës s. Klyuchev Fjalët përcaktojnë thelbin e përmbajtjes së një faqe interneti. Dhe Meta Tags ndihmojnë me këtë. Më pas ata i ofrojnë robotit të kërkimit një zgjedhje Celës fjalët e përdorura për të indeksuar faqen. Por ne nuk rekomandojmë shtimin e meta etiketave në pyetjet e njohura që nuk lidhen me përmbajtjen e vetë faqes. Bots-et e motorëve të kërkimit po e luftojnë këtë fenomen dhe do të jeni me fat nëse ai thjesht heq meta etiketat me Celës me fjalë të tjera, që nuk korrespondon me përmbajtjen e faqeve.
Meta etiketat janë një mjet shumë i dobishëm kur Celës Fjalët e para të tyre përsëriten disa herë në tekstin e faqes. Por mos e teproni, ka një shans që roboti të marrë faqen për një derë.
Algoritmet e indeksimit të motorëve të kërkimit
Algoritmet Kërko Hoviks janë të përqendruar në efektivitetin e rezultatit përfundimtar, por të gjithë kanë qasje të ndryshme për këtë. Lycos Kërko Robotët e rinj indeksojnë fjalët në titull (titull), lidhjet (lidhjet) dhe deri në njëqind fjalë të përdorura shpesh në faqe dhe çdo fjalë nga 20 rreshtat e parë të përmbajtjes së faqes.
Googlebot merr parasysh vendndodhjen e fjalës në faqe (në elementin e trupit). Fjalët e seksioneve të shërbimit, si p.sh titra, titulli, meta etiketat et al., shënon si veçanërisht të rëndësishme, duke përjashtuar pasthirrmat "a", "an" dhe "the.".
Të tjera Kërko oviki mund të ketë një mënyrë paksa të ndryshme për t'iu qasur indeksimit të fjalëve të përdorura për Kërko kërkesa të reja nga përdoruesit.
Me gjithë zhurmën rreth optimizimit të motorëve të kërkimit dhe bazave të të dhënave të indeksit të motorëve të kërkimit, mund të mendoni se robotët duhet të jenë qenie të shkëlqyera dhe të fuqishme. Jo e vërtetë. Robotët e motorëve të kërkimit kanë vetëm veçori themelore të ngjashme me ato të shfletuesve të hershëm për sa i përket informacionit që mund të njohin në një sajt. Ashtu si shfletuesit e hershëm, robotët thjesht nuk mund të bëjnë gjëra të caktuara. Robotët nuk kuptojnë kornizat, animacionet Flash, imazhet ose JavaScript. Ata nuk mund të hyjnë në seksione të mbrojtura me fjalëkalim dhe nuk mund të klikojnë në të gjithë butonat që janë në sajt. Ata mund të ngecin në procesin e indeksimit të URL-ve dinamike dhe të jenë shumë të ngadalshëm, deri në pikën e ndalimit dhe të pafuqishëm mbi navigimin në JavaScript.
Si funksionojnë robotët e motorëve të kërkimit?
Zvarritësit e uebit duhet të mendohen si programe të automatizuara të nxjerrjes së të dhënave që lundrojnë në ueb në kërkim të informacionit dhe lidhjeve me informacionin.Kur, pasi keni vizituar faqen Submit a URL, regjistroni një faqe tjetër në internet në motorin e kërkimit, një URL e re shtohet në radhë për shikimin e faqeve nga roboti. Edhe nëse nuk regjistroni një faqe, shumë robotë do ta gjejnë faqen tuaj sepse ka lidhje nga sajte të tjera që lidhen me tuajin. Kjo është një nga arsyet pse është e rëndësishme të ndërtohet popullariteti i lidhjeve dhe të vendosen lidhje në burime të tjera tematike.
Kur ata vijnë në faqen tuaj, robotët fillimisht kontrollojnë nëse ka një skedar robots.txt. Ky skedar u tregon robotëve se cilat seksione të faqes suaj nuk duhet të indeksohen. Zakonisht këto mund të jenë drejtori që përmbajnë skedarë për të cilët roboti nuk është i interesuar ose nuk duhet t'i dijë.
Robotët ruajnë dhe mbledhin lidhje nga çdo faqe që vizitojnë dhe më vonë ndjekin ato lidhje në faqet e tjera. Të gjitha rrjet mbarëbotëror ndërtuar nga lidhjet. Ideja fillestare e krijimit të rrjetit të internetit ishte se do të ishte e mundur të ndiqni lidhjet nga një vend në tjetrin. Kështu lëvizin robotët.
Zgjuarsia e indeksimit të faqeve në kohë reale varet nga inxhinierët e motorëve të kërkimit, të cilët shpikën metodat e përdorura për të vlerësuar informacionin e marrë nga robotët e motorëve të kërkimit. Pasi të futet në një bazë të dhënash motori kërkimi, informacioni është i disponueshëm për përdoruesit që kryejnë kërkime. Kur një përdorues i motorit të kërkimit fut një term kërkimi, bëhen një sërë llogaritjesh të shpejta për të siguruar që grupi i saktë i sajteve për përgjigjen më të përshtatshme është kthyer në të vërtetë.
Ju mund të shikoni se cilat faqe të faqes suaj janë vizituar tashmë nga roboti i kërkimit, të udhëhequr nga skedarët e regjistrit të serverit ose rezultatet e përpunimit statistikor të skedarit të regjistrit. Duke identifikuar robotët, mund të shihni se kur ata kanë vizituar faqen tuaj, cilat faqe dhe sa shpesh. Disa robotë identifikohen lehtësisht nga emrat e tyre, si Googlebot i Google. Të tjerat janë më të fshehura, si Inktomis Slurp. Robotët e tjerë mund të gjenden gjithashtu në regjistrat dhe është e mundur që nuk do të mund t'i identifikoni menjëherë; disa prej tyre mund të jenë edhe shfletues të kontrolluar nga njeriu.
Përveç identifikimit të zvarritësve unikë dhe numërimit të vizitave të tyre, statistikat mund t'ju tregojnë gjithashtu zvarritës agresivë, që hanë gjerësi bande ose zvarritës që nuk dëshironi të vizitoni faqen tuaj.
Si i lexojnë ata faqet e faqes suaj të internetit?
Kur një zvarritës viziton një faqe, ai skanon tekstin e saj të dukshëm, përmbajtjen e etiketave të ndryshme Kodi i burimit faqen tuaj (etiketa e titullit, meta etiketat, etj.), si dhe hiperlidhjet në faqe. Duke gjykuar nga fjalët e lidhjeve, motori i kërkimit vendos se për çfarë bëhet fjalë faqja. Ka shumë faktorë që përdoren për të llogaritur pikat kyçe të një faqeje "duke luajtur një rol". Çdo motor kërkimi ka algoritmin e vet për vlerësimin dhe përpunimin e informacionit. Në varësi të mënyrës se si është konfiguruar roboti, informacioni indeksohet dhe më pas dorëzohet në bazën e të dhënave të motorit të kërkimit.Pas kësaj, informacioni i dorëzuar në bazat e të dhënave të indeksit të motorit të kërkimit bëhet pjesë e motorit të kërkimit dhe procesit të renditjes së bazës së të dhënave. Kur një vizitor bën një kërkesë, motori i kërkimit kalon nëpër të gjithë bazën e të dhënave për të kthyer një listë përfundimtare që është relevante pyetje kërkimi.
Bazat e të dhënave të motorëve të kërkimit përpunohen dhe përputhen me kujdes. Nëse jeni tashmë në bazën e të dhënave, robotët do t'ju vizitojnë periodikisht për të mbledhur çdo ndryshim në faqe dhe për t'u siguruar që ato kanë informacionin më të fundit. Numri i vizitave varet nga cilësimet e motorit të kërkimit, i cili mund të ndryshojë në varësi të llojit dhe qëllimit të tij.
Ndonjëherë robotët e kërkimit nuk janë në gjendje të indeksojnë një faqe interneti. Nëse faqja juaj është rrëzuar ose një numër i madh vizitorësh po e vizitojnë sajtin, roboti mund të jetë i pafuqishëm në përpjekjen për ta indeksuar atë. Kur kjo ndodh, faqja nuk mund të ri-indeksohet, në varësi të asaj se sa shpesh roboti e viziton atë. Në shumicën e rasteve, robotët që nuk ishin në gjendje të arrinin në faqet tuaja do të provojnë më vonë, me shpresën se faqja juaj do të jetë e disponueshme së shpejti.
Shumë zvarritës nuk mund të identifikohen kur shikoni regjistrat. Ata mund të jenë duke ju vizituar, por regjistrat thonë se dikush po përdor shfletuesin Microsoft, etj. Disa robotë e identifikojnë veten duke përdorur emrin e një motori kërkimi (googlebot) ose klonin e tij (Scooter = AltaVista).
Në varësi të mënyrës se si është konfiguruar roboti, informacioni indeksohet dhe më pas dorëzohet në bazat e të dhënave të motorit të kërkimit.
Bazat e të dhënave të motorëve të kërkimit janë subjekt i modifikimeve në periudha të ndryshme. Edhe drejtoritë që kanë rezultate dytësore të kërkimit përdorin të dhënat e robotëve si përmbajtje të faqes së tyre të internetit.
Në fakt, robotët nuk përdoren nga motorët e kërkimit vetëm për sa më sipër. Ka robotë që kontrollojnë bazat e të dhënave për përmbajtje të re, vizitojnë përmbajtjen e vjetër të bazës së të dhënave, kontrollojnë nëse lidhjet kanë ndryshuar, shkarkojnë faqe të tëra për shfletim, etj.
Për këtë arsye, leximi i skedarëve të regjistrit dhe mbajtja e rezultateve të motorit të kërkimit ju ndihmon të mbani një sy në indeksimin e projekteve tuaja.
robot kërkimi thirrur program të veçantëçdo motor kërkimi që është krijuar për të futur në bazën e të dhënave (indeksuar) faqet e gjetura në internet dhe faqet e tyre. Përdoren edhe emrat: zvarritës, merimangë, bot, indeksues automatik, milingonë, webcrawler, bot, webscutter, webrobots, webspider.
Parimi i funksionimit
Roboti i kërkimit është një program i llojit të shfletuesit. Ai vazhdimisht skanon rrjetin: ai viziton faqet e indeksuara (tashmë të njohura për të), ndjek lidhjet prej tyre dhe gjen burime të reja. Kur gjendet një burim i ri, roboti i procedurës e shton atë në indeksin e motorit të kërkimit. Roboti i kërkimit gjithashtu indekson përditësimet në faqet, frekuenca e të cilave është fikse. Për shembull, një sajt që përditësohet një herë në javë do të vizitohet nga një merimangë me këtë frekuencë dhe përmbajtja në faqet e lajmeve mund të indeksohet brenda disa minutave nga publikimi. Nëse asnjë lidhje nga burime të tjera nuk të çon në sit, atëherë për të tërhequr robotët e kërkimit, burimi duhet të shtohet përmes një formulari të veçantë (Qendra Google Webmaster, Paneli i Uebmasterit Yandex, etj.).
Llojet e robotëve të kërkimit
Merimangat Yandex:
- Yandex/1.01.001 I është boti kryesor i indeksimit,
- Yandex/1.01.001 (P) - indekson fotot,
- Yandex/1.01.001 (H) - gjen pasqyrat e faqes,
- Yandex/1.03.003 (D) - përcakton nëse faqja e shtuar nga paneli i webmasterit përputhet me parametrat e indeksimit,
- YaDirectBot/1.0 (I) - indekson burimet nga rrjeti i reklamave Yandex,
- Yandex/1.02.000 (F) - indekson faviconat e faqeve.
Google Spiders:
- Googlebot është roboti kryesor,
- Googlebot News - zvarritet dhe indekson lajmet,
- Google Mobile - indekson faqet e internetit për pajisjet celulare,
- Imazhet e Googlebot - kërkon dhe indekson imazhe,
- Video Googlebot - indekson videot,
- Google AdsBot - kontrollon cilësinë e faqes së uljes,
- Google Mobile AdSense dhe Google AdSense - indekson faqet e rrjetit të reklamave Google.
Motorë të tjerë kërkimi përdorin gjithashtu disa lloje robotësh që funksionalisht janë të ngjashëm me ato të listuara.
Po ngarkohet...