Crawling og indeksering: Slik finner Google sidene dine

Crawling betyr at Googlebot henter sidene dine. Indeksering betyr at Google velger å lagre dem, slik at de kan vises i søk og AI-svar. En side kan bli crawlet uten å bli indeksert. Sjekk status i Google Search Console. Bruk noindex, ikke robots.txt, for å holde sider ute av søk, og hold områdekartet ditt ryddig.

Hva er crawling, og hvordan skiller det seg fra indeksering?

Crawling betyr at en søkemotorrobot, hos Google kalt Googlebot, følger lenker og henter innholdet på sidene dine. Indeksering er neste trinn. Da analyserer Google innholdet og avgjør om siden skal lagres i indeksen, som er databasen søkeresultatene hentes fra. Bare indekserte sider kan rangere.

Det engelske uttrykket «web crawling» betyr det samme: roboter som går systematisk gjennom nettet, side for side. Google skriver selv at crawling og indeksering er separate trinn, og at ikke alle sider som blir hentet, ender i indeksen. For deg som bedriftseier betyr det at «Google har vært innom» ikke er det samme som «Google viser siden». Vil du forstå hele kjeden fra henting til rangering, kan du lese oversikten vår over hvordan søkemotorer fungerer.

Rekkefølgen: oppdage, hente, gjengi, indeksere

• Oppdage: Google finner adressen gjennom interne lenker, eksterne lenker eller områdekartet (sitemap).
• Hente: Googlebot spør serveren etter siden. Først sjekker den om robots.txt tillater det.
• Gjengi: Google kjører JavaScript og bygger siden slik en nettleser ville gjort.
• Indeksere: Google vurderer kvalitet og duplikater og velger hvilken versjon av siden som skal lagres.

Hvor lang tid tar Google indeksering av en ny side?

Google lover ingen fast tid. På et etablert nettsted med god intern lenking blir nye sider ofte hentet i løpet av dager. Helt nye domener og sider uten lenker kan bli liggende i uker. Hvis sidene dine blir hentet samme dag som de publiseres, er alt i orden. Da sier Google at det holder å oppdatere områdekartet og sjekke rapporten for sideindeksering jevnlig.

Det tar tid andre veien også. Google skriver at det kan gå måneder før Googlebot besøker en side igjen etter at du har lagt inn noindex, avhengig av hvor viktig siden er. Har du lagt ut noe ved en feil, er det verktøyet for fjerning i Search Console som virker raskt, ikke noindex alene.

Lanserer du et nytt nettsted og trenger henvendelser fra første uke, kan du ikke vente på organisk synlighet. Det vi ser oftest, er at bedrifter bruker betalt søk som bro de første månedene. Du kan lese mer om annonsering i Google og om hva Google Ads koster.

De fleste av Box sine småbedriftskunder starter med et Google Ads-budsjett på 5 000–15 000 kr/mnd, og ser normalt de første stabile resultatene etter 3–6 uker.

Slik sjekker du om sidene dine er indeksert

Google Search Console er gratis og det eneste verktøyet som viser hva Google faktisk har gjort med sidene dine. Søket «site:domenet.no» gir bare et grovt anslag og egner seg ikke til feilsøking. Slik går du fram:

• 1. Bekreft eierskap til domenet i Search Console. Velg «Domene»-egenskap, så kommer http, https, www og underdomener med.
• 2. Send inn områdekartet, for eksempel /sitemap.xml, under «Områdekart». Kontroller at statusen blir «Vellykket».
• 3. Åpne «Sider» under Indeksering. Se på hvorfor sider ikke er indeksert, og start med årsakene som rammer tjeneste- og produktsider.
• 4. Lim inn en viktig adresse i feltet for URL-inspeksjon øverst. Sjekk om crawling er tillatt, om indeksering er tillatt, og hvilken kanonisk adresse Google har valgt.
• 5. Klikk «Test publisert nettadresse» og se på den gjengitte HTML-en. Mangler hovedinnholdet der, har du et problem med JavaScript eller med blokkerte filer.
• 6. Be om indeksering bare for sider du faktisk har endret. Funksjonen har en daglig kvote og løser ikke kvalitetsproblemer.

Hvilke verktøy som er verdt å bruke ved siden av Search Console, går vi gjennom i artikkelen om SEO-verktøy. Den gratis versjonen av en crawler som Screaming Frog holder for de fleste småbedriftsnettsteder.

Hvorfor blir sider crawlet, men ikke indeksert?

Som regel fordi Google mener siden ikke tilfører noe nytt. Den kan være for lik en annen side, for tynn, eller ha en kanonisk adresse som peker et annet sted. Statusen i Search Console forteller hvilket problem du har. Tabellen viser de vanligste statusene og hva du bør gjøre med dem.

Mange av disse statusene kommer fra tekniske grunnfeil som filterparametere, http- og https-varianter og automatisk genererte tag-sider. Vi går grundigere gjennom dem i artikkelen om teknisk SEO. Er problemet at sidene er for tynne, handler det om innhold og ikke om crawling. Da hører det hjemme i selve SEO-optimaliseringen.

2 MB-grensen ingen snakker om

Google presiserte i februar 2026 at Googlebot bare henter de første 2 MB av HTML-filer, og 64 MB av PDF-er. Alt etter grensen blir kuttet uten feilmelding, og grensen gjelder ukomprimert HTML. De fleste sider ligger langt under. Men sidebyggere som legger inn store mengder skript og stiler direkte i HTML-en, kan komme over. Da forsvinner bunnteksten, interne lenker og strukturerte data som ligger nederst. Sjekk den ukomprimerte størrelsen på HTML-dokumentet i nettleserens utviklerverktøy under fanen «Network».

Robots.txt, noindex og områdekart: hvilket verktøy gjør hva?

Robots.txt styrer crawling, noindex styrer indeksering, og områdekartet hjelper Google å finne sider. Den dyreste feilen vi ser, er å blande sammen de to første. Google skriver at de må kunne hente siden for å se meta-tagger og HTTP-hoder. En side som er blokkert i robots.txt og samtidig har noindex, kan derfor bli liggende i indeksen på ubestemt tid.

Tre detaljer som sparer deg for feilsøking

• Områdekart: én fil kan inneholde opptil 50 000 adresser og 50 MB ukomprimert. Google ser bort fra priority og changefreq. lastmod blir bare brukt hvis datoen stemmer over tid, så la ikke programtillegget sette dagens dato på alle sider.
• Indexing API: Googles API for indeksering er bare ment for stillingsannonser og direktesendinger. Programtillegg som lover «umiddelbar indeksering» av vanlige sider gjennom dette API-et, bryter med vilkårene og gir ingen varig effekt.
• Testmiljø: et indeksert testmiljø med ekte kundedata er mer enn et SEO-problem. Det kan være et brudd på personopplysningssikkerheten, som etter GDPR artikkel 33 skal meldes til Datatilsynet innen 72 timer. Bruk passord, ikke bare robots.txt.

Hva betyr crawling og indeksering for AI-svar i Google?

Alt. For at en side skal kunne lenkes som kilde i AI-oversikter (AI Overviews) eller AI-modus, krever Google at den er indeksert og kan vises med tekstutdrag. Det finnes ingen ekstra tekniske krav. En side Google ikke har indeksert, blir aldri sitert i AI-svarene fra Google, uansett hvor god den er.

Google sier også rett ut at du ikke trenger llms.txt, egne AI-filer eller spesiell markering for å vises i de generative funksjonene. Et par innstillinger bør du likevel sjekke. Den samme veiledningen sier at nettstedet må være inkludert i innstillingen for generativ AI i Search Console, og det er standard. Bruker du nosnippet eller max-snippet:0 på en side, kan den fortsatt vises som vanlig blå lenke, men den kan ikke brukes i AI-svar. Trafikk fra AI-funksjonene telles med i resultatrapporten under søketypen «Nett», så du trenger ikke et eget verktøy for å måle den.

AI-søk utenfor Google bruker egne roboter, for eksempel OAI-SearchBot for ChatGPT-søk. Vær forsiktig med generelle blokkeringer av «AI-roboter» i robots.txt eller hos CDN-leverandøren. Du kan ende opp med å stenge ute søkerobotene du faktisk vil ha inn. Hvordan du legger opp helheten, står i artikkelen om seo strategi.

Når crawlebudsjett ikke er riktig å bruke tid på

For de aller fleste norske småbedrifter er crawlebudsjett ikke et reelt problem. Google retter sin egen veiledning mot store nettsteder med over 1 million unike sider som endres ukentlig, og mellomstore med over 10 000 sider som endres daglig. Veiledningen gjelder også nettsteder der en stor andel av adressene står som «Oppdaget – ikke indeksert nå».

Vi fraråder å betale for «optimalisering av crawlebudsjett» hvis du har et nettsted med 30 tjenestesider eller en nettbutikk med noen hundre produkter. Da er det nesten alltid innholdskvalitet, duplikater eller manglende interne lenker som stopper indekseringen. Unntaket er nettbutikker med filtrering som lager tusenvis av adressekombinasjoner. Der kan det lønne seg å blokkere parametere i robots.txt. Det samme gjelder lokale tjenestebedrifter som lager én tynn side per tettsted. Der er problemet innholdet, og vi forklarer hvorfor i artikkelen om lokal SEO.

Hva koster det å fikse indekseringsproblemer?

Selve diagnosen kan være gratis. Search Console koster ingenting, og gratisversjoner av crawlere dekker små nettsteder. Kostnaden ligger i å rette feilene. Det kan bety utviklertid for maler, videresendinger og gjengivelse, og skrivetid for å forbedre tynne sider. Byråpriser varierer så mye at et fast tall ville vært misvisende. Be om et tilbud med en avgrenset liste over funn i stedet for timepris uten rammer.

Begynn gjerne med en gratis SEO-analyse for å se omfanget. Tar du tak i det selv, viser artikkelen om seo analyse hva en grundig gjennomgang bør inneholde.

Hva bør du gjøre først?

Bruk én time på dette i dag, i denne rekkefølgen. Det fanger de feilene som koster mest:

• 1. Åpne domenet.no/robots.txt og sjekk at det ikke står «Disallow: /». Den linjen blir ofte liggende igjen fra utviklingsfasen.
• 2. Kjør URL-inspeksjon på forsiden og de tre viktigste tjeneste- eller kategorisidene dine.
• 3. Se under «Sider» i Search Console om noen viktige adresser er ekskludert av noindex.
• 4. Kontroller at områdekartet bare inneholder sider som gir status 200, er kanoniske og kan indekseres.
• 5. Sjekk at ingen viktige sider har nosnippet, hvis du vil kunne bli sitert i AI-svar.

Vil du heller ha noen til å gå gjennom dette for deg og prioritere det som faktisk gir effekt, kan du se hvordan vi jobber med markedsføring og SEO.