Søk på 0,20 sek - hvordan er det mulig?

Ved hjelp av søkemotorer på internett kan du finne mye av den informasjonen du er på jakt etter. I løpet et tidels sekund blir enormt mange websider gjennomsøkt, og resultatet blir umiddelbart presentert. Vi forsøker å gjøre et enkelt søk med Google, som kan fortelle at den søker blant 4 285 199 774 websider. Og tiden det tok – snaut 0,20 sekunder. Førsteamanuensis Mark Burgees ved Høgskolen i Oslo forteller mer om denne teknologien.

I korte trekk er en søkemotor bygd opp av et script som henter ord og bygger lister. Det følger linker og søker gjennom alle tilgjengelige websider. Algoritmene, som er forskjellig fra de ulike søkemotorene, indekserer innholdet fra websidene i en database. Dette blir gjort ut fra blant annet tittel på siden, meta-tagger og url-adresse. Strukturen i databasen er veldig viktig, og her er det mye å hente. Blant annet i forhold til at søket skal gå raskest mulig. Når man gjør et søk på for eksempel et firmanavn, søker motoren etter informasjon som er indeksert, og ligger lagret i søkemotorens databaser. Indeksen har som formål å finne informasjonen raskest mulig. Søkemotorene har gjerne også en liste over de mest populære søkeordene, slik at den til en viss grad er forberedt og kan gjøre søket enda raskere.

En «crawler», som er et program, leser gjennom alle websidene det finner. De ulike søkemotorene har forskjellige strategier for denne jobben, og en måte kan være å følge linker. Dette er en enorm jobb som tar opptil flere dager, og crawleren oppdaterer informasjonen i databasen/søkemotoren kontinuerlig. Programmet jobber altså hele tiden, for å se etter endringer og oppdateringer av websider. For en søkemotor gjelder det å gjøre det meste av jobben på forhånd – slik at selve søket går raskest mulig. Nøkkelen her er blant annet raske datastrukturer. Under et søk er det forskjell på hva de ulike søkemotorene legger vekt på. Størrelse på databasen, hurtighet ved søk og stabilitet – er blant annet det som skiller søkemotorene fra hverandre.

Websider blir rangert etter algoritmen til søkemotoren, eller i noen tilfeller av mennesker som leser gjennom informasjonen – og skiller ut det interessante fra det uinteressante subjektivt. De fleste søkemotorer gjør lite for å rangere søkeresultatet, men satser heller på for eksempel raske søk. Her skiller Google seg ut. Ønsker du for eksempel å finne mer informasjon om et emne, er det greit med et søkeresultat som gir den beste informasjonen, det vil si rangert med de mest interessante sidene først. En webside som mange sider peker til, blir ansett som viktig. På denne måten bruker søkemotoren Google andre websiders «valgstemmer» til å rangere sidene. De sidene som får flest stemmer fra andre, blir ansett som best. Jo flere pekere, desto viktigere. Dersom en viktig side peker til din side, blir også du viktigere. Fordi en «viktig stemme» regnes som mer verdt enn en lite viktig stemme. For eksempel ligger hjemmesiden til Høgskolen i Oslo høyt opp i Google. Dette på grunn av et verdenskjent programvareprosjekt ved navnet «cfengine», som høgskolen har produsert. Siden mange refererer til softwaresidene, blir også høgskolens sider viktige. Andre måter å rangere på er i forhold til blant annet nyest eller mest oppdatert informasjon.

For å bli funnet av en søkemotor – er det viktig å tilpasse websiden til søkemotorens algoritmer. En god tittel på siden er viktig, og heter den for eksempel Untitled–1 (som er standard) – bør navnet endres til for eksempel firmanavn eller produkttittel. For en søkemotor er det lettere å finne ord og navn ut fra titler og meta–tagger, enn selve innholdet på websiden. Google fungerer slik at websider som ikke kommer med i et søkeresultat, har sannsynligvis ikke nok av andre sider med kobling til den. Dersom andre websider ikke har kobling til en side, gir den ikke siden en såkalt PageRank–rangering. Når det finnes koblinger til en webside, registreres den. Søkemotoroptimalisering er tiltak man også kan gjøre for å tilpasse websiden til søkemotorenes rangeringskriterier. Hos noen leverandører, som for eksempel Yahoo og Kvasir, kan man betale for å komme høyt opp på resultatlisten. Algoritmene til søkemotorene endrer seg stadig, og firmaer tilbyr hjelp med søkemotoroptimalisering. Mange firmaer bruker i dag internett som en markedsføringskanal, og for dem er det en forutsetning å bli funnet på nett.

[idg_break id="8459581C-AFFE-3A6F-0075E7BAAA08BB5C"]

Hvis man ikke ønsker at websiden skal oppdages av en søkemotor, kan man filtrere bort de IP–adressene som søkemotorene bruker – slik at brannmuren nekter tilgang. Søkemotorene legger igjen IP–adresser, og følger man med på loggen på serveren – finner man roboter som snuser rundt for å indeksere sider. I root–katalogen på serveren kan man blant annet inkludere tekstfiler, som beskriver hvilke filer som kan lastes ned fra din server. Robots.txt er en standardfil som forteller søkemotoren hvilken filer den kan laste ned. For utestenging av roboter finnes en standard på http://www.robotstxt.org/wc/norobots.html. Man kan altså legge en fil på serveren som heter robots.txt, og den utestenger robotsøkeprogrammer. Selv om de fleste ser det som en fordel å bli funnet på nett, kan dette særlig være aktuelt for websider som er ment for internt bruk. Det kan også være interessant å følge med for å se hvordan søkemotorene jobber.