Zoekmachine markt. Hoe werkt een zoekmachine?

De architectuur van zoekmachines omvat doorgaans:

Encyclopedisch YouTube

1 / 5

✪ Les 3: Hoe het werkt zoeksysteem. Inleiding tot SEO

✪ Zoekmachine van binnenuit

✪ Shodan - zwarte Google

✪ De CHEBURASHKA-zoekmachine zal Google en Yandex in Rusland vervangen

✪ Les 1 - Hoe een zoekmachine werkt

Ondertitels

Verhaal

Op vroeg stadium Internetontwikkeling Tim Berners-Lee hield een lijst bij van webservers die op de CERN-website waren geplaatst. Er kwamen steeds meer sites, en het handmatig bijhouden van zo’n lijst werd steeds moeilijker. De NCSA-website had een speciale sectie "Wat is er nieuw!" (Engels: What's New!), Waar ze links naar nieuwe sites publiceerden.

Eerst computerprogramma om op internet te zoeken, was er een programma Archie(Engelse archie - archief zonder de letter “c”). Het werd in 1990 gemaakt door Alan Emtage, Bill Heelan en J. Peter Deutsch, studenten computerwetenschappen aan de McGill University in Montreal. Het programma downloadde lijsten met alle bestanden van alle beschikbare anonieme FTP-servers en bouwde een database die op bestandsnamen kon worden doorzocht. Het programma van Archie indexeerde de inhoud van deze bestanden echter niet, omdat de hoeveelheid gegevens zo klein was dat alles gemakkelijk met de hand kon worden gevonden.

Ontwikkeling en distributie netwerkprotocol Gopher, uitgevonden in 1991 door Mark McCahill aan de Universiteit van Minnesota, leidde tot de creatie van twee nieuwe zoek programma's, Veronica en Jughead. Net als Archie zochten ze naar bestandsnamen en headers die waren opgeslagen in Gopher-indexsystemen. Veronica (Engels) Zeer eenvoudige, op knaagdieren gerichte, netbrede index voor geautomatiseerde archieven) maakte zoekopdrachten op trefwoorden mogelijk voor de meeste Gopher-menutitels in alle Gopher-lijsten. Jughead-programma Jonzy's universele Gopher-hiërarchie opgraven en tentoonstellen) heeft menu-informatie opgehaald van specifieke Gopher-servers. Al had de naam van de Archie-zoekmachine geen verband met de stripserie "Archie" Veronica en Jughead zijn echter personages in deze strips.

In de zomer van 1993 bestond er nog geen enkel systeem voor het zoeken op internet, hoewel talrijke gespecialiseerde gidsen handmatig werden bijgehouden. Oscar Nierstrasz van de Universiteit van Genève schreef een reeks Perl-scripts die deze pagina's periodiek kopieerden en herschreven in standaard formaat. Dit werd de basis voor W3Catalogus?!, de eerste primitieve zoekmachine op internet, gelanceerd op 2 september 1993.

Waarschijnlijk de eerste zoekmachine waarin is geschreven Perl-taal, was de "WorldWide Web Wanderer" - een bot van Matthew Gray uit juni 1993. Deze robot gemaakt zoekindex"Wandex". Het doel van de Wanderer-robot was om de maat te meten World Wide Web en vind alle webpagina's die de woorden uit de zoekopdracht bevatten. In 1993 verscheen de tweede zoekmachine “Aliweb”. Aliweb maakte geen gebruik van een crawler, maar verwachtte in plaats daarvan meldingen van websitebeheerders over de beschikbaarheid op hun sites indexbestand in een bepaald formaat.

JumpStation, gemaakt in december 1993 door Jonathan Fletcher, doorzocht webpagina's en bouwde hun indexen met behulp van een crawler, en gebruikte een webformulier als interface voor het formuleren van zoekopdrachten. Het was de eerste internetzoekmachine die er drie combineerde essentiële functies zoekmachine (verificatie, indexering en zoeken zelf). Vanwege de beperkte computerbronnen van die tijd was het indexeren en dus zoeken beperkt tot alleen de titels en titels van webpagina's die door de crawler werden gevonden.

Zoekmachines namen eind jaren negentig deel aan de ‘Dotcom Bubble’. Verschillende bedrijven kwamen op spectaculaire wijze op de markt en genereerden recordwinsten tijdens hun beursgang. Sommigen hebben de markt voor publieke zoekmachines verlaten en zijn alleen met het bedrijfsleven gaan samenwerken. Noorderlicht.

Google heeft het idee van verkopen overgenomen trefwoorden in 1998, toen was het een klein bedrijf dat een zoekmachine op goto.com leverde. Deze stap markeerde een verschuiving voor zoekmachines van met elkaar concurreren naar een van de meest winstgevende zakelijke ondernemingen op internet. Zoekmachines begonnen de eerste plaatsen in de zoekresultaten aan individuele bedrijven te verkopen.

De Google-zoekmachine is sinds het begin van de jaren 2000 prominent aanwezig. Dankzij dit bedrijf heeft het bedrijf een hoge positie verworven goede resultaten zoeken met behulp van het PageRank-algoritme. Het algoritme werd aan het publiek voorgesteld in het artikel "The Anatomy of Search Engine", geschreven door Sergey Brin en Larry Page, Google-oprichters. Dit iteratieve algoritme rangschikt webpagina's op basis van een schatting van het aantal hyperlinks naar een webpagina, in de veronderstelling dat 'goede' en 'belangrijke' pagina's meer links hebben dan andere. Google-interface ontworpen in een spartaanse stijl, waar niets overbodigs is, in tegenstelling tot veel van zijn concurrenten die een zoekmachine in het webportaal hebben ingebouwd. De Google-zoekmachine is zo populair geworden dat er nabootsende systemen zijn verschenen, bijvoorbeeld Mysteriezoeker(geheime zoekmachine).

Zoeken naar informatie in het Russisch

In 1996 werd een zoekopdracht geïmplementeerd waarbij rekening werd gehouden met de Russische morfologie op de Altavista-zoekmachine en werden originele Russische versies gelanceerd zoekmachines Rambler en Aport. Op 23 september 1997 werd de Yandex-zoekmachine geopend. Op 22 mei 2014 opende Rostelecom de nationale zoekmachine Sputnik, die op het moment van 2015 in bètatesting verkeert. Geopend op 22 april 2015 nieuwe dienst Satelliet.  Kinderen vooral voor kinderen met verhoogde veiligheid.

Methoden voor clusteranalyse en zoeken naar metadata zijn erg populair geworden. Van de internationale auto's van dit type is dit de bekendste "Clustig" bedrijven Vivisimo. In 2005 werd in Rusland, met steun van de Staatsuniversiteit van Moskou, de Nigma-zoekmachine gelanceerd, die automatische clustering ondersteunt. In 2006 werd de Russische metamachine Quintura geopend, die visuele clustering biedt in de vorm van een tagwolk. Nygma experimenteerde ook met visuele clustering.

Hoe werkt een zoekmachine?

De belangrijkste componenten van een zoeksysteem: zoekrobot, indexer, zoekmachine.

Meestal werken systemen in fasen. Eerst haalt de crawler de inhoud op, vervolgens genereert de indexer een doorzoekbare index en ten slotte biedt de zoekmachine de functionaliteit om de geïndexeerde gegevens te doorzoeken. Om de zoekmachine bij te werken, wordt deze indexeringscyclus herhaald.

Zoekmachines werken door informatie over veel webpagina's op te slaan, die ze uit HTML-pagina's halen. Een zoekrobot of “crawler” (eng. Crawler) is een programma dat automatisch alle links op de pagina doorloopt en deze markeert. De crawler zoekt op basis van links of op basis van een vooraf gedefinieerde lijst met adressen naar nieuwe documenten die nog niet bekend zijn bij de zoekmachine. De site-eigenaar kan dit uitsluiten bepaalde pagina's met behulp van robots.txt, waarmee u het indexeren van bestanden, pagina's of mappen van de site kunt voorkomen.

De zoekmachine analyseert de inhoud van elke pagina voor verdere indexering. Woorden kunnen worden geëxtraheerd uit titels, paginatekst of speciale velden (metatags). Een indexer is een module die een pagina analyseert, nadat deze eerder in delen is opgedeeld, met behulp van zijn eigen lexicale en morfologische algoritmen. Alle elementen van een webpagina worden afzonderlijk geïsoleerd en geanalyseerd. Webpaginagegevens worden opgeslagen in een indexdatabase voor gebruik bij daaropvolgende zoekopdrachten. Met de index kunt u snel informatie vinden op basis van het verzoek van een gebruiker. Een aantal zoekmachines zoals Google Store Startpagina geheel of gedeeltelijk, de zogenaamde cache, evenals diverse informatie over de webpagina. Andere systemen, zoals die van AltaVista, slaan elk woord van elke gevonden pagina op. Het gebruik van een cache helpt het ophalen van informatie van reeds bezochte pagina's te versnellen. Pagina's in het cachegeheugen bevatten altijd de tekst die de gebruiker in de zoekopdracht heeft opgegeven. Dit kan handig zijn als de webpagina is bijgewerkt, dat wil zeggen dat deze niet langer de tekst van het verzoek van de gebruiker bevat en de pagina in de cache nog oud is. Deze situatie houdt verband met het verlies van links. linkrot) en de gebruiksvriendelijke (usability) aanpak van Google. Hierbij worden korte tekstfragmenten geretourneerd uit de cache die de verzoektekst bevat. Hierbij geldt het principe van de minste verrassing; de gebruiker verwacht doorgaans de gezochte woorden terug te zien in de teksten van de ontvangen pagina’s ( Verwachtingen van gebruikers). Naast het feit dat het gebruik van gecachte pagina's zoekopdrachten versnelt, kunnen gecachte pagina's informatie bevatten die nergens anders meer beschikbaar is.

De zoekmachine werkt met de uitvoerbestanden die zijn ontvangen van de indexeerder. De zoekmachine accepteert zoekopdrachten van gebruikers, verwerkt deze met behulp van een index en retourneert zoekresultaten.

Wanneer een gebruiker een zoekopdracht in een zoekmachine invoert (meestal met behulp van trefwoorden), controleert het systeem de index ervan en retourneert een lijst met de meest relevante webpagina's (gesorteerd op een bepaald criterium), meestal met een korte samenvatting met de titel van het document en Soms delen van de tekst. De zoekindex wordt opgebouwd met behulp van een speciale techniek op basis van informatie uit webpagina's. Sinds 2007 Google-zoekmachine Hiermee kunt u zoeken rekening houdend met de tijd, door de documenten te creëren waarnaar u op zoek bent (door het menu "Zoekhulpmiddelen" op te roepen en het tijdsbereik op te geven). De meeste zoekmachines ondersteunen het gebruik van Booleaanse operatoren AND, OR, NOT in zoekopdrachten, waarmee u de lijst met gezochte trefwoorden kunt verfijnen of uitbreiden. In dit geval zoekt het systeem naar de woorden of zinsdelen die precies zijn ingevoerd. Sommige zoekmachines hebben deze optie geschatte zoekopdracht In dit geval breiden gebruikers het zoekgebied uit door de afstand tot trefwoorden op te geven. Er zijn ook conceptuele zoektocht, waarin het wordt gebruikt statistische analyse het gebruik van gezochte woorden en zinsdelen in de teksten van webpagina's. Met deze systemen kunnen zoekopdrachten in natuurlijke taal worden geschreven. Een voorbeeld van zo'n zoekmachine is de site ask com.

Het nut van een zoekmachine hangt af van de relevantie van de pagina's die hij vindt. Hoewel er miljoenen webpagina's kunnen zijn die een bepaald woord of een bepaalde zinsnede bevatten, kunnen sommige relevanter, populairder of gezaghebbender zijn dan andere. De meeste zoekmachines gebruiken rankingmethoden om de “beste” resultaten bovenaan de lijst te plaatsen. Zoekmachines bepalen welke pagina's relevanter zijn en in welke volgorde de resultaten op verschillende manieren moeten worden weergegeven. Zoekmethoden veranderen, net als het internet zelf, in de loop van de tijd. Zo ontstonden er twee hoofdtypen zoekmachines: systemen met vooraf gedefinieerde en hiërarchisch geordende trefwoorden en systemen waarin een omgekeerde index wordt gegenereerd op basis van tekstanalyse.

De meeste zoekmachines zijn commerciële ondernemingen die winst maken door te adverteren. In sommige zoekmachines kun je tegen betaling een eerste plaats in de zoekresultaten kopen voor bepaalde trefwoorden. De zoekmachines die geen geld vragen voor de volgorde waarin de resultaten worden geretourneerd, verdienen geld contextuele reclame, waarin reclameboodschappen overeenkomen met het verzoek van de gebruiker. Dergelijke advertenties worden weergegeven op een pagina met een lijst met zoekresultaten, en zoekmachines verdienen geld elke keer dat een gebruiker op advertentieberichten klikt.

Soorten zoekmachines

Er zijn vier soorten zoekmachines: robotachtig, door mensen aangedreven, hybride en meta.

• systemen gebruiken zoek robots

• door mensen beheerde systemen (bronnenmappen)

• hybride systemen

• meta-systemen

Zoekmachinemarkt

Google is de populairste zoekmachine ter wereld met een marktaandeel van 68,69%. Bing staat op de tweede plaats met een aandeel van 12,26%.

De populairste zoekmachines ter wereld:

Azië

In Oost-Aziatische landen en Rusland Google- niet de meest populaire zoekmachine. In China is het bijvoorbeeld populairder Soso-zoekmachine.

IN Zuid-Korea zoekportaal eigen ontwikkeling Naver wordt gebruikt door ongeveer 70% van Yahoo!  Japan en Yahoo! Taiwan - het meest populaire systemen om respectievelijk in Japan en Taiwan te zoeken.

Rusland en Russischtalige zoekmachines

Volgens LiveInternet-gegevens uit juni 2015 over de dekking van Russischtalige zoekopdrachten:

• Alle talen:
  • Yahoo! (0,1%) en zoekmachines die eigendom zijn van dit bedrijf: Inktomi,AltaVista, Alltheweb
• Engelstalig en internationaal:
  • Vraag het aan Jeeves(Teoma-motor)
• Russisch sprekend - de meeste "Russischtalige" zoekmachines indexeren en zoeken naar teksten in vele talen - Oekraïens, Wit-Russisch, Engels, Tataars en andere. Ze verschillen van “alle talen”-systemen die alle documenten op rij indexeren doordat ze voornamelijk bronnen indexeren die zich bevinden in domeinzones waar de Russische taal domineert, of op andere manieren hun robots beperken tot Russisch-talige sites.

Sommige zoekmachines gebruiken externe zoekalgoritmen.

Kwantitatieve gegevens van de Google-zoekmachine

Het aantal internetgebruikers en zoekmachines en de gebruikersvereisten voor deze systemen groeien voortdurend. Om de zoeksnelheid te verhogen Nodige informatie, bevatten de belangrijkste zoekmachines een groot aantal van servers. Servers zijn meestal gegroepeerd in servercentra (datacenters). Populaire zoekmachines hebben servercentra verspreid over de hele wereld.

In oktober 2012 lanceerde Google het project "Where the Internet Lives", waarbij gebruikers de kans krijgen om de datacenters van het bedrijf te verkennen.

Over het werk van datacentra van zoekmachines Google-systeem het volgende is bekend:

• De totale capaciteit van alle Google-datacenters vanaf 2011 werd geschat op 220 MW.
• Wanneer in 2008 jaar Google van plan om in Oregon een nieuw complex te openen, bestaande uit drie gebouwen met een totale oppervlakte van 6,5 miljoen m², berekende Harper's Magazine dat zo'n groot complex ruim 100 MW aan elektriciteit verbruikt, wat vergelijkbaar is met het energieverbruik van een stad met een bevolking van 300.000 mensen.
• Geschat aantal Google-servers in 2012 - 1.000.000.
• De uitgaven van Google aan datacenters bedroegen in 2006 1,9 miljard dollar en in 2007 2,4 miljard dollar.

De omvang van het World Wide Web, zoals geïndexeerd door Google vanaf december 2014, bedraagt ​​ongeveer 4,36 miljard pagina's.

Zoekmachines die rekening houden met religieuze verboden

Wereldwijde verspreiding van internet en toenemende populariteit elektronische apparaten in de Arabische en islamitische wereld, vooral in de landen van het Midden-Oosten en het Indiase subcontinent, hebben bijgedragen aan de ontwikkeling van lokale zoekmachines die rekening houden met islamitische tradities. Dergelijke zoekmachines bevatten speciale filters die gebruikers helpen verboden sites te bezoeken, zoals sites met pornografie, en die hen in staat stellen alleen die sites te gebruiken waarvan de inhoud niet in tegenspraak is met het islamitische geloof. Vlak voor de islamitische maand Ramadan, in juli 2013, werd de wereld geïntroduceerd Halalgooglen- een systeem dat gebruikers alleen halal "correcte" links biedt en zoekresultaten filtert die zijn ontvangen van andere zoekmachines zoals Google en Bing. Twee jaar eerder, in september 2011, werd de I'mHalal-zoekmachine gelanceerd om gebruikers in het Midden-Oosten te bedienen. Maar dit zoekdienst moest volgens de eigenaar binnenkort worden gesloten vanwege gebrek aan financiering.

Gebrek aan investeringen en het trage tempo van de verspreiding van technologie in de moslimwereld hebben de vooruitgang belemmerd en het succes van een serieuze islamitische zoekmachine belemmerd. Het mislukken van enorme investeringen in webprojecten voor moslimlevensstijl, waarvan er één was Muxlim. Hij heeft miljoenen dollars opgehaald bij investeerders als Rite Internet Ventures, en nu, volgens... Laatste bericht van I'mHalal vóór de sluiting ervan – komt met het twijfelachtige idee dat “de volgende Facebook of Google alleen in het Midden-Oosten kan verschijnen als je onze briljante jeugd steunt.” Islamitische internetexperts zijn echter al vele jaren bezig met het bepalen wat wel of niet in overeenstemming is met de sharia, en het classificeren van websites als ‘halal’ of ‘haram’. Alle islamitische zoekmachines uit het heden en verleden zijn eenvoudigweg een speciaal geïndexeerde reeks gegevens, of het zijn de belangrijkste zoekmachines zoals Google, Yahoo en Bing, met een bepaald systeem filtering die wordt gebruikt om te voorkomen dat gebruikers toegang krijgen tot haram-sites, zoals sites over naaktheid, LGBT, gokken en andere sites waarvan het onderwerp als niet-islamitisch wordt beschouwd.

Onder andere religieus georiënteerde zoekmachines is Jewogle - Joods Google-versie en SeekFind.org, een christelijke site die filters bevat om gebruikers te beschermen tegen inhoud die hun geloof kan ondermijnen of verzwakken.

Persoonlijke resultaten en filterbubbels

Veel zoekmachines, zoals Google en Bing, gebruiken algoritmen om selectief te raden welke informatie een gebruiker zou willen zien op basis van zijn eerdere browse-activiteit. Als gevolg hiervan tonen websites alleen informatie die consistent is met de eerdere interesses van de gebruiker. Dit effect wordt de "filterbubbel" genoemd.

Dit alles leidt ertoe dat gebruikers veel minder informatie ontvangen die hun standpunt tegenspreekt en intellectueel geïsoleerd raken in hun eigen “informatiebubbel”. Het ‘bubbeleffect’ kan dus negatieve gevolgen hebben voor de vorming van de burgeropinie.

Voorkeur voor zoekmachines

Hoewel zoekmachines zijn geprogrammeerd om websites te rangschikken op basis van een combinatie van hun populariteit en relevantie, is de realiteit dat wel experimentele onderzoeken geven aan dat verschillende politieke, economische en sociale factoren invloed Zoekresultaten.

Een dergelijke vertekening kan een direct gevolg zijn van economische en commerciële processen: bedrijven die in een zoekmachine adverteren, kunnen populairder worden in de resultaten regelmatig zoeken in het. Het verwijderen van zoekresultaten die niet voldoen aan de lokale wetgeving is een voorbeeld van de invloed van politieke processen. Google zal bijvoorbeeld bepaalde neonazistische websites in Frankrijk en Duitsland, waar het ontkennen van de Holocaust illegaal is, niet weergeven.

Vooringenomenheid kan ook een gevolg zijn van sociale processen, omdat algoritmen van zoekmachines vaak zijn ontworpen om ongeformatteerde gezichtspunten uit te sluiten ten gunste van meer ‘populaire’ resultaten. De indexeringsalgoritmen van de grote zoekmachines geven voorrang aan Amerikaanse sites.

Zoekbombardementen zijn een voorbeeld van een poging om zoekresultaten om politieke, sociale of commerciële redenen te manipuleren.

zie ook

• Qwika
• Elektronische bibliotheek#Lijsten van bibliotheken en zoekmachines
• Werkbalk voor webontwikkelaars

Opmerkingen

Literatuur

• Asjmanov I.S., Ivanov A.A. Websitepromotie in zoekmachines. - M.: Williams, 2007. - 304 d. - ISBN 978-5-8459-1155-1.
• Baykov V.D. Internet. Zoeken naar informatie. Websitepromotie. - St. Petersburg. : BHV-Petersburg, 2000. - 288 p. - ISBN 5-8206-0095-9.
• Kolisnichenko D.N. Zoekmachines en websitepromotie op internet. - M.: Dialectiek, 2007. - 272 p. - ISBN 978-5-8459-1269-5.

• Lande D.V. Zoek naar kennis op internet. - M.: Dialectiek, 2005. - 272 p. - ISBN 5-8459-0764-0.

• Lande D.V., Snarsky A.A., Bezsudnov I.V. Internet: navigatie in complexe netwerken: modellen en algoritmen. - M.: Librocom (Redactie URSS), 2009. - 264 p. - ISBN 978-5-397-00497-8.

• Chu H., Rosenthal M. Zoekmachines voor het World Wide Web: een vergelijkende studie en evaluatiemethodologie (Engels) // PROCEEDINGS OF THE JAARLIJKSE VERGADERING-AMERICAN SOCIETY FOR INFORMATION SCIENCE: tijdschrift. - 1996. - Vol. 33. - Blz. 127-135.

• Gandal, Neil. De dynamiek van concurrentie op internet zoekmachine markt. - 2001. - Vol. 19. - Blz. 1103–1117. -

Veld zoekopdracht verschijnt op elke Wikipedia-pagina. Om te zoeken voert u een zoekopdracht in en drukt u op ↵ Enter op uw toetsenbord of klikt u op het vergrootglaspictogram.

Als een string overeenkomt met de titel van een artikel (eventueel met ), vindt er een overgang naar dit artikel plaats, anders worden de zoekresultaten voor de string in artikelen getoond.

Selecteer om te zoeken naar een tekenreeks die overeenkomt met de titel van het artikel laatste punt“bevat...” in de vervolgkeuzelijst, of ga eerst naar de zoekpagina Service:Zoeken door op het vergrootglaspictogram te klikken als het invoerveld leeg is.

resultaten zoeken

Tilde aan het einde woorden zullen soortgelijke geschreven woorden opnemen in de zoekresultaten: molaco~ . Vervolgens kunt u een getal tussen 0 en 1 opgeven, gescheiden door een punt, om aan te geven hoe vergelijkbaar het resultaat moet zijn. Na zinsdelen tussen aanhalingstekens betekent dit dat er gezocht wordt naar fragmenten waar deze woorden dicht genoeg bij elkaar liggen; na de tilde staat standaard een geheel getal - afstand in woorden gelijk aan één. Voorbeeld: "tanktreffer"~5 .

Uitgebreide syntaxis

Uitgebreide syntaxissleutels worden gevolgd door een dubbele punt, die niet kan worden gescheiden door spaties van aangrenzende tekens. Als de zoekopdracht met betrekking tot de sleutel uit meerdere woorden bestaat, worden deze tussen aanhalingstekens geplaatst, bijvoorbeeld: incategorie: "Rivieren van Adygea" Kuban .

Speciale sleutels