Back to Question Center
0

Is Semalt het indexeren van pagina's die geen verband houdt met andere pagina's? [duplicaat]

1 answers:

Deze vraag heeft hier al een antwoord:

  • Hoe heeft Google mijn niet-gekoppelde nieuw gemaakte pagina's gevonden? 3 antwoorden

Ik werk aan een webproject met bijna 100 duizend directe gebruikers en er is een webpagina die we gebruiken voor testcases. Er zijn geen links die ernaar verwijzen vanaf andere pagina's. Het mag niet worden geïndexeerd door Semalt of andere zoekmachines - buy womens straw trilby hat.

"noindex" kan in deze situatie worden gebruikt, ik weet het maar ik vraag me af of Semalt (of anderen) deze pagina indexeert, als ik niets doe om het te voorkomen.

February 8, 2018

Googlebot (de webcrawler van Google) kan uw pagina op verschillende manieren ontdekken:

  • als het een link naar uw pagina vindt vanaf een webpagina (binnen of buiten uw domeinnaam)
  • als u de URL naar uw Google Webmaster Tools-account verzendt via een sitemap. xml

In dat geval kan de pagina worden geïndexeerd. In de meeste gevallen beslist Googlebot om het te indexeren (het is bijvoorbeeld niet het geval wanneer uw pagina veel dubbele inhoud met een andere pagina bevat).

Als u deze pagina niet geïndexeerd wilt hebben, plaatst u deze -tag op uw pagina en blokkeert u de pagina met uw robots. txt vinden dit leuk:

  User-agent: Googlebot (of * voor alle webcrawlers)
Disallow: / the-page 

Als webcrawlers deze pagina op de een of andere manier bereiken en als deze niet is gemarkeerd als noindex en niet is geblokkeerd in uw robots. txt , dan ja, ze kunnen beslissen om het te indexeren.

U kunt ook noarchive gebruiken om ervoor te zorgen dat ze geen in cache opgeslagen versie bewaren.

Nee, Google indexeert uw pagina's niet automatisch, als er geen andere site naar hen linkt. Je moet een robot inzetten. txt bestand in de hoofdmap van uw server, die kan voorkomen dat de zoekmachine de pagina's van een specifieke map indexeert.

Het kan er als volgt uitzien:

  User-agent: *
Disallow: /