Ordlista för sökmarknadsföring

• Robots.txt. En robots.txt fil är inget annat än en simpel textfil som görs i
  t ex wordpad. Filen innehåller instruktioner om hur sökmotorernas robotar skall agera när dom kommer till er hemsida. Man kan sätta olika parametrar som t ex "allow" eller "dissalow" som tillåter eller förbjuder sökmotorerna att indexera vissa delar av er hemsida.
• Stäng av eller tillåt t ex admin katalog
• Stäng av eller tillåt t ex bilder i gif format
• Stäng av eller tillåt t ex bilder i jpg format
• Stäng av eller tillåt t ex forum
  
• Exempel på hur en robots.txt fil kan se ut:
  
  User-Agent: *
  Disallow: /
  Denna stänger av alla robotar för allting.
  
  User-Agent: *
  Disallow: /

  User-Agent: Googlebot
  Allow: /
  Denna stänger av samtliga robotar förutom Google

  
  User-Agent: *
  Disallow: .jpg
  Disallow: .gif
  Disallow: /admin/
  Denna stänger av jpg, gif bilder samt admin katalogan för samtliga robotar

  User-Agent: Roverdog
  Disallow: /bilder/
  Disallow: speciell_sida.html
  Disallow: /admin/
  
  User-Agent: Scooter
  Disallow: *
  
  User-Agent: Googlebot
  Allow: /
  Denna stänger av sökmotorrn Roverdog från katalogen /bilder/, en speciell sida, speciell_sida.html och katalogen /admin/. Stänger av Altavistas robot "Scooter" helt men tllåter Google helt.

  Ovastående är exempel på vad som kan göras.
  
  Filen robots.txt skall placeras i roten av er domän, inte i en eller flera kataloger utan på samma ställe som er startsida.