Robots.txt nedir?

Arama motoru botlarına hangi bölümlerin taranacağını söyleyen dosya.

Yanlış bir satır tüm sitenin taranmasını engelleyebilir; değişiklikler dikkatle yapılmalıdır.