答：搜(sou)索引(yin)擎(qing)通過一種程序robot（又稱spider），自動(dong)訪問互聯網(wang)(wang)上的網(wang)(wang)頁并獲取網(wang)(wang)頁信息。

可以在(zai)網站(zhan)中(zhong)創建一個純(chun)文本文件robots.txt，在(zai)這個文件中(zhong)聲(sheng)明該網站(zhan)中(zhong)不想被(bei)robot訪問的(de)部(bu)(bu)分，這樣，該網站(zhan)的(de)部(bu)(bu)分或全部(bu)(bu)內容(rong)就可以不被(bei)搜索引擎收(shou)錄了，或者指定搜索引擎只收(shou)錄指定的(de)內容(rong)。

robots.txt文(wen)件應該放在網(wang)站(zhan)根目錄(lu)下。舉例來(lai)說(shuo)，當(dang)robots訪(fang)問(wen)一(yi)個(ge)網(wang)站(zhan)（比如//www.abc.com）時，首先(xian)會檢查該網(wang)站(zhan)中(zhong)是否存在//www.abc.com/robots.txt這(zhe)個(ge)文(wen)件，如果機(ji)器人(ren)找(zhao)到這(zhe)個(ge)文(wen)件，它(ta)就會根據這(zhe)個(ge)文(wen)件的內容(rong)，來(lai)確(que)定它(ta)訪(fang)問(wen)權限的范圍。