答：搜索引擎通過一種程序(xu)robot（又稱spider），自動(dong)訪問互聯網(wang)(wang)上的網(wang)(wang)頁(ye)并獲取網(wang)(wang)頁(ye)信(xin)息。

可以(yi)在網(wang)站(zhan)(zhan)中(zhong)創(chuang)建一個純(chun)文(wen)本文(wen)件robots.txt，在這個文(wen)件中(zhong)聲明(ming)該網(wang)站(zhan)(zhan)中(zhong)不想被(bei)robot訪問的部(bu)(bu)分，這樣(yang)，該網(wang)站(zhan)(zhan)的部(bu)(bu)分或全部(bu)(bu)內容(rong)就可以(yi)不被(bei)搜索(suo)引(yin)擎收錄了，或者指定搜索(suo)引(yin)擎只收錄指定的內容(rong)。

robots.txt文件(jian)(jian)(jian)應該放在網(wang)站根(gen)(gen)目錄下。舉例(li)來說，當(dang)robots訪問一個(ge)網(wang)站（比(bi)如//www.abc.com）時，首先會檢查該網(wang)站中是否存在//www.abc.com/robots.txt這個(ge)文件(jian)(jian)(jian)，如果機器人找(zhao)到這個(ge)文件(jian)(jian)(jian)，它(ta)就會根(gen)(gen)據這個(ge)文件(jian)(jian)(jian)的內(nei)容，來確定它(ta)訪問權限的范圍。