答：搜索引擎(qing)通過一種程(cheng)序robot（又稱spider），自動(dong)訪問互聯網(wang)上的網(wang)頁并獲取(qu)網(wang)頁信息。

可(ke)以(yi)在網(wang)(wang)站(zhan)中(zhong)創(chuang)建一個(ge)純文(wen)本文(wen)件(jian)robots.txt，在這個(ge)文(wen)件(jian)中(zhong)聲明(ming)該網(wang)(wang)站(zhan)中(zhong)不(bu)想被robot訪問的(de)部分(fen)(fen)，這樣，該網(wang)(wang)站(zhan)的(de)部分(fen)(fen)或(huo)全部內容(rong)就可(ke)以(yi)不(bu)被搜索(suo)引(yin)擎(qing)收錄了，或(huo)者指定搜索(suo)引(yin)擎(qing)只收錄指定的(de)內容(rong)。

robots.txt文件(jian)應該放在網(wang)站(zhan)根(gen)目錄(lu)下。舉例來說，當robots訪(fang)問一個(ge)網(wang)站(zhan)（比如//www.abc.com）時(shi)，首先(xian)會檢(jian)查該網(wang)站(zhan)中是否存(cun)在//www.abc.com/robots.txt這(zhe)(zhe)個(ge)文件(jian)，如果機器人找到這(zhe)(zhe)個(ge)文件(jian)，它就會根(gen)據(ju)這(zhe)(zhe)個(ge)文件(jian)的(de)(de)內容，來確定它訪(fang)問權限的(de)(de)范圍。