答(da)：搜索引擎(qing)通過(guo)一(yi)種程序robot（又稱spider），自動(dong)訪問互聯網(wang)上的(de)網(wang)頁(ye)(ye)并獲取網(wang)頁(ye)(ye)信息。

可(ke)以在(zai)網(wang)站中(zhong)創建(jian)一(yi)個(ge)(ge)純文(wen)本文(wen)件robots.txt，在(zai)這(zhe)個(ge)(ge)文(wen)件中(zhong)聲明(ming)該網(wang)站中(zhong)不想被robot訪(fang)問的(de)部分(fen)，這(zhe)樣，該網(wang)站的(de)部分(fen)或全(quan)部內容(rong)就可(ke)以不被搜(sou)索(suo)引(yin)擎(qing)收(shou)錄(lu)了(le)，或者指定(ding)搜(sou)索(suo)引(yin)擎(qing)只收(shou)錄(lu)指定(ding)的(de)內容(rong)。

robots.txt文(wen)(wen)件應該放在網(wang)站根目錄下。舉例(li)來(lai)說，當robots訪(fang)問一個(ge)網(wang)站（比(bi)如//www.abc.com）時，首先會檢查該網(wang)站中是否存在//www.abc.com/robots.txt這(zhe)個(ge)文(wen)(wen)件，如果機器(qi)人找(zhao)到這(zhe)個(ge)文(wen)(wen)件，它就會根據這(zhe)個(ge)文(wen)(wen)件的內容，來(lai)確定(ding)它訪(fang)問權限的范圍。