答：搜(sou)索引擎通過一種程(cheng)序robot（又稱(cheng)spider），自動訪問(wen)互聯(lian)網(wang)上的網(wang)頁并(bing)獲取網(wang)頁信息。

可以在網站(zhan)(zhan)中(zhong)創建一(yi)個(ge)(ge)純文本文件robots.txt，在這(zhe)個(ge)(ge)文件中(zhong)聲明該網站(zhan)(zhan)中(zhong)不想被robot訪問的(de)部分，這(zhe)樣，該網站(zhan)(zhan)的(de)部分或(huo)全部內容就可以不被搜索引(yin)擎(qing)收錄了，或(huo)者指定(ding)(ding)搜索引(yin)擎(qing)只收錄指定(ding)(ding)的(de)內容。

robots.txt文(wen)件(jian)應該(gai)放(fang)在(zai)網(wang)站(zhan)根目錄(lu)下。舉例來說，當robots訪(fang)問一個(ge)網(wang)站(zhan)（比(bi)如//www.abc.com）時，首(shou)先會檢查該(gai)網(wang)站(zhan)中是否存在(zai)//www.abc.com/robots.txt這個(ge)文(wen)件(jian)，如果機(ji)器人找到這個(ge)文(wen)件(jian)，它(ta)就會根據這個(ge)文(wen)件(jian)的內(nei)容，來確定它(ta)訪(fang)問權限的范圍。