答(da)：搜索引擎(qing)通過一種程序robot（又稱spider），自動訪問(wen)互聯網上的網頁并獲取網頁信息(xi)。

 可以在網(wang)站(zhan)中(zhong)創建一個(ge)純(chun)文本(ben)文件robots.txt，在這個(ge)文件中(zhong)聲明該網(wang)站(zhan)中(zhong)不想被robot訪問的(de)部分，這樣，該網(wang)站(zhan)的(de)部分或(huo)全部內容就可以不被搜索引擎(qing)收錄了(le)，或(huo)者指定搜索引擎(qing)只收錄指定的(de)內容。

robots.txt文件(jian)(jian)(jian)應該放(fang)在網(wang)(wang)站(zhan)根目錄下(xia)。舉例來說(shuo)，當robots訪問一個網(wang)(wang)站(zhan)（比如//www.abc.com）時(shi)，首先會檢查該網(wang)(wang)站(zhan)中(zhong)是否(fou)存在//www.abc.com/robots.txt這(zhe)個文件(jian)(jian)(jian)，如果(guo)機器(qi)人找到(dao)這(zhe)個文件(jian)(jian)(jian)，它就會根據這(zhe)個文件(jian)(jian)(jian)的內容(rong)，來確(que)定它訪問權限的范圍。