答：搜(sou)索(suo)引擎通過(guo)一種(zhong)程序robot（又稱spider），自動訪問互聯網(wang)上的網(wang)頁(ye)并獲取(qu)網(wang)頁(ye)信息(xi)。

可(ke)以在網(wang)站中創建一個純文(wen)本(ben)文(wen)件robots.txt，在這個文(wen)件中聲明該網(wang)站中不想被robot訪(fang)問的(de)部(bu)分，這樣，該網(wang)站的(de)部(bu)分或全部(bu)內容就可(ke)以不被搜索引(yin)擎收錄了，或者指定搜索引(yin)擎只收錄指定的(de)內容。

robots.txt文件應(ying)該放在網站(zhan)根目錄下。舉例來(lai)說，當(dang)robots訪(fang)(fang)問(wen)一個(ge)(ge)網站(zhan)（比如//www.abc.com）時，首先會檢(jian)查該網站(zhan)中是否存在//www.abc.com/robots.txt這個(ge)(ge)文件，如果(guo)機(ji)器人找到(dao)這個(ge)(ge)文件，它就會根據這個(ge)(ge)文件的(de)內容，來(lai)確定它訪(fang)(fang)問(wen)權限的(de)范圍(wei)。