答：搜索引擎通過一(yi)種程(cheng)序robot（又(you)稱(cheng)spider），自動訪問(wen)互聯網(wang)(wang)上的網(wang)(wang)頁(ye)并獲取網(wang)(wang)頁(ye)信息。

可以在(zai)網站中創建一個(ge)純文(wen)本文(wen)件robots.txt，在(zai)這個(ge)文(wen)件中聲明該網站中不想被robot訪(fang)問(wen)的部(bu)分，這樣，該網站的部(bu)分或全部(bu)內容(rong)就可以不被搜(sou)索引(yin)擎收(shou)錄(lu)(lu)了，或者指定(ding)搜(sou)索引(yin)擎只收(shou)錄(lu)(lu)指定(ding)的內容(rong)。

robots.txt文(wen)件應該(gai)放(fang)在(zai)網站根目錄下。舉例來(lai)說，當(dang)robots訪(fang)(fang)問一個(ge)網站（比如(ru)//www.abc.com）時，首先會檢查該(gai)網站中是否存在(zai)//www.abc.com/robots.txt這個(ge)文(wen)件，如(ru)果機(ji)器(qi)人找到這個(ge)文(wen)件，它就會根據這個(ge)文(wen)件的內容，來(lai)確(que)定它訪(fang)(fang)問權(quan)限的范圍。