答(da)：搜索引擎通過一種程序(xu)robot（又稱spider），自動訪問互(hu)聯網(wang)上的網(wang)頁并獲取網(wang)頁信息。

 可以在網(wang)站中(zhong)創建一個(ge)純文本文件(jian)robots.txt，在這(zhe)個(ge)文件(jian)中(zhong)聲明該(gai)網(wang)站中(zhong)不(bu)想被robot訪問的部分，這(zhe)樣，該(gai)網(wang)站的部分或全部內(nei)容(rong)(rong)就可以不(bu)被搜(sou)索引(yin)擎(qing)收(shou)錄(lu)了，或者(zhe)指定(ding)(ding)搜(sou)索引(yin)擎(qing)只收(shou)錄(lu)指定(ding)(ding)的內(nei)容(rong)(rong)。

robots.txt文件(jian)應該放(fang)在網站根(gen)目錄下。舉例(li)來(lai)說，當(dang)robots訪問(wen)(wen)一個(ge)網站（比如//www.abc.com）時，首先會(hui)(hui)檢查該網站中(zhong)是(shi)否存(cun)在//www.abc.com/robots.txt這個(ge)文件(jian)，如果機器(qi)人找到這個(ge)文件(jian)，它(ta)就會(hui)(hui)根(gen)據這個(ge)文件(jian)的內(nei)容，來(lai)確定它(ta)訪問(wen)(wen)權(quan)限的范圍。