答(da)：搜(sou)索(suo)引擎(qing)通過一種程序robot（又(you)稱spider），自動訪問互聯網上的網頁(ye)并(bing)獲(huo)取網頁(ye)信息。

可以在(zai)網(wang)站中創建(jian)一(yi)個(ge)純文本文件robots.txt，在(zai)這個(ge)文件中聲明該網(wang)站中不想被robot訪問的(de)部分，這樣，該網(wang)站的(de)部分或(huo)全部內(nei)容(rong)就可以不被搜索引(yin)擎收錄了，或(huo)者指定搜索引(yin)擎只(zhi)收錄指定的(de)內(nei)容(rong)。

robots.txt文(wen)(wen)件(jian)應(ying)該(gai)放在(zai)網(wang)站根目錄(lu)下。舉例(li)來(lai)(lai)說，當robots訪問一個(ge)網(wang)站（比如//www.abc.com）時，首先會檢(jian)查(cha)該(gai)網(wang)站中(zhong)是(shi)否存在(zai)//www.abc.com/robots.txt這(zhe)(zhe)(zhe)個(ge)文(wen)(wen)件(jian)，如果機器人找到這(zhe)(zhe)(zhe)個(ge)文(wen)(wen)件(jian)，它就會根據這(zhe)(zhe)(zhe)個(ge)文(wen)(wen)件(jian)的內容，來(lai)(lai)確定它訪問權限的范圍。