答(da)：搜索引擎(qing)通過一種(zhong)程序(xu)robot（又稱(cheng)spider），自動(dong)訪(fang)問互聯網(wang)上的網(wang)頁(ye)(ye)并獲取網(wang)頁(ye)(ye)信息。

可(ke)以在(zai)(zai)網站中創建一(yi)個純文本文件robots.txt，在(zai)(zai)這個文件中聲明該網站中不想(xiang)被(bei)robot訪(fang)問的部(bu)分(fen)，這樣，該網站的部(bu)分(fen)或(huo)全部(bu)內容就可(ke)以不被(bei)搜(sou)索(suo)引擎收(shou)錄(lu)了，或(huo)者指定(ding)搜(sou)索(suo)引擎只收(shou)錄(lu)指定(ding)的內容。

robots.txt文件(jian)應(ying)該放在網(wang)站(zhan)根(gen)目錄下。舉(ju)例來說，當robots訪(fang)問一(yi)個網(wang)站(zhan)（比如//www.abc.com）時，首先(xian)會檢查(cha)該網(wang)站(zhan)中是否存在//www.abc.com/robots.txt這(zhe)(zhe)個文件(jian)，如果機器(qi)人找到這(zhe)(zhe)個文件(jian)，它(ta)就會根(gen)據這(zhe)(zhe)個文件(jian)的(de)內(nei)容，來確(que)定它(ta)訪(fang)問權限(xian)的(de)范圍。