答：搜(sou)索引(yin)擎通(tong)過一種程序(xu)robot（又(you)稱spider），自動(dong)訪問互聯(lian)網(wang)(wang)(wang)上的網(wang)(wang)(wang)頁(ye)并獲取網(wang)(wang)(wang)頁(ye)信息。

可以在(zai)網(wang)站中(zhong)創建一個(ge)(ge)純(chun)文本文件robots.txt，在(zai)這個(ge)(ge)文件中(zhong)聲(sheng)明該(gai)網(wang)站中(zhong)不想(xiang)被robot訪問的(de)部(bu)分(fen)，這樣，該(gai)網(wang)站的(de)部(bu)分(fen)或(huo)全部(bu)內容(rong)就可以不被搜索引擎收(shou)錄了，或(huo)者指(zhi)定(ding)搜索引擎只收(shou)錄指(zhi)定(ding)的(de)內容(rong)。

robots.txt文(wen)件應該(gai)放在網(wang)站根目錄下。舉例來說，當robots訪問一個網(wang)站（比如//www.abc.com）時，首先會檢查該(gai)網(wang)站中是否存在//www.abc.com/robots.txt這個文(wen)件，如果機器人找到(dao)這個文(wen)件，它(ta)就會根據這個文(wen)件的內容，來確定(ding)它(ta)訪問權限的范圍。