答：搜(sou)索引(yin)擎通過一(yi)種(zhong)程序robot（又稱spider），自動訪問(wen)互(hu)聯網上的(de)網頁并獲取網頁信息。

可以(yi)在網站中創建一(yi)個純文(wen)本文(wen)件(jian)robots.txt，在這(zhe)個文(wen)件(jian)中聲(sheng)明該(gai)網站中不想被robot訪問的(de)部分，這(zhe)樣，該(gai)網站的(de)部分或全(quan)部內容(rong)就可以(yi)不被搜(sou)索引(yin)擎收錄了，或者指定(ding)搜(sou)索引(yin)擎只收錄指定(ding)的(de)內容(rong)。

robots.txt文(wen)件應該(gai)放在(zai)網站(zhan)根目錄下。舉例來說(shuo)，當(dang)robots訪問一個網站(zhan)（比如//www.abc.com）時，首先(xian)會檢查該(gai)網站(zhan)中是否存在(zai)//www.abc.com/robots.txt這個文(wen)件，如果(guo)機(ji)器人找到這個文(wen)件，它(ta)就會根據(ju)這個文(wen)件的內容，來確定(ding)它(ta)訪問權限的范圍(wei)。