答：搜索引擎通(tong)過一種程序robot（又稱spider），自(zi)動訪(fang)問互聯(lian)網上的(de)網頁并獲取網頁信息。

可以在(zai)網(wang)站(zhan)中(zhong)(zhong)創建一個純文本文件robots.txt，在(zai)這個文件中(zhong)(zhong)聲明該網(wang)站(zhan)中(zhong)(zhong)不(bu)想被(bei)robot訪問(wen)的部分(fen)(fen)，這樣，該網(wang)站(zhan)的部分(fen)(fen)或全部內(nei)容(rong)就可以不(bu)被(bei)搜(sou)索引(yin)擎收錄了，或者指(zhi)定(ding)(ding)搜(sou)索引(yin)擎只收錄指(zhi)定(ding)(ding)的內(nei)容(rong)。

robots.txt文(wen)(wen)件(jian)應(ying)該(gai)放在網站根(gen)目(mu)錄下。舉例來說，當(dang)robots訪(fang)問一個(ge)(ge)(ge)網站（比如(ru)//www.abc.com）時，首先會檢查該(gai)網站中是(shi)否存在//www.abc.com/robots.txt這個(ge)(ge)(ge)文(wen)(wen)件(jian)，如(ru)果(guo)機器人找(zhao)到這個(ge)(ge)(ge)文(wen)(wen)件(jian)，它就會根(gen)據這個(ge)(ge)(ge)文(wen)(wen)件(jian)的(de)內容(rong)，來確定它訪(fang)問權限的(de)范圍。