答：搜索(suo)引擎通(tong)過一種程序(xu)robot（又(you)稱spider），自動(dong)訪問互聯網(wang)上的網(wang)頁(ye)并(bing)獲取網(wang)頁(ye)信(xin)息。

可(ke)(ke)以在(zai)網站(zhan)中(zhong)(zhong)創建一個(ge)純(chun)文(wen)本文(wen)件robots.txt，在(zai)這個(ge)文(wen)件中(zhong)(zhong)聲明該(gai)網站(zhan)中(zhong)(zhong)不想被robot訪問的(de)(de)部(bu)分(fen)，這樣，該(gai)網站(zhan)的(de)(de)部(bu)分(fen)或全(quan)部(bu)內容就(jiu)可(ke)(ke)以不被搜索引擎(qing)收錄了，或者指定搜索引擎(qing)只(zhi)收錄指定的(de)(de)內容。

robots.txt文件(jian)應該放在(zai)網(wang)(wang)站根目錄下。舉例來說(shuo)，當robots訪問一個(ge)(ge)網(wang)(wang)站（比如(ru)//www.abc.com）時，首先會檢查該網(wang)(wang)站中(zhong)是否存在(zai)//www.abc.com/robots.txt這(zhe)(zhe)個(ge)(ge)文件(jian)，如(ru)果(guo)機器人找到這(zhe)(zhe)個(ge)(ge)文件(jian)，它(ta)就會根據(ju)這(zhe)(zhe)個(ge)(ge)文件(jian)的(de)內(nei)容，來確定它(ta)訪問權(quan)限的(de)范圍。