答：搜索引擎(qing)通過一種程序robot（又稱spider），自(zi)動訪(fang)問互聯網(wang)上的網(wang)頁并獲取網(wang)頁信(xin)息(xi)。
可以在網站中(zhong)(zhong)創建一個純文本文件robots.txt，在這個文件中(zhong)(zhong)聲(sheng)明該網站中(zhong)(zhong)不(bu)想被(bei)robot訪問的(de)部(bu)(bu)分，這樣，該網站的(de)部(bu)(bu)分或(huo)全(quan)部(bu)(bu)內容(rong)就可以不(bu)被(bei)搜索(suo)引(yin)擎(qing)收錄了(le)，或(huo)者指定搜索(suo)引(yin)擎(qing)只收錄指定的(de)內容(rong)。
robots.txt文(wen)件應(ying)該放在網(wang)站根目錄下。舉例來說，當robots訪問(wen)一(yi)個網(wang)站（比(bi)如//www.abc.com）時，首先會檢查該網(wang)站中是否存(cun)在//www.abc.com/robots.txt這個文(wen)件，如果機器人找到這個文(wen)件，它就會根據這個文(wen)件的內容，來確定(ding)它訪問(wen)權限的范(fan)圍。
旗下網站：耐思智慧 - - - 中文(wen)域名：
耐思智(zhi)慧 © 版(ban)權(quan)所有 Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼：
公安備案號：
聲明：本網站(zhan)中所(suo)使(shi)用到的其他(ta)各種版(ban)權內容，包(bao)括但不限(xian)于(yu)文章、圖片、視頻(pin)、音頻(pin)、字體等內容版(ban)權歸原(yuan)作者所(suo)有(you)，如(ru)權利所(suo)有(you)人發現，請及時(shi)告知，以便(bian)我們(men)刪除版(ban)權內容
本站(zhan)程序界(jie)面、源代碼受(shou)相關法律保護, 未經授(shou)權(quan), 嚴禁使用(yong); 耐思智慧 © 為我公(gong)司注冊商標(biao), 未經授(shou)權(quan), 嚴禁使用(yong)
法律顧問：
舉報不良網站
高新企業證書編號：GR201644000568