答：搜索引擎(qing)通過一種程序(xu)robot（又稱spider），自(zi)動訪(fang)問互聯網上的網頁并獲取網頁信息。
可以在網站中創建一個(ge)純文(wen)本文(wen)件robots.txt，在這個(ge)文(wen)件中聲(sheng)明該網站中不想被robot訪問的部分，這樣(yang)，該網站的部分或全部內(nei)容就可以不被搜索引擎(qing)收錄(lu)了，或者指定(ding)搜索引擎(qing)只收錄(lu)指定(ding)的內(nei)容。
robots.txt文(wen)件(jian)應該放在網(wang)站根(gen)目錄下。舉例來(lai)說，當robots訪(fang)問(wen)一個網(wang)站（比如(ru)//www.abc.com）時，首先會(hui)檢(jian)查該網(wang)站中是否存在//www.abc.com/robots.txt這個文(wen)件(jian)，如(ru)果機器(qi)人找(zhao)到這個文(wen)件(jian)，它就會(hui)根(gen)據這個文(wen)件(jian)的(de)(de)內容，來(lai)確定它訪(fang)問(wen)權限(xian)的(de)(de)范圍。
旗下網站：耐思智慧 - - - 中(zhong)文域名：
耐思智慧 © 版權所有(you) Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼：
公安備案號：
聲明：本(ben)網站中所使用到的其他各(ge)種版(ban)權(quan)內容(rong)，包括但不(bu)限于(yu)文(wen)章、圖片、視頻(pin)、音頻(pin)、字(zi)體等內容(rong)版(ban)權(quan)歸原作者所有，如權(quan)利所有人發(fa)現，請及時告(gao)知(zhi)，以便我們刪除版(ban)權(quan)內容(rong)
本站程序界(jie)面、源(yuan)代碼受相關(guan)法律保(bao)護(hu), 未經授(shou)權(quan)(quan), 嚴(yan)(yan)禁使用; 耐思(si)智慧(hui) © 為我(wo)公司(si)注(zhu)冊商標, 未經授(shou)權(quan)(quan), 嚴(yan)(yan)禁使用
法律顧問：
舉報不良網站
高新企業證書編號：GR201644000568