答：搜索引(yin)擎通過(guo)一(yi)種程(cheng)序robot（又稱spider），自動訪問(wen)互聯(lian)網(wang)上的網(wang)頁(ye)并(bing)獲(huo)取網(wang)頁(ye)信息。
可以在網(wang)站(zhan)中創(chuang)建一(yi)個純文本文件robots.txt，在這個文件中聲明該(gai)網(wang)站(zhan)中不想被robot訪問(wen)的部(bu)分(fen)(fen)，這樣，該(gai)網(wang)站(zhan)的部(bu)分(fen)(fen)或全部(bu)內(nei)容就可以不被搜索(suo)引(yin)(yin)擎(qing)收(shou)錄了，或者指(zhi)定搜索(suo)引(yin)(yin)擎(qing)只收(shou)錄指(zhi)定的內(nei)容。
robots.txt文件應該放在(zai)網(wang)站根(gen)目錄下。舉例來說，當(dang)robots訪(fang)問(wen)一個網(wang)站（比如//www.abc.com）時，首(shou)先會檢查該網(wang)站中是否存在(zai)//www.abc.com/robots.txt這(zhe)個文件，如果機器人找到這(zhe)個文件，它(ta)就會根(gen)據這(zhe)個文件的內容(rong)，來確定它(ta)訪(fang)問(wen)權限(xian)的范(fan)圍。
旗下網站：耐思智慧 - - - 中文(wen)域名：
耐思智(zhi)慧(hui) © 版(ban)權所有 Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼：
公安備案號：
聲明(ming)：本(ben)網站中所(suo)使用到的其他各(ge)種版權(quan)內(nei)容(rong)，包(bao)括但不限(xian)于文(wen)章、圖(tu)片、視(shi)頻、音頻、字體等內(nei)容(rong)版權(quan)歸原作(zuo)者所(suo)有(you)，如權(quan)利所(suo)有(you)人發(fa)現(xian)，請及時(shi)告(gao)知，以便我們刪(shan)除版權(quan)內(nei)容(rong)
本站程序界面、源(yuan)代碼(ma)受相關法律保護, 未(wei)經(jing)授(shou)權(quan)(quan), 嚴(yan)禁使用(yong); 耐思智慧(hui) © 為我公司(si)注冊商標, 未(wei)經(jing)授(shou)權(quan)(quan), 嚴(yan)禁使用(yong)
法律顧問：
舉報不良網站
高新企業證書編號：GR201644000568