答：搜索引擎通過一種程序robot（又(you)稱spider），自(zi)動訪(fang)問互聯網(wang)上的網(wang)頁并獲取網(wang)頁信息。
可以在網(wang)站中創建一個純文本文件(jian)robots.txt，在這個文件(jian)中聲明該網(wang)站中不想被robot訪問的部分(fen)，這樣，該網(wang)站的部分(fen)或全部內容就可以不被搜索引(yin)擎收錄了(le)，或者指(zhi)定(ding)(ding)搜索引(yin)擎只收錄指(zhi)定(ding)(ding)的內容。
robots.txt文(wen)件應該放(fang)在網(wang)站根目錄下。舉(ju)例(li)來說，當robots訪(fang)問一個(ge)網(wang)站（比如//www.abc.com）時(shi)，首先會檢查該網(wang)站中是(shi)否存(cun)在//www.abc.com/robots.txt這(zhe)個(ge)文(wen)件，如果機器人找到這(zhe)個(ge)文(wen)件，它就(jiu)會根據這(zhe)個(ge)文(wen)件的內容，來確定它訪(fang)問權限(xian)的范(fan)圍(wei)。
旗下網站：耐思智慧 - - - 中文域名：
耐思(si)智慧 © 版權所有 Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼：
公安備案號：
聲明：本網站中所(suo)使用(yong)到(dao)的(de)其他各(ge)種版(ban)權內(nei)容(rong)，包括(kuo)但不(bu)限(xian)于文(wen)章、圖片(pian)、視頻、音頻、字(zi)體等內(nei)容(rong)版(ban)權歸原作者所(suo)有(you)，如權利所(suo)有(you)人發現，請及時告知，以(yi)便我們刪(shan)除版(ban)權內(nei)容(rong)
本站程序界面、源代碼受相(xiang)關法律保護, 未(wei)經(jing)授權(quan), 嚴禁(jin)使(shi)用; 耐(nai)思智慧 © 為我公司(si)注冊商(shang)標, 未(wei)經(jing)授權(quan), 嚴禁(jin)使(shi)用
法律顧問：
舉報不良網站
高新企業證書編號：GR201644000568