答：搜索引擎通過一種程序robot（又(you)稱spider），自動訪(fang)問互(hu)聯(lian)網上的網頁(ye)并獲取網頁(ye)信(xin)息。
可以在網站中創建一個純文本文件(jian)robots.txt，在這個文件(jian)中聲明該(gai)網站中不(bu)(bu)想被robot訪問(wen)的(de)部分，這樣，該(gai)網站的(de)部分或全部內(nei)容(rong)就可以不(bu)(bu)被搜索引(yin)擎(qing)收錄了，或者指定(ding)搜索引(yin)擎(qing)只收錄指定(ding)的(de)內(nei)容(rong)。
robots.txt文件應該放在網(wang)站根目錄(lu)下(xia)。舉例來(lai)說，當(dang)robots訪問一個網(wang)站（比如(ru)//www.abc.com）時，首先會檢查該網(wang)站中是否存在//www.abc.com/robots.txt這個文件，如(ru)果機器人找到這個文件，它就會根據這個文件的(de)內容，來(lai)確定它訪問權(quan)限的(de)范圍。
旗下網站：耐思智慧 - - - 中文(wen)域名：
耐思智慧 © 版權所有 Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼：
公安備案號：
聲明：本網站中所使用(yong)到的其(qi)他(ta)各種版權(quan)(quan)內容，包(bao)括(kuo)但(dan)不限于文(wen)章(zhang)、圖片、視頻、音頻、字體等內容版權(quan)(quan)歸原作者所有(you)(you)，如權(quan)(quan)利(li)所有(you)(you)人發(fa)現(xian)，請(qing)及時告(gao)知，以便我們刪除版權(quan)(quan)內容
本(ben)站(zhan)程序界(jie)面、源代(dai)碼受相(xiang)關法律(lv)保護, 未經(jing)授權(quan), 嚴禁使用; 耐思智慧 © 為我公司注(zhu)冊商標, 未經(jing)授權(quan), 嚴禁使用
法律顧問：
舉報不良網站
高新企業證書編號：GR201644000568