答：搜(sou)索引擎通過一種程序(xu)robot（又稱spider），自動訪問互聯網上(shang)的網頁并(bing)獲取網頁信息(xi)。
可以在網站中創建一個純(chun)文本文件robots.txt，在這個文件中聲明該(gai)網站中不想被robot訪問的(de)部(bu)分(fen)，這樣，該(gai)網站的(de)部(bu)分(fen)或(huo)全部(bu)內(nei)容就可以不被搜(sou)(sou)索(suo)(suo)引(yin)擎收錄了(le)，或(huo)者(zhe)指(zhi)定搜(sou)(sou)索(suo)(suo)引(yin)擎只收錄指(zhi)定的(de)內(nei)容。
robots.txt文(wen)件應該放在網站(zhan)根目錄下。舉例來(lai)說(shuo)，當robots訪問一個網站(zhan)（比如//www.abc.com）時，首先會檢查該網站(zhan)中是(shi)否(fou)存在//www.abc.com/robots.txt這個文(wen)件，如果(guo)機器人找到這個文(wen)件，它就會根據(ju)這個文(wen)件的內容，來(lai)確定(ding)它訪問權限的范圍。
旗下網站：耐思智慧 - - - 中文域名：
耐思智慧 © 版權(quan)所有 Copyright © 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼：
公安備案號：
聲(sheng)明：本網(wang)站中所(suo)使用到(dao)的其他各(ge)種版(ban)(ban)權(quan)(quan)內(nei)(nei)容(rong)(rong)，包括但不限于文章、圖片、視頻、音頻、字體等內(nei)(nei)容(rong)(rong)版(ban)(ban)權(quan)(quan)歸原(yuan)作者所(suo)有，如權(quan)(quan)利所(suo)有人發現，請及時告知，以便我們刪除(chu)版(ban)(ban)權(quan)(quan)內(nei)(nei)容(rong)(rong)
本站程序界面(mian)、源代碼受相關法律保護, 未經授權, 嚴(yan)禁使(shi)用(yong)(yong); 耐思智慧 © 為我公司注冊商標, 未經授權, 嚴(yan)禁使(shi)用(yong)(yong)
法律顧問：
舉報不良網站
高新企業證書編號：GR201644000568