答(da)：搜索(suo)引擎通過一種程序robot（又稱spider），自動(dong)訪問互聯(lian)網上的網頁并(bing)獲取網頁信息。
可(ke)以在網站中(zhong)創建一個純(chun)文本文件robots.txt，在這個文件中(zhong)聲明(ming)該(gai)網站中(zhong)不想被robot訪問的(de)部分，這樣，該(gai)網站的(de)部分或全部內(nei)容(rong)就可(ke)以不被搜索(suo)引擎收(shou)(shou)錄(lu)了(le)，或者指定搜索(suo)引擎只收(shou)(shou)錄(lu)指定的(de)內(nei)容(rong)。
robots.txt文(wen)(wen)件應該(gai)(gai)放在網(wang)站根(gen)目錄下。舉例來說(shuo)，當robots訪問一(yi)個網(wang)站（比如//www.abc.com）時，首先會(hui)檢查(cha)該(gai)(gai)網(wang)站中(zhong)是否存在//www.abc.com/robots.txt這個文(wen)(wen)件，如果機器(qi)人找到這個文(wen)(wen)件，它就(jiu)會(hui)根(gen)據這個文(wen)(wen)件的內容，來確定它訪問權(quan)限的范(fan)圍。
旗下網站：耐思智慧 - - - 中(zhong)文域名：
耐思智慧 © 版權所(suo)有 Copyright ©; 2000-2025 szjicheng.cn,Inc. All rights reserved
備案號碼：
公安備案號：
聲明：本網站中所使用到的其他(ta)各種版權(quan)內容，包括(kuo)但不(bu)限于文章、圖(tu)片、視頻(pin)、音頻(pin)、字體等(deng)內容版權(quan)歸原作者所有，如(ru)權(quan)利所有人發現，請及時告知，以便(bian)我(wo)們刪(shan)除版權(quan)內容
本站程序(xu)界面、源代碼(ma)受相關法律保(bao)護(hu), 未經授權, 嚴禁使用(yong); 耐思智慧 © 為(wei)我公司注(zhu)冊商標, 未經授權, 嚴禁使用(yong)
法律顧問：
舉報不良網站
高新企業證書編號：GR201644000568