搜索引擎”蜘蛛”是一種智能機(jī)器人程序，是按照一定的規(guī)則，自行發(fā)出指令去搜集互聯(lián)網(wǎng)上的網(wǎng)頁信息。每個(gè)搜索引擎都會(huì)有一套蜘蛛程序系統(tǒng)，模擬人工訪問網(wǎng)站的方式，對(duì)網(wǎng)站進(jìn)行評(píng)估和審核，如果…