robots.txt文件相信各位站長(zhǎng)并不陌生,但是談到如何去寫相信有一部分站長(zhǎng)是不會(huì)的,網(wǎng)站中出現(xiàn)死鏈的幾率很大,所以robots.txt文件寫法作為個(gè)人站長(zhǎng)的必須掌握的技能之一,其用途也是非常廣泛的,今天上海seo小編就為大家講解robots.txt文件常用的寫法。
假設(shè)網(wǎng)站做了偽靜態(tài)或者url靜態(tài)化,不想讓搜索引擎抓取網(wǎng)站中所有動(dòng)態(tài)url的寫法。因?yàn)榇蠹叶贾谰W(wǎng)站靜態(tài)的和偽靜態(tài)的url對(duì)搜索引擎爬蟲是友好的,所以大家網(wǎng)站一般都做了靜態(tài)或偽靜態(tài),既然做了靜態(tài)化處理當(dāng)然就動(dòng)態(tài)url就不想讓蜘蛛抓取了。如果都讓蜘蛛抓就會(huì)產(chǎn)生大量的重復(fù)頁(yè)面。那么我們?nèi)绾胃膶??如圖所示
以上是上海seo優(yōu)化小編針對(duì)網(wǎng)站robots.txt文件的寫法,相信會(huì)對(duì)seo新手有一定的幫助。