海諾培訓

網站地圖制作工具,搜索引制作快速抓取

admin

  本教程將介紹如何使用Screaming?Frog?SEO spider生成XML Sitemaps。首先,需要下載精簡形式的免費SEO蜘蛛,最多500個URL。你可以通過加站長QQ免費獲取。

  創建XML Sitemap的后續步驟如下 

網站地圖制作工具,搜索引制作快速抓取

向日葵app下载安装   1)抓取網站

  打開SEO蜘蛛,在“輸入網址到蜘蛛”框中輸入你想要抓取的網站,然后點擊“開始”。

向日葵app下载安装   2)點擊“站點地圖>創建XML站點地圖”

  當爬網達到100%并完成后,單擊頂級菜單中“站點地圖”下的“創建XML站點地圖”選項。

  這將打開許多站點地圖配置選項。

  3)選擇要包含的“頁面”

  只有“內部”選項卡中包含的HTML頁面以及來自爬網的“200”OK響應才會默認包含在XML站點地圖中。因此,您無需擔心重定向(3XX),站點地圖中包含客戶端錯誤(4XX錯誤,如斷開的鏈接)或服務器錯誤(5XX)。可以選擇包含它們,因為在某些情況下您可能需要它們。

  被robots.txt阻止,設置為’noindex’的頁面已經’規范化’(規范網址與網頁的網址不同),分頁(具有rel =“prev”的網址)或PDF也不是包括作為標準。這可以在XML Sitemap的“頁面”配置中進行調整,因此只需選擇您的首選項即可。

向日葵app下载安装   可以在“響應”標簽下使用相應的過濾器查看哪些網址沒有響應,被阻止或重定向或出錯。在“指令”標簽下查看哪些網址為“noindex”,“canonicalised”或在其上設置了rel =“prev”鏈接元素,并使用了過濾器。

向日葵app下载安装   4)從XML站點地圖中排除頁面

向日葵app下载安装   在上述配置選項之外,可能還有其他“內部”HTML 200響應頁面,根本不希望包含在XML站點地圖中。

  例如,在站點地圖中包含“重復”頁面。如果一個頁面可以通過兩個不同的URL訪問,例如http://xusseo.com和http://www.xusseo.com(并且它們都以’200’響應解析),那么只有一個首選的規范版本應該包含在站點地圖中。

向日葵app下载安装   有幾種方法可以確保它們不包含在XML Sitemap中 –

  如果你不希望在XML站點地圖中包含網站或URL路徑的各個部分,則只需在配置預爬網中將其排除即可。由于它們不會被抓取,因此它們不會包含在“內部”選項卡或XML站點地圖中。

向日葵app下载安装   如果你已經抓取了不希望包含在XML Sitemap導出中的URL,則只需在頂部窗口窗格的“內部選項卡”中突出顯示它們,右鍵單擊并“刪除”它們,然后再創建XML站點地圖。

向日葵app下载安装   或者,你可以在生成XML站點地圖之前將“內部”選項卡導出到Excel,過濾和刪除任何不需要的URL,并以列表模式重新上載文件。

向日葵app下载安装   5)選擇上次修改日期

向日葵app下载安装   這是一個完全可選的屬性,包含在XML Sitemap中,因此如果你不想包含文件上次修改的日期,則可以“取消”’包括lastmod標簽’框。這只是上次更新頁面時搜索引擎的一個提示。

  如果你希望包含’lastmod’,那么只需選擇是否要使用直接從服務器提供的“上次修改”響應(并在“內部”選項卡的“上次修改”列中查看)或使用自定義日期。

向日葵app下载安装   6)選擇URL的“優先級”

  “優先級”是包含在XML Sitemap中的可選屬性。如果您不想設置URL的優先級,則可以“取消選中”“包含優先級標記”框。優先級為搜索引擎提供了相對于您網站上其他網址的URL重要性的提示。有效值的范圍從0.0到最高優先級1.0,默認值為0.5。

  SEO Spider允許您根據URL的“級別”(深度)配置這些。你可以在“內部”標簽中的“級別”列下查看網址的“級別”。

  如上面的屏幕截圖所示,默認情況下,主頁(或爬網的起始頁面)設置為“1”的最高優先級,每個深度級別優先級降低0.1,級別5+降低到0.5。這些可以根據您的喜好進行調整。

向日葵app下载安装   請記住,URL的“優先級”不會影響它們在搜索引擎中的得分方式。“優先級”用于增加最重要頁面被爬網和編入索引的可能性。實際上,谷歌在算法上做得非常好。

  7)選擇URL的“更改頻率”

  ‘changefreq’是另一個可選屬性,它“提示”頁面可能更改的頻率。

  SEO Spider允許您根據URL的“最后修改”響應或“級別”(深度)配置這些。“從上次修改標頭計算”選項意味著如果頁面在過去24小時內已更改,則會將其設置為“每日”,如果不是,則將其設置為“每月”。

  請記住,這些不是搜索引擎的命令,只是“提示”。谷歌基本上會在算法上通過XML站點地圖中提供的任何“提示”抓取URL。

向日葵app下载安装   8)選擇要包含在站點地圖中的圖像

向日葵app下载安装   將圖像包含在XML站點地圖中是完全可選的。如果勾選了“包含圖像”選項,則默認情況下將包含“內部”選項卡(和“圖像”選項卡)下的所有圖像。如果你的圖像位于CDN,子域或駐留在外部,則它們將顯示在UI中的“外部”選項卡下。你可以在配置中輸入正則表達式,以將這些包含在XML Sitemap中。

向日葵app下载安装   通常,您不需要在XML站點地圖中包含諸如您自己的徽標,間隔符或社交媒體配置文件圖標之類的圖像,因此您可以選擇僅包含具有特定數量的源屬性引用的圖像以排除這些圖像。

  通常,像徽標這樣的圖像會鏈接到整個網站,而產品頁面上的圖片(你通常希望包含這些圖片)可能只會鏈接到兩次。“圖像”標簽中有一個“IMG Inlinks”列,顯示圖像被引用的次數,以幫助調整可能適合包含的“鏈接”的數量。

向日葵app下载安装   你也可以按照與任何其他URL一樣的方式右鍵單擊并“刪除”你不想包含的任何圖像。

  9)包括hreflang

向日葵app下载安装   如果你已經通過屬性或HTTP標頭在網站上設置了hreflang,則可以選擇將hreflang添加到XML Sitemap中。

  請注意 – 如果當前已經存在(作為屬性或通過HTTP標頭),SEO Spider只能使用hreflang創建XML Sitemaps。更多來這里。

  10)單擊“下一步”以生成XML站點地圖

  完成配置各種站點地圖屬性和選項后,只需單擊“下一步”即可創建XML站點地圖。站點地圖文件不能包含超過50,000個URL,并且必須不大于50 MB未壓縮。因此,如果您擁有超過49,999個URL,SEO蜘蛛將自動創建其他站點地圖文件和引用站點地圖位置的站點地圖索引文件。

向日葵app下载安装   然后單擊“保存”到計算機上的首選位置。雖然這是創建XML站點地圖所需的所有步驟,但我們之后會推薦幾個步驟!

  將XML站點地圖提交給百度站長平臺

  現在,XML站點地圖已準備好提交給搜索引擎。最后強烈建議你通過百度站長工具向百度提交XML Sitemap,作為跟蹤索引的方法。

  將Sitemap條目插入您的Robots.txt文件

向日葵app下载安装   最后,建議你在robots.txt文件中的任意位置添加以下行條目,以通知搜索引擎XML Sitemaps的存在。

上一篇:沒有了

下一篇:沒有了