域名申請開通、網(wǎng)站放了好久近期才開始著力來做，發(fā)現(xiàn)博客只被 Google 收錄，基礎的 robots.txt 和 sitemap.xml 都有相應缺失，了解了一下 SEO 相關的只是，發(fā)現(xiàn)欠缺的東西挺多。
25 歲將至，隱隱約約感覺到一年與一年的差距哪怕是感官上的時間長短都逐漸趨于穩(wěn)定，不會有度日如年，也沒有了時光飛逝，所有的成長和變化都在意料之中。怎么說慢慢來做吧，博客站主要目的還是把一些見解和筆記記錄在這里，隔一段時間回頭看看改進提升，同時產(chǎn)出的一些東西造福人類文明，收獲一些成就感好了。
關于 robots.txt，權威的參考資料是 Google Console 創(chuàng)建 robots.txt 文件，相關的作用和創(chuàng)建方法此處不再贅述，更棒的是如果你一開始就能按照搜索引擎優(yōu)化 (SEO) 新手指南來做，那么問題將會減少很多。
沒有 robots.txt
默認情況下，搜索引擎是可以抓取所有頁面的；簡而言之如果允許搜索引擎完全抓取站點可以不設置 robots.txt 文件
如果不設置，請保證搜索引擎訪問 robots.txt 文件時能夠返回 404 錯誤碼，防止搜索引擎誤解。
如果設置，可以參考如下設置：
User-agent: *
沒有 sitemap.xml
正常使用情況下站點地圖是百利而無一害的，提交站點地圖可以加速搜索引擎爬取速度，影響內(nèi)容的更新，在站點結構不佳，功能板塊和內(nèi)容較為分散的情況下站點地圖是改善最終要的一個環(huán)節(jié)。
但是 sitemap 不會影響搜索引擎對站點的收錄情況、搜索權重，相關數(shù)據(jù)還是得看搜索引擎根據(jù)內(nèi)容計算。
大多數(shù)博客和文檔系統(tǒng)如 wordpress hexo 都帶有站點地圖生成功能，有關 sitemap 的權威資料詳見 Google Console 管理您的站點地圖。
在 robots.txt 中添加 sitemap.xml
以 Hexo 為例
可以使用
hexo-generator-sitemap和hexo-generator-baidu-sitemap插件生成 sitemap.編輯站點的 _config.yml 文件，添加并啟用插件：
# hexo sitemap網(wǎng)站地圖
sitemap:
path: sitemap.xml
baidusitemap:
path: baidusitemap.xml
- 在
source目錄下添加 robots.txt 文件，內(nèi)容如下，生成站點后將自動出現(xiàn)在public：
User-agent: *
Sitemap: https://wivwiv.com/sitemap.xml
Sitemap: https://wivwiv.com/baidusitemap.xml
文章首發(fā)
物聯(lián)網(wǎng) IoT 應用集成、前端倒騰 W I v 的博客 https://wivwiv.com
