最近买了3年的服务器总是想折腾点东西。想起之前弄过百度收录的东西,闲来无事,又给自己的新博客折腾一波。
基础
这里是基于git的钩子完成的。当客户端向git的服务端push文件的时候,git服务端的钩子会自动执行。这个请查看配置hexo博客,让云服务器执行它计算处理的使命。
分析
百度站长工具
百度站长提供了自动提交和手动提交两种方式。这个我们肯定不用手动提交这个弱智的方式。
自动提交
自动提交分为三种方式自动主动推送(实时),自动推送,sitemap三种方式。
主动推送(实时)
- 及时发现:可以缩短百度爬虫发现您站点新链接的时间,使新发布的页面可以在第一时间被百度收录
- 保护原创:对于网站的最新原创内容,使用主动推送功能可以快速通知到百度,使内容可以在转发之前被百度发现。
主动推送提供了4种提交的方式,curl,post,php,ruby。这里以curl为例。
我们将包含html地址的urls.txt文件提交到接口调用地址。我们的重点是怎么生成urls.txt。
自动推送
正如官网所说的那样,将代码复制在html页面的head头里即可,这个自己看百度站长工具吧。
sitemap
sitemap是我们提交一个带有url地址的txt或者xml文件。我们这里也是提交urls.txt这个文件。同样重点也是生成这个文件。
生成urls.txt文件
我们知道在执行hexo g的命令后,会在public文件夹下生成Markdown文件对应的html文件,我们的思路先查找出这些html文件,然后放置在urls.txt这个文件里。
查找html文件
我们在post-receive这个文件里执行的都是shell命令,那么我们首先用shell命令查找这些html文件的路径。这个就用到了grep这个命令。grep语法参考linux grep命令详解
在public的文件夹下,执行下面的命令
grep -r -l 'index.html' * >>1.txt
>>是将查询的记录添加到1.txt中。
上面的命令生成的路径没有带域名,我们需要使用sed这个命令,在每个路径上添加域名生成urls.txt。
生成urls.txt文件
sed的语法参考sed 字符串替换。我们使用下面的命令在每个路径前面添加域名。
sed 's/^/添加的头部&/g' #在所有行首添加
注意这里的 " & " 符号,如果没有 “&”,就会直接将匹配到的字符串替换掉。
那么就讲上面的添加的头部改为我们的域名,这个需要注意的是域名中的"/需要用"/"替换。
sed 's/^/http:\/\/www.demo.com\/&/g' 1.txt >>urls.txt
上面的代码是将1.txt里的路径都在开头添加上域名,并把新路径放在urls.txt文件里。
主动推送
处理完上面的两步,我们就有了urls.txt的文件,我们就可以执行curl的代码了。
最后
最后放出我的钩子代码
#!/bin/bash -l
GIT_REPO=/home/git/blog/hexo.git
PUBLIC_WWW=/home/git/blog/hexo
rm -rf ${PUBLIC_WWW}
git clone $GIT_REPO $PUBLIC_WWW
cd $PUBLIC_WWW
hexo clean && hexo g
echo "-------------------"
cd $PUBLIC_WWW/public/
grep -r -l 'index.html' * >> 1.txt
sed 's/^/http:\/\/www.bigademo.com\/&/g' 1.txt >>urls.txt
rm 1.txt
curl -H 'Content-Type:text/plain' --data-binary @urls.txt "http://data.zz.baidu.com/urls?site=www.demo.com&token=******"
echo "--------------------"
cd $PUBLIC_WWW
pm2 delete all
pm2 start app.js
if [[ $? == 0 ]]
then
echo "------------------------------------------------------"
echo "Congratulations! Your blog has been correctly deployed"
echo "------------------------------------------------------"
else
echo "......................................................."
echo "Unfortunately your blog has not been deployed correctly"
echo "......................................................."
fi