奇怪的赞数

人生在世，不如意事十之八九，可与言者无二三人。幸好我们生在互联网时代，现实中找不到可以倾诉的人还可以在网络上寻找情绪宣泄口，树洞这类产品就是提供一个让人在网络上匿名倾诉的平台。

我是偶然间发现了这个平台：http://www.6our.com/，感觉自己比较惨的时候去看看别人的不如意，发现上帝还是蛮眷顾自己的（也不知道中国在不在他老人家的管辖范围内）。不过我发现了一个奇怪的现象：秘密有一个赞和踩的功能，但是我看到的秘密的赞都没有发现有低于2的，然后尝试着发了一条，发现刚发出来就有两个赞，所以我猜测网站的开发者设定了秘密发出来时候赞的数量就是2，但是作为一个死心眼的程序员，认为只有亲手证过的才是可信的，所以我要验证一下我的想法，于是用shell写了个爬虫，爬取所有秘密的赞的数量，爬虫代码如下：

#! /bin/bash######################################################
#
#
#
#  树洞网赞数抓取
#
#
####################################################### env
cd `dirname $0`
source utils.sh# 初始化线程数控制，使用10个线程并发抓取以免把树洞网站打死
init_thread 250 10# 初始化业务相关变量
url="http://www.6our.com/qiushi?&p="
total_page_num=`curl_ "${url}1" | grep -oE "<a href='/qiushi\?\&p=2480' >最后一页</a>" | grep -oE "[0-9]+"`
log "total_page_num $total_page_num"# 开始抓取列表
for page_num in `seq 1 $total_page_num`;
doread -u250{cur_page_url="${url}${page_num}"log "url ${cur_page_url} begin"curl_ $cur_page_url | grep -oE "id=\"yes-[0-9]+\">[0-9]+" | sed -n 's/id="yes-//; s/">/ /p' >> shudong-id-yes.datalog "url ${cur_page_url} end"echo '' >&250}&
donewait
log "all done"

需要引入的公共库：

################################
#
#  工具库，用来存放一些通用的方法
#
################################# ha! 简易的log4shell
log(){echo "[`date +'%F %T'`] $1"
}# 封装的线程控制器
# $1 要使用的管道
# $2 要使用的线程数
init_thread(){pipe_num=$1thread_num=$2fifo_path="/tmp/fifo_path_`date +%s`_${1}_${2}"mkfifo $fifo_patheval "exec ${pipe_num}<>${fifo_path}"rm $fifo_pathfor i in `seq 1 $thread_num`;doecho '' >&${pipe_num}donereturn $pipe_num
}# 对curl的一层封装
# 1. 伪装下U-A
# 2. 模拟浏览器持久cookie的行为
# 3. 安静模式，不显示统计信息
# $@ 会被放在最后
curl_(){curl -s --user-agent "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36"  -b cookie -c cookie $@
}# 类似于Stream.map()的封装，使得自定义函数支持管道调用
# $1 函数名
map(){function_name=$1while read linedo$function_name "$line"done
}

看下爬下来多少条评论数据：

不到五万条，如果这五万条中没有一个点赞数小于2的，那么就说明我的猜想是正确的，好，先看下数据格式：

第一列为秘密id，第二列为此秘密的赞数，筛选出第二列为1的共有多少条：

这…这…这就尴尬了，选一些出来看看页面是不是这样显示的：

这个是详情页的url模式：http://www.6our.com/article/{article_id}，选一个id拼接出url http://www.6our.com/article/55840 进去看一下：

果然只有一个赞，又选了几个其它的进去看了一下发现都是一个赞。还好证了一下，不然就给出错误的结论了。

我能做点什么

我原来以为开发网站的程序员是送关怀来着，结果不是。于是我就在想，我能不能为他们做点什么呢？于是我去注册了一个账号：

然后写了个脚本，去检测页面内容，根据秘密内容进行回复，对他们送上一些鼓励的话，脚本内容：

#! /bin/bash
##############################################################
#
#
#
#       树洞鼓励师
#
#
#
############################################################### env
cd `dirname $0`
source utils.sh# 模拟登陆，保存cookie
login(){username="foo"passwd="bar"# 虽然不确定__hash__是做什么用的，但还是带上一下hash_param=`curl_ "http://www.6our.com/index.php/User/Index/login" | grep -oE "[0-9a-z]+\_[0-9a-z]+" | tail -n 1`curl_  -d "account=${username}&password=${passwd}&remember_me=1&submit=&__hash__=$hash_param" "http://www.6our.com/index.php/User/Index/checkLogin"  \| grep "登录成功" >> /dev/nullif [ $? -ne 0 ];thenlog "login failed."exit -1 elselog "login success" fi
}# 回复秘密
# $1 秘密id
# $2 回复内容
replay(){id=$1content=$2# 检测已有评论避免重复回复，此处的重复是指对每条秘密回复一次，而不是对每个pattern回复一次my_name="树洞鼓励师"curl_ -d "id=$id" "http://www.6our.com/index.php/Reply/showReply" | grep $my_name >> /dev/nullif [ $? -eq 0 ];thenreturnfiresult=`curl_ -d "pid=${id}&anonymous=0&arcontent=${content}" "http://www.6our.com/index.php/Reply/checkReply2"`if [ "$result" -eq 1 ];thenlog "replay $id $content success"else log "replay $id $content failed"fi# 防止回复过快sleep 3
}# 检查符合特定的条件则恢复特定内容
# $1 秘密内容
# $2 perl正则模式
# $3 回复内容
check_pattern_and_replay(){content=$1id=`echo $content | grep -oP 'id="content-\d+"' | grep -oP '\d+'`pattern=$2replay_content=$3echo $content | grep -P $pattern >> /dev/null[[ $? -eq 0 ]] &&  replay $id $replay_content
}# 对单个的秘密检测处理
# $1 秘密元素，包含id和内容
process_single(){content=$1# 热血青年check_pattern_and_replay "$content" "需要帮助|阻碍|困难|梦想|努力" "加油，明天会更好！"# 孤独，纵有千种风情，更与何人说check_pattern_and_replay "$content" "(烦|讨厌|不喜欢).*社交" "跟人打交道是很难的事"# 自杀倾向check_pattern_and_replay "$content" "离开人世|自杀|我死了" "活着才有希望"# 拯救颜值check_pattern_and_replay "$content" "长的丑" "长的丑的来看下我长得有多挫，助你找回信心 :)"}# 监控第一页
monitor(){while true;docurl_ "http://www.6our.com/qiushi" | tr -d "\r\n" | grep -oP 'id="content-\d+".+?</div>' | map "process_single"log "look first page over"sleep 10done
}login
monitor

效果：

所有脚本代码已经放到github： https://github.com/CC11001100/6our-robot

备注：

在调试正则的时候写了一个“foo|”类型的正则，导致有一部分在测试时进行了错误的评论，看到之后赶紧ctrl+c了，但是还是有几个评论删不掉了，吸取教训，以后细心一点。

.