海洋cms宝塔定时linux,海洋cms设置宝塔计划任务自动采集
#!/bin/bash
########################################################
# 程序名称: 海洋CMS自动采集脚本
# 版本信息:seacmsbot/ v2.0
# 发布链接: https://www.seacms.net/post-update-92579.htm
# 使用方法:直接复制代码到宝塔计划任务shell脚本内容里添加每小时任务使用
# 更新时间:2019.9.26
##########################################################
#请修改下面的网站域名及管理目录
web_site="https://www.siediy.com/管理目录/admin_reslib2.php"
#请修改下面项内容为"admin_reslib2.php"里设置的访问密码(默认为系统设置的cookie密码)
web_pwd="1cfcec685a2ff1a615688353afde7496"
#下面项内容为资源站每日采集链接地址列表,请自行修改,每行一条,可添加多个,前后需添加引号。
#每日采集链接获取方法:选择"后台-采集-资源库列表",复制资源站右边的"采集每天"的链接地址,去掉?前面的内容。
web_api=(
'?ac=day&rid=3&url=http://caiji.kuyun98.com/inc/ldg_kkm3u8.php'
'?ac=day&rid=7&url=http://caiji.kuyun98.com/inc/apidown.php'
)
#模拟用户浏览器ua,请勿随意修改,以免被目标防火墙拦截!
web_ua="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/76.0.3809.100 Safari/537.36 seacmsbot/1.2;"
#采集单页
function get_content() {
echo "正在采集第$page页..."
#echo " get_content: --->url:--->$1"
cResult=$(curl --connect-timeout 10 -m 20 -k -s -L -A "$web_ua" "$1" )
echo $cResult | grep -q "采集"
#echo -e "$1\n$cResult"
if [ "$?" = "0" ]; then
next_content "$cResult"
else
echo -e "采集失败,请检查设置!\n失败链接-->$1\n返回信息-->$cResult\n采集结束,共0页"
fi
}
#采集下页
function next_content() {
#统计数据
Result=$(echo "$1" | tr "
" "\n")
a=$(echo "$Result" | grep -c "采集成功")
b=$(echo "$Result" | grep -c "更新数据")
c=$(echo "$Result" | grep -c "无需更新")
d=$(echo "$Result" | grep -c "跳过")
echo "采集成功-->已更$c部,新增$a部,更新$b部,跳过$d部"
let add+=$a
let update+=$b
let none+=$c
let jmp+=$d
#检测并采集下页
next_url=${1##*location.href=\'}
next_url=${next_url%%\'*}
#echo $next_url
if [ "${next_url:0:1}" = "?" ]
then
let page++
get_content "$web_site$next_url"
else
echo "采集结束,共$page页"
fi
}
#脚本入口
echo "海洋CMS自动采集脚本开始执行 版本:v1.2"
starttime=$(date +%s)
update=0 #更新
add=0 #新增
none=0 #无变化
jmp=0 # 跳过
for url in ${web_api[@]};
do
if [[ ! -z $url ]]
then
web_param="$web_site$url&password=$web_pwd"
page=1
echo "开始采集:$url"
get_content $web_param
fi
done
endtime=$(date +%s)
echo "============================"
echo "入库-->$add部"
echo "更新-->$update部"
echo "跳过-->$jmp部(未绑定分类或链接错误)"
echo "今日-->$[none+add+update]部"
echo "============================"
echo "全部采集结束,耗时$[endtime - starttime]秒"
海洋cms宝塔定时linux,海洋cms设置宝塔计划任务自动采集相关推荐
- 宝塔面板Linux工具箱IP设置,宝塔Linux工具箱
Linux工具箱 提供服务器的一些系统工具.主要有配置DNS.Swap交换分区.时区设置.系统密码.IP设置. DNS设置 修改当前服务器的DNS服务器,保存DNS前,请测试当前DNS是否能够正常使用 ...
- 宝塔linux网站解析,宝塔面板|Linux网站控制面板,宝塔linux
宝塔面板|Linux网站控制面板,宝塔linux 这是一款在linux的控制面板,是一位优秀的国人开发的,目前支持率已经达到了Centos7 64位,低版本的都可以安装了,表示小白们,或者不会linu ...
- 在linux上一行代码不用写实现自动采集+hadoop分词
在linux上一行代码不用写实现自动采集+hadoop分词 将下面的shell脚本保存成到xxx.sh,然后执行即可 cd /opt/hadoop mkdir spider wget -O spide ...
- 宝塔面板linux ftp怎么设置权限,宝塔面板创建FTP账号的几种方法(根据需要安装FTP功能)...
老蒋在前面文章中也有提到,如果我们使用宝塔面板建站的话,且这台服务器都是我们一个人使用.我不建议安装FTP组件,给每个站创建FTP账户.其理由尽量少安装一个软件功能对于服务器的负载和安全也是有一定的保 ...
- linux系统自动获取ip地址,Linux系统下设置静态IP或自动获取动态IP的简单方法
Linux下为机器设置静态IP地址: 复制代码 代码如下: vim /etc/sysconfig/network-scripts/ifcfg-eth0 修改这个文件内容如下形式: 复制代码 代码如下: ...
- linux怎么静态改为自动获取,Linux系统下设置静态IP或自动获取动态IP的简单方法...
linux下为机器设置静态ip地址: 复制代码代码如下: vim /etc/sysconfig/network-scripts/ifcfg-eth0 修改这个文件内容如下形式: 复制代码代码如下: # ...
- 宝塔同时安装苹果cms海洋cms_苹果cms用宝塔定时采集+添加百度推送教程
苹果cms用宝塔定时采集+添加百度推送教程 2018-09-17 阅读:27278 准备工作 1,安装的宝塔面板(和苹果cms在不在一个服务器上都可以) 2,安装好的苹果CMS v10 3,采集需要先 ...
- 宝塔同时安装苹果cms海洋cms_★苹果cms常见问题有哪些?100个常见问题的解决方法...
苹果cms是搭建视频网站不错的免费cms系统,再好的系统也会遇到使用方面上的问题,我的主题网在日常中汇总了100多个常见问题来给大家分享交流,后期还会不定期更新遇到的新问题来交流.如果你也是苹果cms ...
- 苹果cms V8/V10定时任务百度主动URL推送设置教程 配合宝塔定时计划任务
一淘模板(56admin.com)给大家带来一个苹果cms V8/V10定时任务百度主动URL推送设置教程 配合宝塔定时计划任务 教程主要分为3步走: 获取百度token(这一步直接复制网上的) 苹果 ...
- 海洋CMS自动采集教程,小白都会操作
* 针对Liunx,Windows自行扩展. * 无需Python3支持 脚本代码如下: #!/bin/bash ########################################### ...
最新文章
- 计算机在线声音,电脑怎么在线录音
- JAVA圣诞代码,圣诞节(示例代码)
- NodeMailer
- JAVA编码(27)——执行批量导入Excel文件并进行解析
- 360 小程序来了,进攻 PC 端!
- SAP中与物料BOM有关的表关联
- 激光雷达三维检测包含哪些内容?
- 论文笔记--DeepFool: a simple and accurate method to fool deep neural networks
- oracle导出自增设置,教程方法;oracle中如何设置自增主键电脑技巧-琪琪词资源网...
- 苹果手机通过iCloud导出通讯录导入到安卓手机 教程
- Python入门(四):Python变量
- python神经网络构建图_如何用卷积神经网络构建图像?
- Unity实现扇形Slider进度条加载功能
- Windows 此电脑->设备与驱动器->图标管理
- 区块链+人工智能,重新定义世界
- 解决路由环路问题的方法
- python3 sleep 延时秒 毫秒
- 【Linux】VIM命令(全面详解)
- 笔记本和利用服务器算力直连,顺网云电脑技术突破:实现利用网吧空余算力
- 登昌恒UPMOST UTB254 USB3.0 4口扩展卡 USB3.0转PCI-E转接卡 RENES
热门文章
- 易基因|动物发育过程中顺式调控区域的活性DNA去甲基化早于脊椎动物起源:重磅研究
- win10资源管理器怎么打开_熟记这些Win10常用快捷键及使用技巧,提高工作效率,建议收藏...
- Kate Spade_百度百科
- 2021年我与我家公主的五一小长假---游记
- 美军马赛克战三大技术优势!融入未来作战还需克服的四大难点
- Go中的SSRF攻防战
- 16进制颜色代码对照表
- DirextX7。0 SDK 在VC 6.0 环境中使用的注意事项
- matlab 求矩阵的逆
- 计算机毕业设计JAVA共享充电宝系统mybatis+源码+调试部署+系统+数据库+lw