老规矩:先上图,实验地址:https://www.zunyirencai.cn/

这是利用骑士人才后台已经写好的规则,照着参数写火车头抓取和发布就可以了

后台代码主要看Application\Locoyspider\Controller\ApiController.class.php的index方法:

public function index(){$act=I('post.act');$locoyspider=D('Locoyspider');if($act=='news'){$post['title']=trim($_POST['title'])?trim($_POST['title']):exit('文章标题不能为空!');if ($locoyspider->isTitExist($post['title'])){exit("添加失败,新闻标题有重复");}$post['type_id']=trim($_POST['type_id'])?trim($_POST['type_id']):exit('文章所属分类不能为空!');$post['parentid']=$locoyspider->getArticlePid($post['type_id']);$post['content']=trim($_POST['content'])?trim($_POST['content']):exit('文章内容不能为空!');$post['tit_color']=intval($_POST['tit_color']);$post['tit_b']=intval($_POST['tit_b']);$post['author']=trim($_POST['author']);//判断是否设置,否则启用系统默认if ($_POST['focos']==""){$post['focos']=$this->data['article_focos'];}else{$post['focos']=intval($_POST['focos']);}//判断是否设置,否则启用系统默认if ($_POST['is_display']==""){$post['is_display']=$this->data['article_display'];}else{$post['is_display']=intval($_POST['is_display']);}$post['source']=trim($_POST['source']);$post['is_url']=trim($_POST['is_url'])==""? "http://":trim($_POST['is_url']);$post['seo_keywords']=trim($_POST['seo_keywords']);$post['seo_description']=trim($_POST['seo_description']);$post['article_order']=trim($_POST['article_order']);$post['click']=intval($_POST['click']);$post['small_img']=trim($_POST['small_img']);$post['addtime']=time();$post['robot']=1;$result=$locoyspider->addArticle($post);if ($result){exit("添加成功");}else{exit("添加失败");}}elseif($act=="jobs"){$companyname=isset($_POST['companyname'])?trim($_POST['companyname']):exit('公司名称不能为空!');$companyinfo=$locoyspider->getCompanyInfo($companyname);if ($companyinfo){$locoyspider->addJobs($companyinfo);}else{if($locoyspider->addCompany($companyname)){$companyinfo=$locoyspider->getCompanyinfo($companyname);$locoyspider->addJobs($companyinfo);}else{exit($msg);}}}}

将火车头内的抓取发布按照上的参数获取就可以了,建议先写发布模块,根据发布模块的参数来写抓取比较清楚。

骑士人才系统4.0,5.0火车头数据抓取相关推荐

  1. 国家市场监督管理总局-食品安全抽检公布结果查询系统数据抓取

    国家市场监督管理总局-食品安全抽检公布结果查询系统(https://spcjsac.gsxt.gov.cn/)数据抓取获取,包括2014年以来抽检结果全部合格的产品信息和2014年以来抽检结果出现不合 ...

  2. 74cms 骑士人才系统v3.5.1 正式版

    骑士cms人才系统是一项基于PHP+MYSQL为核心开发的一套免费 + 开源专业人才网站系统.软件具执行效率高.模板自由切换.后台管理功能方便等诸多优秀特点.全部代码都为骑士网络原创,有着完全的知识产 ...

  3. 基于Python爬虫的股票成交量数据抓取分析系统

    目录 数据获取 2 1.1. 实验环境搭建 2 1.2. 抓取数据 2 1.2.1. 新浪财经 3 1.2.2. 网易财经 6 1.2.3. 东方财富 12 1.2.4. TuShare (挖地兔) ...

  4. 「docker实战篇」python的docker-打造多任务端app应用数据抓取系统(下)(35)

    上次已经把python文件挂载到虚拟机上了,这次主要设置下虚拟机通过docker容器的方式. 运行 python 代码运行 >启动一个crt的会话 docker run -it -v /root ...

  5. 基于STM32的uc/OS系统移植及用Saleae Logic 16抓取分析波形

    文章目录 一.关于uc/OS系统 1.操作系统与裸机的区别 2.uc/OS运行流程 二.详细移植过程 1.STM32Cubex创建工程 2.为工程添加源码 3.添加头文件路径 4.添加代码 1)bsp ...

  6. 系统检测到您正在使用网页抓取工具_【安全】58反抓取简介

    0x00 介绍 网络爬虫,常又被称呼为Spider,网络机器人,主要模拟网络交互协议,长时间,大规模的获取目标数据. 普通爬虫会从网站的一个链接开始,不断收集网页资源,同时不断延伸抓取新获取的URL以 ...

  7. 系统检测到您正在使用网页抓取工具访问_从网站抓取数据的3种最佳方法

    halo,大家好,我是特仑苏,今天呢给大家分享一些Python从网站抓取数据的一些方法,希望可以给大家带来一些帮助! 原作者:Octoparse团队 原出处:作品文(从网站抓取数据的3种最佳方法)/网 ...

  8. 【短信插件】短信如何对接74cms_v4.2.66_骑士人才系统

    找到了一家不错的短信插件,有需要对接的可以查看学习,在这边分享一下,有需要的可以详细看看,了解一下.http://www.ihuyi.com/ 插件说明 本插件系互亿无线针对74cms_v4.2.6开 ...

  9. 系统检测到您正在使用网页抓取工具访问_造成Baiduspider(百度蜘蛛)抓取网站异常的原因有哪些...

    造成Baiduspider(百度蜘蛛)抓取网站异常的原因有哪些 有一些网页,内容优质,用户也可以正常访问,但是Baiduspider却无法正常访问并抓取,造成搜索结果覆盖率缺失,对百度搜索引擎对站点都 ...

  10. 系统检测到您正在使用网页抓取工具访问_SEO优化:搜索引擎蜘蛛抓取异常,原来是这个原因!...

    有一些网页内容优质,用户也可以正常访问,但是搜索引擎蜘蛛却无法正常访问并抓取,造成搜索结果覆盖率缺失,对搜索引擎对站点都是一种损失,百度把这种情况叫"抓取异常".对于大量内容无法正 ...

最新文章

  1. javascript 中 console 的用法
  2. Why Spring Boot
  3. 图像边缘检测,检测亦或简化
  4. 2017-10-17 开源非英文关键词编程语言
  5. SPI的4种工作模式(备忘)
  6. .Net Core 自定义配置源从配置中心读取配置
  7. HeadFirst之设计模式 觀察者模式
  8. java线程等待_java 中线程等待与通知的实现
  9. Android四大组件---BroadcastReceiver
  10. mac 环境 Android Studio升级后Gradle project Sync Failed解决方法
  11. 张宇1000题高等数学 第十八章 多元函数积分学(一)
  12. 推荐一本好书《深入浅出Vue.js》
  13. 16天7000dict
  14. 清北学堂2019.8.8
  15. Android常用控件有哪些?如何使用?
  16. 1146-Table ‘performance schema.session variables‘ doesn‘t exist
  17. java语言与java技术
  18. 关于客户机服务器与微内核结构操作系统,第1章 操作系统概述1
  19. 半加器、全加器及其应用
  20. manjaro双系统 windows_manjaro win10双系统安装

热门文章

  1. 2019秋 哈工大《概率论与数理统计》试题A及答案
  2. 杭电acm2012 素数判定
  3. 时频分析方法及其在发展性EEG数据中的应用
  4. 可编辑的电子海图系统功能拓展与应用
  5. 北京无人驾驶路测进入“主驾无人”阶段
  6. 人行横道——步行管理(交通运行管理)
  7. 企业为什么需要BI决策系统?
  8. HandlerSocket安装
  9. FFmpeg 解码 H264 格式的视频
  10. hibernate 中文文档