上次分享过一个自动采集入库的脚本(phpcms的),有童鞋建议改为表单提交形式,毕竟数据库入库代码改动成本比较高,而通过表单post数据只 需改下cookie和频道id就可以运行起来。所以,这次主要利用pycurl模块和fiddler抓包工具演示下dedecms是如何提交数据的。

尝试过dedecms post数据的童鞋可能已经发现,织梦post的数据跟一般数据有些不同,dedecms post数据格式是multipart,利用抓包工具你会发现这样一串东西:Content-Type: multipart/form-data; boundary=---------------------------249724317605,如:

那么具体该如何提交呢?主要有两点(post地址、cookie、频道id之类的问题自己解决):

1,headers增加Content-Type: multipart/form-data,如下图:

2,通过fiddler把提交的数据下载到本地(点击下图红框另存到到本地,编码不需更改),命名为data.txt.

data = open('data.txt').read(),data直接作为post表单的数据即可。

实际上到此为止,你已经能够成功提交了,是不是很简单。

实际使用中,我们总不能把要更新的文章标题和内容写到txt里,如何把title、content等变成变量?一行代码即可搞定:

data = data.replace('title@123456',title).replace('content@123456',content)

只要把data.txt文章标题的文字改为'title@123456',内容改为'content@123456',然后把他们替换掉即可。下面是完整代码地址:

# coding:utf-8

import pycurl,StringIO

import sys

reload(sys)

sys.setdefaultencoding('utf8')

headers = [

"User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36",

"Cookie:PHPSESSID=a8p9lr4jksj5kh9k3nhjaa5pu7; DedeUserID=1; DedeUserID__ckMd5=0023ecbe319d14d9; DedeLoginTime=1470919547; DedeLoginTime__ckMd5=b05a3b1e5c4bce22",

"Content-Type: multipart/form-data; boundary=----WebKitFormBoundaryS1tN0Ueh3In2YSN8",

]

def curl(url):

c = pycurl.Curl()

c.setopt(pycurl.REFERER, 'http://yourdomain.com/dede/article_add.php?channelid=1')

c.setopt(pycurl.FOLLOWLOCATION, True)

c.setopt(pycurl.MAXREDIRS,5)

c.setopt(pycurl.CONNECTTIMEOUT, 60)

c.setopt(pycurl.TIMEOUT,120)

c.setopt(pycurl.ENCODING, 'gzip,deflate')

# c.setopt(c.PROXY,ip)

c.fp = StringIO.StringIO()

c.setopt(pycurl.URL, url)

c.setopt(pycurl.HTTPHEADER,headers)

c.setopt(pycurl.POST, 1)

c.setopt(pycurl.POSTFIELDS, data)

c.setopt(c.WRITEFUNCTION, c.fp.write)

c.perform()

code = c.getinfo(c.HTTP_CODE)#返回状态码

html = c.fp.getvalue()#返回源代码

return html

title = 'ITSEO培训怎么样'.encode('gbk','ignore')

content = 'TSEO讲师 多年excel实战经验任职某通讯公司seo岗位,长期接触各类... 关注 私信 夜息 ITSEO创始人 ITSEO创始人,原途牛seo负责人。SEO顾问服务过多个行...'.encode('gbk','ignore')

data = open('data.txt').read()

data = data.replace('title@123456',title).replace('content@123456',content)

print curl('http://yourdomain.com/dede/article_add.php')

python自动生成采集规则_python 织梦自动采集更新脚本相关推荐

  1. php自动生成网站地图txt,织梦网站地图生成插件+发布文章后自动生成地图

    织梦网站地图生成插件,可同时在网站根目录生成5种地图文件. 下载地址(根据自己网站编码选择安装) 百度网盘 提取码: 3bjg 安装好后的生成菜单在模块一栏里面 如果你想把生成网站地图这个菜单放在生成 ...

  2. 织梦自动插入自动替换图片插件(支持采集)

    织梦自动插入自动替换图片插件功能简介: 1.开启无图插入图片功能,采集或者手动发布都会自动插入图片,释放你的双手 2.开启自动替换功能,手动复制或者采集的文章的图片都会自动替换,文章有多少张图片就替换 ...

  3. 情报运营 | VirusTotal Hunting 笔记 - 自动生成YARA规则、通过YARA规则实时打捞VT样本

    VirusTotal VT是一个提供可疑文件分析服务的网站,它与传统杀毒软件的不同之处是它通过多种反病毒引擎扫描文件.所上传的文件会被多种反病毒引擎对进行扫描检测,可以通过结果信息进行参考,判断文件是 ...

  4. 【带移动搜索功能】织梦dedecms手机WAP插件专业版 织梦自动建手机WAP站 PC+WAP数据同步更新 访问自动跳转

    安装步数: ( 插件及高清视频教程:QQ  86862635 或www.wlyx158.com 搜索 织梦自动建手机WAP站 PC+WAP数据同步更新) 1. 检查数据表的前缀是不是dede_   ( ...

  5. 织梦采集,织梦采集工具,织梦cms免费采集

    织梦采集,整合了织梦DEDE发布接口,提供有织梦自动采集.织梦自动更新.织梦自动发布等强大的功能,让站长们可以轻松地建立织梦网站或者织梦CMS站群,织梦CMS作为开源的程序,能配上织梦采集管理,将会帮 ...

  6. PHP版本的自动生成有规则的订单号(或编号)

    <?php /** * PHP版本的自动生成有规则的订单号(或编号) * 生成的格式是: 20130103000001 前面几位为当前的日期,后面6位为系统自增长类型的编号 * 原理: * 1. ...

  7. 织梦DedeCMS采集图片路径怎么按月存放

    织梦DedeCMS采集功能很多朋友都在使用,但是采集的图片每天都会存放,怎么样才能按月存放,这样在备份的时候也不会有很多的目录存在. 打开目录include/dedecollection.class. ...

  8. zblog采集-织梦全自动采集插件-织梦免费采集插件

    Zblog是由Zblog开发团队开发的一款小巧而强大的基于Asp和PHP平台的开源程序,但是插件市场上的Zblog采集插件,没有一款能打的,要么就是没有SEO文章内容处理,要么就是功能单一.很少有适合 ...

  9. 织梦网站巧用标签实现图片自动Alt功能,强化织梦seo效果

    织梦网站巧用标签实现图片自动Alt功能,强化织梦seo效果 很多织梦网站的站长筒子们在做网站的时候,在网站中有时候会插入图片,尤其是那些使用图片类型织梦模板的站长筒子,在使用图片集的时候,会用到很多的 ...

  10. 织梦自动给关键词加超链的简单方法

    本文来自IT摆渡网,欢迎转载,请标明出处. 更多文章请访问 织梦问题修复 为了更好的优化网站,seo常常给文章中的特定关键词加上超链,但是每次加挺麻烦,而且还会经常忘记,下面是简单的织梦自动给关键词添 ...

最新文章

  1. 64位操作系统,openCV4.1.1+VS2019参数配置
  2. OpenCV PCA与指定的保留差异量的实例(附完整代码)
  3. Windows Server 2016-图形化迁移FSMO角色
  4. linux内核模块实验,linux内核模块实验(2学时).doc
  5. python模块的发布_(转载)Python中模块的发布与安装
  6. 视频课程学习及学习计划
  7. C语言素数ns流程图,请各位大神帮个忙,画个NS流程图,,急!!!
  8. python123 测验6:组合数据类型
  9. 解决浏览器主页被2345篡改
  10. linux逻辑卷缩减命令,linux命令:resize2fs、lvm逻辑卷lv扩展及缩减
  11. 专科三年的教训,写给自己,也给正在学习路上的你
  12. 完美解决微信公众号多域名授权登录的问题
  13. python配置(二)——机器学习环境
  14. 推荐5款Windows桌面效率工具
  15. 计算机绘图说课视频,说课稿认识画图软件
  16. 信创蓝海 合作共赢:统信UOS代理商推介会(郑州站)成功举行
  17. 鸿蒙系统网络连接设置ip,G1 IP话机网络配置和话机设置
  18. 查看Linux系统有几块网卡
  19. 程序的魅力与智慧结晶!!!
  20. 将迅雷集成进XP安装光盘(上)(转)

热门文章

  1. 渲染系列教程(十八)实时全局光照
  2. C语言反汇编 - 函数与结构体
  3. 【三维目标检测】PointRCNN(二)
  4. Fragstats 提示错误与警告
  5. [MATLAB]基本介绍
  6. 天思经理人ERP塑胶玩具行业应用方案
  7. 【Python实现杨辉三角】
  8. 智能小车52单片机c语言,基于STC89C52单片机的智能循迹小车设计
  9. Linux查看可执行文件依赖库
  10. 缩短bch码能用matlab,BCH码编译码matlab仿真.doc