python自动生成采集规则_python 织梦自动采集更新脚本
上次分享过一个自动采集入库的脚本(phpcms的),有童鞋建议改为表单提交形式,毕竟数据库入库代码改动成本比较高,而通过表单post数据只 需改下cookie和频道id就可以运行起来。所以,这次主要利用pycurl模块和fiddler抓包工具演示下dedecms是如何提交数据的。
尝试过dedecms post数据的童鞋可能已经发现,织梦post的数据跟一般数据有些不同,dedecms post数据格式是multipart,利用抓包工具你会发现这样一串东西:Content-Type: multipart/form-data; boundary=---------------------------249724317605,如:
那么具体该如何提交呢?主要有两点(post地址、cookie、频道id之类的问题自己解决):
1,headers增加Content-Type: multipart/form-data,如下图:
2,通过fiddler把提交的数据下载到本地(点击下图红框另存到到本地,编码不需更改),命名为data.txt.
data = open('data.txt').read(),data直接作为post表单的数据即可。
实际上到此为止,你已经能够成功提交了,是不是很简单。
实际使用中,我们总不能把要更新的文章标题和内容写到txt里,如何把title、content等变成变量?一行代码即可搞定:
data = data.replace('title@123456',title).replace('content@123456',content)
只要把data.txt文章标题的文字改为'title@123456',内容改为'content@123456',然后把他们替换掉即可。下面是完整代码地址:
# coding:utf-8
import pycurl,StringIO
import sys
reload(sys)
sys.setdefaultencoding('utf8')
headers = [
"User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36",
"Cookie:PHPSESSID=a8p9lr4jksj5kh9k3nhjaa5pu7; DedeUserID=1; DedeUserID__ckMd5=0023ecbe319d14d9; DedeLoginTime=1470919547; DedeLoginTime__ckMd5=b05a3b1e5c4bce22",
"Content-Type: multipart/form-data; boundary=----WebKitFormBoundaryS1tN0Ueh3In2YSN8",
]
def curl(url):
c = pycurl.Curl()
c.setopt(pycurl.REFERER, 'http://yourdomain.com/dede/article_add.php?channelid=1')
c.setopt(pycurl.FOLLOWLOCATION, True)
c.setopt(pycurl.MAXREDIRS,5)
c.setopt(pycurl.CONNECTTIMEOUT, 60)
c.setopt(pycurl.TIMEOUT,120)
c.setopt(pycurl.ENCODING, 'gzip,deflate')
# c.setopt(c.PROXY,ip)
c.fp = StringIO.StringIO()
c.setopt(pycurl.URL, url)
c.setopt(pycurl.HTTPHEADER,headers)
c.setopt(pycurl.POST, 1)
c.setopt(pycurl.POSTFIELDS, data)
c.setopt(c.WRITEFUNCTION, c.fp.write)
c.perform()
code = c.getinfo(c.HTTP_CODE)#返回状态码
html = c.fp.getvalue()#返回源代码
return html
title = 'ITSEO培训怎么样'.encode('gbk','ignore')
content = 'TSEO讲师 多年excel实战经验任职某通讯公司seo岗位,长期接触各类... 关注 私信 夜息 ITSEO创始人 ITSEO创始人,原途牛seo负责人。SEO顾问服务过多个行...'.encode('gbk','ignore')
data = open('data.txt').read()
data = data.replace('title@123456',title).replace('content@123456',content)
print curl('http://yourdomain.com/dede/article_add.php')
python自动生成采集规则_python 织梦自动采集更新脚本相关推荐
- php自动生成网站地图txt,织梦网站地图生成插件+发布文章后自动生成地图
织梦网站地图生成插件,可同时在网站根目录生成5种地图文件. 下载地址(根据自己网站编码选择安装) 百度网盘 提取码: 3bjg 安装好后的生成菜单在模块一栏里面 如果你想把生成网站地图这个菜单放在生成 ...
- 织梦自动插入自动替换图片插件(支持采集)
织梦自动插入自动替换图片插件功能简介: 1.开启无图插入图片功能,采集或者手动发布都会自动插入图片,释放你的双手 2.开启自动替换功能,手动复制或者采集的文章的图片都会自动替换,文章有多少张图片就替换 ...
- 情报运营 | VirusTotal Hunting 笔记 - 自动生成YARA规则、通过YARA规则实时打捞VT样本
VirusTotal VT是一个提供可疑文件分析服务的网站,它与传统杀毒软件的不同之处是它通过多种反病毒引擎扫描文件.所上传的文件会被多种反病毒引擎对进行扫描检测,可以通过结果信息进行参考,判断文件是 ...
- 【带移动搜索功能】织梦dedecms手机WAP插件专业版 织梦自动建手机WAP站 PC+WAP数据同步更新 访问自动跳转
安装步数: ( 插件及高清视频教程:QQ 86862635 或www.wlyx158.com 搜索 织梦自动建手机WAP站 PC+WAP数据同步更新) 1. 检查数据表的前缀是不是dede_ ( ...
- 织梦采集,织梦采集工具,织梦cms免费采集
织梦采集,整合了织梦DEDE发布接口,提供有织梦自动采集.织梦自动更新.织梦自动发布等强大的功能,让站长们可以轻松地建立织梦网站或者织梦CMS站群,织梦CMS作为开源的程序,能配上织梦采集管理,将会帮 ...
- PHP版本的自动生成有规则的订单号(或编号)
<?php /** * PHP版本的自动生成有规则的订单号(或编号) * 生成的格式是: 20130103000001 前面几位为当前的日期,后面6位为系统自增长类型的编号 * 原理: * 1. ...
- 织梦DedeCMS采集图片路径怎么按月存放
织梦DedeCMS采集功能很多朋友都在使用,但是采集的图片每天都会存放,怎么样才能按月存放,这样在备份的时候也不会有很多的目录存在. 打开目录include/dedecollection.class. ...
- zblog采集-织梦全自动采集插件-织梦免费采集插件
Zblog是由Zblog开发团队开发的一款小巧而强大的基于Asp和PHP平台的开源程序,但是插件市场上的Zblog采集插件,没有一款能打的,要么就是没有SEO文章内容处理,要么就是功能单一.很少有适合 ...
- 织梦网站巧用标签实现图片自动Alt功能,强化织梦seo效果
织梦网站巧用标签实现图片自动Alt功能,强化织梦seo效果 很多织梦网站的站长筒子们在做网站的时候,在网站中有时候会插入图片,尤其是那些使用图片类型织梦模板的站长筒子,在使用图片集的时候,会用到很多的 ...
- 织梦自动给关键词加超链的简单方法
本文来自IT摆渡网,欢迎转载,请标明出处. 更多文章请访问 织梦问题修复 为了更好的优化网站,seo常常给文章中的特定关键词加上超链,但是每次加挺麻烦,而且还会经常忘记,下面是简单的织梦自动给关键词添 ...
最新文章
- 64位操作系统,openCV4.1.1+VS2019参数配置
- OpenCV PCA与指定的保留差异量的实例(附完整代码)
- Windows Server 2016-图形化迁移FSMO角色
- linux内核模块实验,linux内核模块实验(2学时).doc
- python模块的发布_(转载)Python中模块的发布与安装
- 视频课程学习及学习计划
- C语言素数ns流程图,请各位大神帮个忙,画个NS流程图,,急!!!
- python123 测验6:组合数据类型
- 解决浏览器主页被2345篡改
- linux逻辑卷缩减命令,linux命令:resize2fs、lvm逻辑卷lv扩展及缩减
- 专科三年的教训,写给自己,也给正在学习路上的你
- 完美解决微信公众号多域名授权登录的问题
- python配置(二)——机器学习环境
- 推荐5款Windows桌面效率工具
- 计算机绘图说课视频,说课稿认识画图软件
- 信创蓝海 合作共赢:统信UOS代理商推介会(郑州站)成功举行
- 鸿蒙系统网络连接设置ip,G1 IP话机网络配置和话机设置
- 查看Linux系统有几块网卡
- 程序的魅力与智慧结晶!!!
- 将迅雷集成进XP安装光盘(上)(转)