爬虫xx网站论坛的帖子源码分享

import re
import time
from urllib import parse
import urllib

import requests

def updatepostinfo(startid,endid):
for num in range(int(startid),int(endid)+1):
time.sleep(2)
print(num)
posturl="http:网站/detailnew.php?id="+str(num)
postres=urllib.request.urlopen(posturl)
postres=postres.read().decode()
print(postres)
if "帖子不存在" in postres:
continue
elif "错误,帖子" in postres:
continue
elif "该论坛不存在" in postres:
continue
elif "访问错误" in postres:
continue
elif "此帖审核中" in postres:
continue
elif "分版权限" in postres:
continue
else:
posttitle=re.findall(r'<card id=\"main\" title=\"(.+?)\">',str(postres))
postcontent=re.findall(r'name=\"content\" value=\"(.+?)\" />',str(postres))
postcontent=postcontent[0]
postauthid=re.findall(r"userid=(\d+)",str(postres))
postauthid=postauthid[0]
postforumid=re.findall(r"bid=(\d+)",str(postres))
postforumid=postforumid[0]
#下面存入对应字段到数据库

if __name__ == '__main__':
updatepostinfo(1,292812334)

爬虫xx网站论坛的帖子源码分享相关推荐

文库网站的文件转换源码分享
文库网站获利的方式就在于文库网站巨大的广告能力,还有会员充值下载.文库是在线分享的平台. 文件的格式有很多 doc(.docx)..ppt(.pptx)..xls(.xlsx)..pot..pps.. ...
【网站搭建】【源码分享】闪客网盘修复版
加了个QQ支付支付接口自己数据库替换一下域名/submit.php 支持对文件下载限速对接易支付推广赚钱啥的功能源码非常的好支持腾讯cos 阿里云cos 本地储存远程存储源码:http ...
独角兽写真网站程序1.2V源码分享
简介: 独角兽写真程序1.2V 修复充值无反应修复视频无法播放修复注册显示数据失败增加试看功能增加可以自定义添加图片功能此版本为1.2V 独角兽网络科技工作室网盘下载地址: http:// ...
注册与验证码php源代码,PHP+javascript制作带提示的验证码源码分享
经常看的别人网站上输完验证码,可以直接判断正确与否,感觉体验非常不错,赶紧给自己网站也加上,源码分享给大家 html代码: 简单验证码验证码: 看不清请输入验证码 JS代码: function c ...
二开的精美UI站长源码分享论坛网站源码可切换皮肤界面
介绍: PHP二开的精美UI站长源码分享论坛网站源码可切换皮肤界面网盘下载地址: http://kekewl.net/RROyxgOkauW0 图片:
基于Java毕业设计宠物论坛设计网站测试视频2021源码+系统+mysql+lw文档+部署软件
基于Java毕业设计宠物论坛设计网站测试视频2021源码+系统+mysql+lw文档+部署软件基于Java毕业设计宠物论坛设计网站测试视频2021源码+系统+mysql+lw文档+部署软件本源码技 ...
jsp+ssm计算机毕业设计游戏网站设计【附源码】
项目运行环境配置: Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclis ...
java毕业设计校园招聘论坛设计mybatis+源码+调试部署+系统+数据库+lw
java毕业设计校园招聘论坛设计mybatis+源码+调试部署+系统+数据库+lw java毕业设计校园招聘论坛设计mybatis+源码+调试部署+系统+数据库+lw 本源码技术栈: 项目架构:B/S ...
APP论坛社区软件源码 APP封装
简介: APP论坛社区软件源码网站源码APP封装,不定时更新不定时修复bug, 后台可修改QQ登录.注册登录.启动图.分类板块等.支持聊天. 网盘下载地址: http://kekewl.cc/4tLf ...

爬虫xx网站论坛的帖子源码分享

爬虫xx网站论坛的帖子源码分享相关推荐

最新文章

热门文章