关于ASP使用服务器采集文章及图片

我的网站开了有一段时间了。

http://www.9ppk.com

发现自己手工添加信息十分辛苦。

看别人的PHP采集系统用的很爽。

也想弄个采集系统，但是好像真没什么人用asp做采集

而且asp的采集效率怎么样，我也不知道。

于是开始动手了。

其实asp采集原理很简单，

使用xmlhttp访问指定页面，把文章读取，然后使用正则表达式，选出自己需要的内容，最后保存到自己的数据库中。

这里有两个问题

采集的时候如果目标页面访问错误，使用Msxml2.XMLHTTP，没有超时限制，那么服务器会挂掉的。

所以需要使用MSXML2.ServerXMLHTTP，设置XmlHttp.SetTimeOuts 10000, 10000, 15000, 15000就可以了

第二个问题是9ppk.com是做网页图标打包下载的，网页图标总得有预览图片，

图片肯定也得采集回来，否则，别人网站图片删了，我的页面上也全是“大坑”了

采集图片也是用MSXML2.ServerXMLHTTP的。只是读取的是文件流，XmlHttp.ResponseStream.

需要使用ado的stream，把文件保存在服务器上。

关键问题差不多解决了，花了不小功夫可以做采集了。

但是程序一运行，傻眼了，速度好慢呀。采集个1000篇文章，不知道要等到什么时候了。还不定有自己手动快呢。

于是放弃了，还是老老实实自己一篇一篇文章添加吧。

关于ASP使用服务器采集文章及图片相关推荐

dede采集文章内容图片不显示
dede采集文章内容图片不成功开始这个问题也困扰了我很久啊,就是所采集的站图片链接用了相对地址而不是绝对地址,这样的话采集回来后相对地址就变成相对自己的域名,就会出现错误,下面说说我的解决办法: 其 ...
asp自动解析网页中的图片地址，并将其保存到本地服务器
程序实现功能:自动将远程页面的文件中的图片下载到本地. 程序代码 <% '将本文保存为 save2local.asp '测试:save2local.asp?url=http://ent.sina ...
ASP.NET MVC3 上传头像图片并截图
关于上传头像并且截图网上应该有很多资料,大多都是JQuery插件,用起来不是很方便本文所介绍的方法将快速完成一个"上传头像图片并截图",只需要修改少量的代码我们先来看看完成后的 ...
文章采集站-网站批量管理关键词采集文章
文章采集怎么才会让网站快速收录以及关键词排名?在大多数学习者中,所谓的SEO就是把想要的关键词优化到首页即可,但真正的SEO是搜索引擎优化,而非搜索排名优化,也正因为把排名当成SEO的全部,整天苦操排 ...
php文章远程图片,php保存远程图片到本地 php正则匹配文章中的远程图片地址
在添加文章的时候,很多情况下我们需要处理文章中的远程图片,将其保存到本地,以免别人网站删除后文章里面就无法访问了. 因此我们需要正则匹配文章中的图片地址, 这里我们使用php的正则表达式来实现:$co ...
win7 asp虚拟服务器,win7怎么利用ASP获取服务器IP地址 win7利用ASP获取服务器IP地址教程...
win7系统浏览器打开的网页查看服务器ip地址,网络上浏览的网页都是放在服务器上的,那么怎样用ASP获取服务器ip地址呢?今天小编给大家带来ASP获取服务器IP地址的方法,请一起看看下文详细介绍吧. ...
织梦缩略图自动补齐绝对路径_[教程]织梦CMS缩略图和文章内容图片自动转化为带域名的绝对路径...
今天又接了个织梦CMS的有偿服务,客户想要后台添加文章内容的时候,缩略图自动变成带上绝对路径的格式. 比如我们默认的缩略图是这样的 /uploads/allimg/150814/123P2NB-0-l ...
web展示爬去知乎、微博文章和图片
之前使用python3抓取的一些知乎.微博的文章和图片数据想立体化展示出来 web展示爬去知乎.微博文章和图片.论坛主要是展示爬去的数据使用技术: Springboot Mybatis MySQL8 ...
Python爬虫爬取Twitter视频、文章、图片
Python爬虫爬取Twitter视频.文章.图片 Twitter的Python爬虫 https://github.com/bisguzar/twitter-scraper 2.2k星标 (2020. ...

关于ASP使用服务器采集文章及图片

关于ASP使用服务器采集文章及图片相关推荐

最新文章

热门文章