你没有看错,爬网页数据,C# 也可以像 Jquery 那样
一:背景
1. 讲故事
前段时间搞了一个地方性民生资讯号,资讯嘛,都是我抄你的,你抄官媒的,小市民都喜欢奇闻异事,所以就存在一个需求,如何去定向抓取奇闻异事的地方号上的新闻,其实做起来很简单,用逻辑回归即可,这篇主要讨论如何去抓取,在 C# 中大家都知道抓取通用的库是 HtmlAgilityPack,但是这个库主流的做法是采用 xpath 提取网页内容,这就让我很不爽了,毕竟不熟悉莫名的抵抗哈,像我这个年纪的码农,被 Jquery 教育了至少 5-6 年,所以必须用 类Jquery 的方式,在 python 中有 pyquery 做这件事情,那在C# 中有没有类似的方式呢?嘿嘿,万能的 github 上还真有。。。就是本篇介绍的 CSQuery。
二:CSQuery
1. 安装
github的地址:https://github.com/zone117x/CsQuery 然后在vs中 nuget 一下即可:
2. 举几个例子
一切都准备就绪了,那怎么用呢?不着急,我以博客园举两个例子。
1) 将首页中的 友情连接 提取到
如上图,要想获取这里的 友情链接
几个大字,直接用 text() 肯定是不行的,默认情况它会将所有的子节点的文本也会抓到,如下图:
那怎么处理呢?可以用 jquery 提供的 contents 方法,然后在获取的所有子节点中判断是否有 文本节点,最后获取文本节点的内容即可,如下代码:
用js是搞定了,那用 CSQuery 代码怎么搞定呢?模仿呗,如下代码:
static void Main(string[] args){var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));var content = jquery["#friend_link"].Contents().Filter((dom) =>{return dom.NodeType == NodeType.TEXT_NODE;}).Text();Console.WriteLine(content);}
我不知道用 xpath 提取这样的内容麻不麻烦,不过用 jquery 方式不简单,但轻车熟路。
2) 如何将 html 中的某些元素标颜色
有时候为了业务需要将某些 html 标签改一下颜色,比如说将首页的 tabmenu 中 博问
和 专区
改成红色,如下图:
那用 CSQuery 怎么处理呢?如果玩过 jquery,一般来说步骤如下:
使用 each 遍历每一个子 li 标签
使用 CSS 方法给 li 中 a 标签赋样式
使用 Render 渲染生成一个新的的html
有了步骤,C#代码如下:
static void Main(string[] args){Config.HtmlEncoder = HtmlEncoders.None;var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));var html = jquery["#nav_left li"].Each(dom =>{var self = jquery[dom];var text = self.Text();if (text == "博问" || text == "专区"){self.Find("a").CssSet(new { color = "red" });}}).Render();}
3) 其他的操作方法
除了上面两个操作方法外,你还可以使用 after,before,replaceAll,IS 等等一百来个实用的方法,这篇肯定也无法一一介绍了,大家有兴趣可以下载下来看一看,捣鼓捣鼓。
三:其他用途
除了抓取html中的元素,我觉得这玩意还可以用在发送邮件时操控邮件模板,毕竟在很久以前大家都是用jquery来绘制 html,所以用 CSQuery 也是可以的,相对使用 xslt 有利有弊吧,接下来做一个例子:
1. 生成一个html模板
<!DOCTYPE html><html lang="en" xmlns="http://www.w3.org/1999/xhtml">
<head><meta charset="utf-8" /><title></title>
</head>
<body><ul id="main"></ul>
</body>
</html>
2. 使用 CSQuery 给 ul 追加 li
可以用 Append 将内容追加到 <ul>
节点内。
class Program{static void Main(string[] args){Config.HtmlEncoder = HtmlEncoders.None;var strlist = new string[2] { "1", "2" };var path = Environment.CurrentDirectory + "\\2.html";var jquery = CQ.CreateFromFile(path);foreach (var str in strlist){jquery.Find("#main").Append($"<li>{str}</li>");}var html = jquery.Render();}}
3. 部分渲染 RenderSelection
Render方法是将整个Dom渲染成html,但有时候你只需要得到你修改的那部分内容,而不是整个html,这就涉及到了部分渲染,可以用 RenderSelection
方法即可,代码如下:
static void Main(string[] args){Config.HtmlEncoder = HtmlEncoders.None;var strlist = new string[2] { "1", "2" };var path = Environment.CurrentDirectory + "\\2.html";var jquery = CQ.CreateFromFile(path);var current = jquery.Find("#main");foreach (var str in strlist){current.Append($"<li>{str}</li>");}var html = current.RenderSelection();Console.WriteLine(html);}------------- output ----------------<ul id="main"><li>1</li><li>2</li></ul>
四:总结
Jquery 这种操作模式对我个人来说还是比较舒服的,毕竟熟!不过在 html5 中也新增了 querySelector 和 querySelectorAll 支持 css3 选择器,非常强大,可 jquery 不光在选择器的灵活上,还在于对节点的灵活操作上,总的来说不是特别富交互的情况下可以怀旧一把。
你没有看错,爬网页数据,C# 也可以像 Jquery 那样相关推荐
- python爬网页数据用什么_初学者如何用“python爬虫”技术抓取网页数据?
原标题:初学者如何用"python爬虫"技术抓取网页数据? 在当今社会,互联网上充斥着许多有用的数据.我们只需要耐心观察并添加一些技术手段即可获得大量有价值的数据.而这里的&quo ...
- Android利用jsoup爬虫爬网页数据(一)
效果图太大了,我放到github上了,想看效果的点击以下链接: 效果图一 效果图二 首先这个jsoup只能对html爬取数据,js里面的东西爬不到,暂时先只爬html的数据,这里先说明一下,博主仅仅出 ...
- jquery 获取系统默认年份_你没有看错,爬网页数据,C# 也可以像 Jquery 那样
一:背景 1. 讲故事 前段时间搞了一个地方性民生资讯号,资讯嘛,都是我抄你的,你抄官媒的,小市民都喜欢奇闻异事,所以就存在一个需求,如何去定向抓取奇闻异事的地方号上的新闻,其实做起来很简单,用逻辑回 ...
- mac如何用python爬网页数据_Mac——利用Python进行网页爬取
Mac--利用Python进行网页爬取 目标:利用Python爬取网页中的指定内容,例如,爬取百度百科网页中四川省的别名.html 输出:四川省的别名为:川.蜀.天府之国python 我的经验,网页爬 ...
- Android利用jsoup爬虫爬网页数据(二)
效果图太大了,我放到github上了,想看效果的点击以下链接: 效果图一 效果图二 效果图和上文是一样的,上文只是说了一下简单的,这里的稍微麻烦一点,因为上文的基本就是个列表,而且数据结构比较简单,这 ...
- python爬网页数据到 excel 自动化_Selenium2+python自动化之读取Excel数据(xlrd)
前言 当登录的账号有多个的时候,我们一般用excel存放测试数据,本节课介绍,python读取excel方法,并保存为字典格式. 一.环境准备 1.先安装xlrd模块,打开cmd,输入pip inst ...
- java用jsoup爬网页数据_java使用jsoup爬取网页数据
1.导入依赖 org.jsoup jsoup 1.11.3 1.解析一个html字符串 示例如下:String html = " 这是P元素的内容 ";Document docum ...
- hbuilderx简单网页代码_Python爬取网页数据
都说python爬网页数据方便,我们今天就来试试,python爬取数据到底有多方便 简介 爬取数据,基本都是通过网页的URL得到这个网页的源代码,根据源代码筛选出需要的信息 准备 IDE:PyChar ...
- 如何写公式爬取网页数据之船舶定位
各位亲,不用Python,不用写VBA,写公式也能爬网页数据,您知道吗?今天小编给您整理了一个案例,做进出口贸易的朋友,需要每天关注船舶状态,关注一个船舶倒是容易,到网页上查一查就行,但如果有多个,甚 ...
最新文章
- Python压缩目录文件夹,解压目录文件夹及耗时效率统计
- 网站推广——对于网站推广公司来说应如何帮助企业实现网站优化?
- Spinner弹出框遮挡住显示框的解决办法
- 在控制台中输出 出现SIGBAT或者EXC_BAD_ACCESS的原因的方法
- Python basestring函数- Python零基础入门教程
- OKExChain生态项目KSwap完成50万美元种子轮融资
- ie中加入html代码,IE中HTML编辑器的修改与使用
- linux中使用bochs调试helloword引导程序
- 2004级C++试题及答案
- 换回了WINDOWS7
- 2021年中国研究生数学建模竞赛B题参考思路
- 常用的几种非对称加密算法
- PostgreSQL的json和jsonb比较
- 谷歌李开复:我的传奇人生源于十句箴言
- android 如何去控制第三方音乐播放app之控制QQ音乐
- 自定义店招应该具有的基本功能
- 最硬核的独立蒙特卡洛抽样法
- MATLAB识别实验,Matlab在图像处理与目标识别方面的应用实验
- 结构体嵌套结构体,及其的初始化
- Python学习,第七课(灵活使用Frame,让布局更舒适)
热门文章
- python导入模块--案例
- 【Zookeeper】源码分析之服务器(一)
- linux之拷贝文件/备份文件;按照原来的权限和日期拷贝.
- 柳传志与马云绸缪宏观经济“冬天影子”
- 程序代码初学者_初学者:如何使用热键在Windows中启动任何程序
- angular ng-zorro 用组件自身方的法来重置表单校验
- 动态切换父元素隐藏和显示里面的子元素的动画会再一次执行吗?
- 阿里云大学课程学习有奖征文活动现在开始
- 共轨之家获吉利家族基金新一轮融资 5个月前曾获磐霖资本领投A轮融资
- oracle dba 手动创建数据实例