转帖不会乱码的，powershell网络蜘蛛

抓取（爬取）网上信息的脚本程序，俗称网络蜘蛛。
powershell中自带了这样的两个命令，【Invoke-WebRequest】和【Invoke-RestMethod】，但这两个命令有时候会乱码。

现在转帖分享，某个【歪果仁】写的脚本。来源于墙外出处： https://gist.github.com/angel-vladov/9482676

function Read-HtmlPage {
param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)# Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
[Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
[Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
$Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
$Response = $Reader.ReadToEnd()
$Reader.Close()# Create the document class
[mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
$Doc.IHTMLDocument2_write($Response)# Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
$Doc#powershell 传教士 转帖并修改的文章 2016-01-01, 允许再次转载，但必须保留名字和出处，否则追究法律责任

}

具体效果请大家共同测试。

转载于:https://www.cnblogs.com/piapia/p/5093201.html

转帖不会乱码的，powershell网络蜘蛛相关推荐

批量修正字幕乱码（powershell）
批量修正字幕srt文件乱码(powershell) 问题修正方法流程问题下载的ppt课程中的字幕在暴风影音和kmplayer中打开均为中文乱码.系统为win7 64bit. 修正方法单次操作 ...
用C#2.0实现网络蜘蛛(WebSpider)
摘要:本文讨论了如何使用C#2.0实现抓取网络资源的网络蜘蛛.使用这个程序,可以通过一个入口网址(如http: //www.comprg.com.cn)来扫描整个互联网的网址,并将这些扫描到的网址所指 ...
网络蜘蛛Spider 工作原理
网络蜘蛛 Web spider (或称 Crawler)是一种能够跟踪网络上超链接结构,并不断进行网络资源发现与采集的程序.作为搜索引擎的资源采集部分,Web Spider的性能将直接影响到整个搜索 ...
关于网络蜘蛛以及搜索蜘蛛爬行
当"蜘蛛"程序出现时,现代意义上的搜索引擎才初露端倪.它实际上是一种电脑"机器人"(Computer Robot),电脑"机器人"是指某个能 ...
搜索引擎（网络蜘蛛及搜索引擎基本原理）
2006-05-25 网络蜘蛛及搜索引擎基本原理 TAG:搜索相关搜索引擎的工作原理大致可以分为: 搜集信息:搜索引擎的信息搜集基本都是自动的.搜索引擎利用称为网络蜘蛛(spider)的自动搜索机器 ...
网络爬虫(网络蜘蛛，网络机器人)与Web安全
网络爬虫概述网络爬虫(Web Crawler),又称网络蜘蛛(Web Spider)或网络机器人(Web Robot),是一种按照一定的规则自动抓取万维网资源的程序或者脚本,已被广泛应用于互联网领域 ...
NetSpider 网络蜘蛛1.0 的简介
NetSpider 网络蜘蛛1.0 的简介支持多线程下载和自动断点续传.特别适合对网站上的图象文件进行自动下载,是图片搜集者的利器.详细的使用说明见: 网络蜘蛛是一个自动搜索HTML页面并下载指 ...
搜索引擎中的网络蜘蛛技术探析
摘要:搜索引擎技术可以从海量的网络信息中获得我们想要的信息,随着网络信息资源的急剧增长其作用越来越显著.本文介绍了搜索引擎技术中的网路蜘蛛,分析了其对文件的处理方法,研究了其搜索与更新策略. 关键 ...
建立网络链接编程C语言,用C语言编写一个网络蜘蛛来搜索网上出现的电子邮件地址...
可能大家经常要去互联网上搜索特定的内容,比如收集大量邮件地址,如果用google之类的搜索引擎是没法实现这种特定功能的,所以用C语言来写一个吧.它的功能就是不断去取得网络上的页面,然后分析出网页上出现 ...

转帖不会乱码的，powershell网络蜘蛛

转帖不会乱码的，powershell网络蜘蛛相关推荐

最新文章

热门文章