获取网页html内容

一、前言：转载地址

今天写个简单的程序，根据指定的 URL 来抓取相应的网页内容，然后存入本地文件。这个程序会涉及到网络请求和文件操作等知识点，下面是实现代码：

二、代码

package mainimport ("fmt""io/ioutil""net/http""os"
)func main() {//待获取的网页数据//url := os.Args[1]url := "https://blog.csdn.net/qq_36025814/article/details/85061666"// 根据URL获取资源res, err := http.Get(url)if err != nil {fmt.Fprintf(os.Stderr, "fetch: %v\n", err)os.Exit(1)}// 读取资源数据 body: []bytebody, err := ioutil.ReadAll(res.Body)// 关闭资源流res.Body.Close()if err != nil {fmt.Fprintf(os.Stderr, "fetch: reading %s: %v\n", url, err)os.Exit(1)}// 控制台打印内容 以下两种方法等同fmt.Printf("%s", body)fmt.Printf(string(body))// 写入文件ioutil.WriteFile("site.txt", body, 0644)
}

三、代码说明

上面的代码中，我们引入了 net/http 网络包，然后调用 http.Get(url) 方法获取 URL 对应的资源，之后读取出资源数据，然后在控制台打印，并将内容写入到本地文件中。

需要注意的是，在读取资源数据完毕后，应该及时将资源流关闭，避免出现内存资源的泄露。

另外，在处理异常时，我们使用了 fm.Fprintf() 这个方法，它是格式化三大方法之一：

Printf: 格式化字符串并输出到 os.Stdout 中。
Fprintf: 格式化字符串并输出到指定文件设备中，所以参数比 Printf 多一个文件指针 FILE*。
Sprintf: 格式化字符串并输出到指定字符串中，所以参数比 Printf 多一个 char*，那就是目标字符串地址。

四、运行完程序，在当前目录中会生成一个 site.txt 文件。

获取网页html内容相关推荐

python 打开网页开发者工具_Python获取网页指定内容(BeautifulSoup工具的使用方法)...
page = urllib2.urlopen(url) contents = page.read() #获得了整个网页的内容也就是源代码 print(contents) url代表网址,content ...
抓取html的内容,js获取网页选中内容(包含html代码)
例子,js获取网页选中的内容. 复制代码代码示例: function getSelectedContents(){ if (window.getSelection) { //chrome,firef ...
黄聪：C#获取网页HTML内容的三种方式
C#通常有三种方法获取网页内容,使用WebClient.WebBrowser或者HttpWebRequest/HttpWebResponse. 方法一:使用WebClient static void ...
python 获取网页的内容
1.安装pip 我的个人桌面系统用的linuxmint,系统默认没有安装pip,考虑到后面安装requests模块使用pip,所以我这里第一步先安装pip. 1 $ sudo apt install ...
java如何获取网页全部内容
URL获取之前在项目中,遇到这样一个问题.需要读取一个网页的内容,却发现只读取到了网页内容的一部分. 下面是代码: public static void read1(String urlStr) { ...
python使用requests库获取网页的内容
网站地址:https://www.k374.com/index.php 网站内容如下: 第一步导入requests库,使用它访问网页获取到源代码内容如下: import requests r = r ...
python 使用xpath获取网页标签内容
获取指定html的标签内容打开网页的开发者模式,得到路径标签,然后加上/text() 即可得到标签的文本内容//*[@id="sonsyuanwen"]/div[1]/h1 对于 ...
java获取网页的内容_java获取网页内容
package DC.Utility; import java.io.BufferedReader; import java.io.InputStreamReader; public class Ge ...
正则表达式获取网页文本内容
为什么80%的码农都做不了架构师?>>> 微信小程序中不能直接渲染 HTML 页面,后台 CGI 返回的公众号文章的内容是 HTML 页面,需要将 HTML 标签滤除,同时要保 ...
C++ 与 php 的交互之----- C++ 异步获取网页文字内容，异步获取 php 的 echo 值。...
已搬迁至 http://www.cnblogs.com/linguanh/p/4543836.html 如果您认为这篇文章还不错或者有所收获,您可以通过扫描一下下面的支付宝二维码打赏我一杯咖啡[物质 ...

获取网页html内容

获取网页html内容相关推荐

最新文章

热门文章