Go根据url获取html代码

2019独角兽企业重金招聘Python工程师标准>>>

import ("bufio""bytes""fmt""io/ioutil""net/http""os""regexp""strconv""strings"
)
/// 这个获取的全乱码，只有某些网站正常，几乎模拟火狐浏览器请求
func GetUrl(url string, method string) string {client := &http.Client{}reqest, _ := http.NewRequest(method, url, nil)reqest.Header.Set("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")reqest.Header.Set("Accept-Charset", "utf-8;q=0.7,*;q=0.3")//reqest.Header.Set("Accept-Encoding", "gzip, default")//这个有乱码，估计是没有解密，或解压缩reqest.Header.Set("Accept-Encoding", "utf-8")//这就没有乱码了reqest.Header.Set("Accept-Language", "zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3")reqest.Header.Set("Cache-Control", "max-age=0")reqest.Header.Set("Connection", "keep-alive")reqest.Header.Set("Host", url)reqest.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 6.1; rv:20.0) Gecko/20100101 Firefox/20.0")response, _ := client.Do(reqest)if response.StatusCode == 200 {body, _ := ioutil.ReadAll(response.Body)bodystr := string(body)return bodystr}return ""
}

上面这个方法乱码问题还无解！

下面一个是用http.Get得到html的方法没有乱码问题

func GetHTML(url string) string {res, err := http.Get(url)if err != nil {return ""}body, _ := ioutil.ReadAll(res.Body)//转换byte数组defer res.Body.Close()//io.Copy(os.Stdout, res.Body)//写到输出流，bodystr := string(body)//转换字符串return bodystr
}

转载于:https://my.oschina.net/raddleoj/blog/135637

Go根据url获取html代码相关推荐

网络编程之如何通过URL获取网页代码
java.net 类 URL java.lang.Objectjava.net.URL 所有已实现的接口: Serializable public final class URLextends Obj ...
[爬虫]通过url获取连接地址中的数据
1. 要想获取指定连接的数据,那么就得使用HtmlDocument对象,要想使用HtmlDocument对象就必需引用using HtmlAgilityPack; 2. 详细步骤如下: 步骤一 ...
Android 利用url获取Bitmap图片
编程中我们经常需要通过url获取网络上的图片.下面将相关代码做一下总结注意:Android中这一操作必须在异步线程中进行 public class BitmapUtil {public static ...
php获取url文件大小,PHP通过URL获取文件大小
function getFileSize($url){ $url = parse_url($url); if($fp = @fsockopen($url['host'],empty($url['por ...
iOS根据图片url获取尺寸
可以在UIImage的分类中加入下面的代码,并且引入系统的ImageIO.framework /**根据图片的url获取尺寸@param URL url@return CGSize*/ + (CGSi ...
HttpClient 4 API –获取状态代码-getStatusLine（）。getStatusCode（）示例
在HttpClient API中获取状态代码的快速指南. getStatusLine().getStatusCode()示例和相关的错误. 1.简介在这个非常快速的教程中,我将展示如何使用HttpC ...
字符串url获取参数_如何从URL查询字符串获取示例参数或将其附加到URL查询字符串（示例）？...
字符串url获取参数让我们剖析几个简单的用例,并查看视图参数的工作原理(视图参数名称不是强制性的,以匹配通过URL查询字符串传递的请求参数,但在本文中,我们将重点讨论这种情况): 情况1 在inde ...
通过url,获取html内容,并解析,如何使用 JavaScript 解析 URL
在 Web 开发中,有许多情况需要解析 URL,这篇主要学习如何使用 URL 对象实现这一点. 开始创建一个以下内容的 HTML 文件,并在浏览器中打开. JavaScript URL parsin ...
python模拟百度搜索点击链接_python采集百度搜索结果带有特定URL的链接代码实例...
这篇文章主要介绍了python采集百度搜索结果带有特定URL的链接代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 #coding utf-8 ...
百度地图获取经纬度后，获取区域代码和地址
百度地图获取经纬度后,获取区域代码和地址: function getdistrct_code($location){$url ="api.map.baidu.com/geocoder/v2/ ...

Go根据url获取html代码

Go根据url获取html代码相关推荐

最新文章

热门文章