package mainimport ("fmt""net/http""os""regexp""strings"
)var urls = "https://www.pengfu.com/xiaohua_%d.html"func DoHttpGet(urls string) (str string) {//创建一个Clientclient := &http.Client{}//使用指定的方法、网址和可选的主题创建并返回一个新的*Requestrequest, err := http.NewRequest("GET", urls, nil)if err != nil {fmt.Println(err)}//添加请求头request.Header.Add("User-Agent", "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1")response, _ := client.Do(request)defer response.Body.Close()buf := make([]byte, 1024*10)for {n, _ := response.Body.Read(buf)if n == 0 {break}str += string(buf[:n])}return
}func SaveDataToLocal(index int, c chan<- int) {//网络请求str := DoHttpGet(fmt.Sprintf(urls, index))//正则匹配所有的网址regex := regexp.MustCompile(`<h1 class="dp-b"><a href="(.*?)" target="_blank">`)findResult := regex.FindAllStringSubmatch(str, -1)var writeStr []string//便利当前页所有的网址for _, data := range findResult {fmt.Println(data[1])//网络请求详情页面s := DoHttpGet(data[1])//正则匹配标题titleRegex := regexp.MustCompile(`<h1>(.*)</h1>`)titleResult := titleRegex.FindAllStringSubmatch(s, 1)title := strings.TrimSpace(titleResult[0][1])//正则匹配内容contentRegex := regexp.MustCompile(`<div class="content-txt pt10">\s?\n?(.*)<a`)contentResult := contentRegex.FindAllStringSubmatch(s, 1)content := strings.TrimSpace(contentResult[0][1])//将标题与内容存到切片writeStr = append(writeStr, fmt.Sprintf(`{"title": "%s", "content" : "%s"}`, title, content))}//创建json文件f, err := os.Create(fmt.Sprintf("./page/%d.json", index))if err != nil {fmt.Println(err)}defer f.Close()//将数据写入文件f.WriteString(strings.Join(writeStr, ",") + "\n")//通知主协程爬取完毕c <- index
}func ToDoWork(start, end int) {//创建通道：通知每页爬取完毕c := make(chan int)//每一页都创建一个协程for i := start; i <= end; i++ {//将每一页数据保存到文件中go SaveDataToLocal(i, c)}for i := start; i <= end; i++ {//阻塞等待协程通知fmt.Printf("第%d页爬取完成\n", <-c)}
}func main() {//输入开始页与结束页var start, end intfmt.Print("请输入开始页码：")fmt.Scan(&start)if start <= 0 {fmt.Println("参数不正确，请输入大于0的数字")return}fmt.Print("请输入结束页码：")fmt.Scan(&end)if start > end {fmt.Println("参数不正确，结束页码必须大于开始页码")}//逻辑处理函数ToDoWork(start, end)
}

{"title": "都是二胎惹的祸", "content" : "    小区门口修车师傅生意特好。人实在,只要不换零件，常常不收钱或只收个块把钱辛苦钱。最近发现他心黑了，价钱明显上调,就连充个气也收1块钱。旁边书报亭大妈是知情人，: 唉，多担待一下吧！他家上个月二胎,一窝生了四个带把的。。。。"},{"title": "讨价还价", "content" : "去小卖部买烟，10块钱一盒的，给老板100，老板喜咪咪的看着我说：“我没零钱找你，就让我闺女陪你一晚抵账得了。”我一激动：“你老别介啊，我攒个私房钱出来偷偷买烟，真的很不容易啊！”老板：“怎么，你不愿意？要不然我去把我闺女叫出来！”我：“别！别！这钱你不用找了，千万别让您闺女知道我藏私房钱啊！”老板：“好女婿，只要你经常来买东西，我保证不说！哈哈哈”"},{"title": "猪没事就是涨价了", "content" : "前天和同事去逛超市，说好久没买肉吃了，于是去看猪肉，结果看到的最便宜的猪肉都要十八块多，同事当场惊呼：“猪怎么了，这是！”卖肉的师傅笑着说：“猪没事，就是涨价了。”"},{"title": "心宽", "content" : "刚才在QQ上有个还在上大学的姑娘突然跟我讲：“朋友介绍我去打工，今天晚上要到一个酒吧领舞，现在有点不敢去。”我：“有什么不敢去的？”姑娘：“刚才在小摊上只吃了碗牛肉面，怕到时候饿。”──姑娘，你心太宽了！"},{"title": "缺心眼", "content" : "昨天路过单位餐厅门口的金鱼池，正好看到一条小金鱼蹦到外边了，还在张嘴，就捡起来扔到池子里。回到家跟老婆聊天时随口说起，老婆抱怨着说，“我说你个缺心眼的，怎么不去向它要幢别墅呢！”"},{"title": "贵重物品", "content" : "下车时导游小姐说：“请带好您的贵重物品。”他拉着我的手说：“快走，贵重物品。”"},{"title": "镇静剂", "content" : "医生：“去给那位今天出院的病人注射一针镇静剂。”护士不解：“都可以出院了，还打镇静剂干嘛？”医生：“等下要结账，我怕他受不了！”"},{"title": "欢迎下次再来", "content" : "我一大学同学毕业后搞了一年营销，发奋考上公务员，分到民政局婚姻登记处。头天上班，一大早就来了对新人登记，那男的客气，给了一包烟和一包糖，同学很激动，麻利的办好手续，起身握手送别，很有礼貌地说了句：欢迎下次再来。"},{"title": "我们在睡觉", "content" : "公司一女同事中午外出吃饭。手机落公司，然后她老公一个劲的打电话，旁边一哥们吃完午睡，很是反感，在电话响起的第N回后，哥们很气愤的拿起电话，吼道：“我们在睡觉，你老打电话，烦不烦。”不一会儿办公室门口就出现了个男的。"},{"title": "不白之冤", "content" : "老先生已有60多岁，而头发胡须却都是黑的。朋友开玩笑地说：“如果用年龄为标准来衡量，您的头发胡须可说是抱冤受屈了！”老先生惊问何故，朋友答道：“它们蒙受了不白之冤呀。”"}