Python爬取链家租房信息

兴趣点：

继续练手，今天以石家庄市开发区为例，爬取所有链家在租房屋信息
这种静态网页我已经练了很多了，已经驾轻就熟了

目标网站：

传送门：https://sjz.lianjia.com/zufang/kaifaqu1/

爬虫大体思路与方法：

大体思路：

（1）找到翻页的规律（链家是静态网页，直接看浏览器上方显示的链接就能找到规律）
（2）获取我们想要的出租房的信息包括房源、面积、具体地址等，整理到列表中
（3）存储到本地

方法：

（1）getHTMLText(url)：页面获取方法
（2）fillList(url,roomlist)：把出租房的各种信息存入列表
（3）save(roomlist,path)：读取列表内容存入本地txt文件

参数介绍：

（1）roomlist：存放出租房各种信息的列表
（2）path：本地存储路径

部分细节讲解：

（1）获取house_name的写法：
为什么不直接用 find 方法找a标签？如下：

house_name = house.find("a",class_ = "twoline").get_text().strip()

这样写获取不到内容，这个问题我也不清楚，也不是第一次遇到了，可能是a标签的特性

所以改成了下面这样：

house_name = house.find("p",class_ = "content__list--item--title").find("a").get_text().strip()

（2）为了使获取的内容更整齐，再次强调一下去空格：
str.strip()：去除字符串两端的空格
str.replace(“旧字符”,“新字符”)：把旧字符替换成新字符，用于替换内部的空格、制表符和换行符

（3）有个别出租房没有提供部分信息可能导致爬虫中断：
在循环外套一个try——except抛出即可

try:for house in soup.find_all("div",class_ = "content__list--item"):............
except:         print("部分信息缺失，爬取失败*************************")

完整代码：

import requests
import re
import os
from bs4 import BeautifulSoupdef getHTMLText(url):try:kv = {"user-agent":"Mozilla/5.0"}r = requests.get(url,headers = kv)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:print("getHTMLText失败！")return ""def fillList(url,roomlist):for i in range(1,55):page_url = url + "pg{}".format(i)html = getHTMLText(page_url)soup = BeautifulSoup(html,"html.parser")try:for house in soup.find_all("div",class_ = "content__list--item"):house_name = house.find("p",class_ = "content__list--item--title").find("a").get_text().strip()house_price = house.find("span",class_ = "content__list--item-price").get_text().strip()des = house.find("p",class_ = "content__list--item--des").get_text()deslist = des.split("/")house_address = deslist[0].strip()house_area = deslist[1].strip()house_towards = deslist[2].strip()house_roomtype = deslist[3].strip()house_floor = deslist[4].strip().replace(" ","").replace("\t","")house_tips = house.find("p",class_ = "content__list--item--bottom oneline").get_text().strip().replace("\n","").replace("\t","")roomlist.append([house_name, house_price, house_address, house_area, house_towards, house_roomtype, house_floor, house_tips])print(house_address + "爬取成功！")except:print("部分信息缺失，爬取失败*************************")def save(roomlist,path):with open (path,'a',encoding = 'utf-8') as f:f.write("房源"+"\t"+"价格"+"\t"+"具体地址"+"\t"+"面积"+"\t"+"朝向"+"\t"+"房型"+"\t"+"层数"+"\t"+"其他优势"+"\n")for room in roomlist:f.write(room[0] + "\t" +room[1] + "\t" +room[2] + "\t" +room[3] + "\t" +room[4] + "\t" +room[5] + "\t" +room[6] + "\t" +room[7] + "\n")print(room[2] + "存储成功！")f.close()def main():url = "https://sjz.lianjia.com/zufang/kaifaqu1/"roomlist = []path = "石家庄开发区租房信息.txt"fillList(url,roomlist)save(roomlist,path)main()

爬取结果展示：

直接写入Excel未免太过麻烦，我习惯了写到txt再转到Excel的方法了(☄⊙ω⊙)☄
至于怎么用Excel按制表符分列大家应该都会吧？不会有人不会吧？不会吧？不会吧？哈哈