#前言html

先看爬到的信息：python

今天主要用到了两个库：Requests和BeautifulSoup。因此我先简单的说一下这两个库的用法，提到的都是此文须要用到的。编程

#Requestsbash

requests是一个很实用的Python HTTP客户端库。ui

下面经过一个例子来了解一下：编码

网址就用房天下的天津整租租房信息“http://zu.tj.fang.com/house/n31/”spa

import  requests

#请求头

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',

}

#Get请求-并传递headers

data=requests.get("http://zu.tj.fang.com/house/n31/",headers=headers)

print(data.text)

复制代码

若是正常的话打印出来的就是以下，这里只截取一部分：code

requests请求也会出现异常，这里我就先不细说了，能够去此网址查下具体用法：orm

http://docs.python-requests.org/zh_CN/latest/user/quickstart.htmlcdn

另外上面的代码中的headers是如何来的呢？这里给你们讲一下：

请求头的添加方法：

**1.**打开你要爬取的网址，在空白处右键-->检查，而后点击Network

#BeautifulSoup

Beautiful Soup 是用Python写的一个HTML/XML的解析器，它能够很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又经常使用的导航(navigating)，搜索以及修改剖析树的操做。它能够大大节省你的编程时间。

安装Beautiful Soup时注意一个问题， 个人python是3.6版本，安装的是bs4

import  requests

import  bs4

#请求头

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',

}

#Get请求-并传递headers

data=requests.get("http://zu.tj.fang.com/house/n31/",headers=headers)

soup=bs4.BeautifulSoup(data.text,"html.parser")

print(soup.prettify())

复制代码

输出的是soup文档，结果以下(截取了一部分)：

这里主要讲一下Beautiful Soup中的**select()**方法， 经过某个属性查找，而属性能够在网页中复制到。

具体的能够直接此网址学：

http://beautifulsoup.readthedocs.io/zh_CN/latest/

复制的步骤：

**1.**选中你要了解的内容，右键-->检查，好比我对价格进行了“检查”：

**2.**选择copy selector

**3.**复制的放到select方法内，代码以下：

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',

}

data=requests.get("http://zu.tj.fang.com/house/n31/",headers=headers)

soup=bs4.BeautifulSoup(data.text,"html.parser")

concretedata=soup.select("#listBox > div.houseList > dl:nth-of-type(1) > dd > div.moreInfo > p > span")

for houseinformat in  concretedata:

print(houseinformat.get_text())

复制代码

输出的确定是咱们选中的价格

注意的是复制的内容里有dl:nth-child(1)，直接改为dl:nth-of-type(1)要不会报错的。另外里面的get_text()方法表示直接获取了文字信息，否则会和标签一块儿显示的。

**强调：**若是要想获取此列表的全部价格的话，直接观察一下会发现，去掉nth-of-type(1)就能够了，你们应该都明白的。也就是把select方法中的内容改成：

而后运行输出(只截取了一部分)：

实战

根据上面的爬取方式，咱们能够把当前网页“房天下天津整租租房信息”中的房屋标题，具体内容与价格爬取下来。

1.爬取标题

爬取标题咱们再copy时发现用select方法不是和恰当了，这里应该能看出来吧？看不出来的能够本身去试一试，这里咱们查看爬取下来SOUP文档，发现标题是在P标签下的"title"字段

因此咱们能够直接用Beautiful Soup中的find_all()方法

#标题

title=soup.find_all("p","title")

复制代码

2.爬取价格

这就不用多少了，上面讲过

#价格

price=soup.select("#listBox > div.houseList > dl > dd > div.moreInfo > p > span")

复制代码

3.爬取具体内容

#具体的内容

concretedata=soup.select("#listBox > div.houseList > dl > dd > div.moreInfo > p > span")

复制代码

总体代码以下：

# -*- coding: gbk -*-

import  requests

import  bs4

def get_lastdata():

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',

}

data = requests.get("http://zu.tj.fang.com/house/n31/", headers=headers)

#由于打印出来的格式有乱码，因此更改一下编码

data.encoding="gbk"

soup = bs4.BeautifulSoup(data.text, "html.parser")

# 标题

title = soup.find_all("p", "title")

# 价格

price = soup.select("#listBox > div.houseList > dl > dd > div.moreInfo > p > span")

# 具体的内容

concretedata = soup.select("#listBox > div.houseList > dl > dd > p.font16.mt20.bold")

for title,price,concretedata in zip(title,price,concretedata):

last_data={

"title":title.get_text().strip(),

"concretedata":concretedata.get_text().strip(),

"price":price.get_text().strip()

}

print(   last_data)

if __name__ == '__main__':

get_lastdata()

复制代码

运行结果：

但愿对刚入门的朋友有所帮助！