今天想做一个58同城的爬虫，然后到页面分析一下链接，发现58同城的链接的有些参数是由js动态生成的，然后我就想偷懒了。(当然其实去js文件中找到生成式并不难)，但我就是不想去找。然后就想到了selenium，各种工具都常拿出来溜溜，才能用的好！

python + selenium + (head_less)Chrome,然后用BeautifulSoup解析数据，完成了。

我们来一步步的看，首先我们要生成一个驱动器的对象吧

from selenium import webdriver

options = webdriver.ChromeOptions()

options.set_headless()

# 无头

options.add_argument('--diable-gpu')

# 禁用gpu

driver = webdriver.Chrome(options=options)

# 生成了一个无头的Chrome的驱动器对象

对了，我们还是把我们的目标截图看一下吧！

框起来的部分是有js文件动态生成的参数，我们的目标是箭头指向的部分。

好了，目标给你们看了，像这样的页面一共有70页，每页有60个房子的信息(别说我骗你只有4200条数据不是万级数据，那你可以换城市呀！)

首先我们实现这个页面的爬取，看代码：

content = driver.page_source.encode('utf-8')

# 获取页面资源

Soup = BeautifulSoup(content,'lxml')

# 用BeautifulSoup库进行解析，结合BeautifulSoup

li_list = Soup.find(attrs={'class':'content'}).find_next(attrs={'class':'listUl'}).find_all('li')

# 解析

for li in li_list:

try:

if li.has_attr('logr'):

# 因为渲染过的页面上还有一种公寓的信息，是我不要的，这里的这个判断语句相当于一个赛选

img_list = li.div.find_next('img').get('src')

img_num = li.find_next('span').get_text()

des = li.find(attrs={'class': 'des'})

h2 = des.h2.a.get_text()

room = des.find(attrs={'class': 'room'}).get_text()

jjr = des.find(attrs={'class': 'jjr'}).get_text(strip=True)

listliright = li.find(attrs={'class': 'listliright'})

sendtime = listliright.find(attrs={'class': 'sendTime'}).get_text()

money = listliright.find(attrs={'class': 'money'}).get_text()

writer.writerow([img_list, img_num, h2, room, jjr, sendtime, money])

# 这里是写进文件，我们传进来一个写的对象，后面会看到

else:

continue

except AttributeError:

continue

# 有错误什么的都进跳过

代码的注释很详细把，就不用说了吧，这是对一个页面的提取信息

这是一个页面，我们要进行多个页面的跳转呀，所以这时selenium的元素定位就出来了。

我们找到这个“下一页”的元素，然后点击，就可以进入下一页了！

代码如下：

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

from selenium.common.exceptions import NoSuchElementException

wait_time = WebDriverWait(driver,10,0.5)

# 设置显式等待的时间

next_element = wait_time.until(EC.element_to_be_clickable((By.CLASS_NAME,'next')))

# 定位到页面的“下一页”的按钮，并进行点击

next_element.click()

# 这样就进入下一页了

好了，通过以上两步，我们就可以实现页面数据的提取和页面的跳转了，关键的两步都已经完成了，现在只剩下，数据的写入和逻辑的实现了

接下来我们对函数进行一个递归的调用，实现的代码的复用，具体的话你可能要看完整的代码了

贴出来：

# _*_ coding : utf-8 _*_

import csv

import random

from selenium import webdriver

from bs4 import BeautifulSoup

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

from selenium.common.exceptions import NoSuchElementException

options = webdriver.ChromeOptions()

options.set_headless()

options.add_argument('--diable-gpu')

driver = webdriver.Chrome(options=options)

wait_time = WebDriverWait(driver,10,0.5)

# 这里设置隐式等待的时间

# 设置无头Chrome进行作业

# 直接定位到要爬取的网页，不用有一个过程的

#driver.get_screenshot_as_file('58.png')

# 截屏

#get_html = driver.find_element(By.TAG_NAME, 'html')

# 定位到这个get_html元素

def parse_dom(driver,writer):

content = driver.page_source.encode('utf-8')

# 获取页面资源

Soup = BeautifulSoup(content,'lxml')

# 用BeautifulSoup库进行解析，结合BeautifulSoup

li_list = Soup.find(attrs={'class':'content'}).find_next(attrs={'class':'listUl'}).find_all('li')

# 解析

for li in li_list:

try:

if li.has_attr('logr'):

# 因为渲染过的页面上还有一种公寓的信息，是我不要的，这里的这个判断语句相当于一个赛选

img_list = li.div.find_next('img').get('src')

img_num = li.find_next('span').get_text()

des = li.find(attrs={'class': 'des'})

h2 = des.h2.a.get_text()

room = des.find(attrs={'class': 'room'}).get_text()

jjr = des.find(attrs={'class': 'jjr'}).get_text(strip=True)

listliright = li.find(attrs={'class': 'listliright'})

sendtime = listliright.find(attrs={'class': 'sendTime'}).get_text()

money = listliright.find(attrs={'class': 'money'}).get_text()

writer.writerow([img_list, img_num, h2, room, jjr, sendtime, money])

else:

continue

except AttributeError:

continue

# 有错误什么的都进跳过

try:

next_element = wait_time.until(EC.element_to_be_clickable((By.CLASS_NAME,'next')))

# 定位到页面的“下一页”的按钮，并进行点击

next_element.click()

# 点击过后，driver对象就是下一页的内容了，这里不要纠结

# 注意：在某些时候，点击一个按钮会出现一个新的窗口，这是就要注意切换窗口了。

driver.get_screenshot_as_file('D:/selenium/{name}.png'.format(name=random.uniform(0,39)))

# 别问我这个39什么意思，什么意思也没有，我就是随便选的

# uniform是选取浮点数，如果你想用整数可以用randint

# 截频每次爬取的网页，并随机生成一个图片的名字

print(1)

# 这是我给自己视觉上的一个信号，不然我不知道它在爬取呀！！！！！

parse_dom(driver,writer)

# 进行一个递归的循环

except NoSuchElementException:

print('已经到了末尾了！')

return

# 到了末尾自然就找不到“下一页”那个元素了，这是就可以报错了

# 就可以return，停止运行了

def main():

driver.get(url='http://bj.58.com/chuzu/?PGTID=0d200001-0000-1fd1-f53b-dedf284b5de1&ClickID=1')

with open('58city.csv','a',encoding='utf-8') as f:

writer = csv.writer(f)

writer.writerow(['img_list', 'img_num', 'h2', 'room', 'jjr', 'sendtime', 'money'])

# 建立一个writer对象并写入title

parse_dom(driver,writer)

# 这个函数我实现的是一个递归的调用

if __name__ == '__main__':

main()

# 执行主函数

完成了爬取，成果的话，贴出来，不过我并没有爬完(限速的我伤不起，还要试一下怎么用scrapy结合selenium进行爬取)

如图，我大概只爬取了两千条的数据。