抖音爬虫路上的填坑之路

1.selenium.common.exceptions.WebDriverException:

解决方法：加载chromedriver的时候，必须指明路径，形如

C:/Users/Python36/Scripts/chromedriver.exe

；如果电脑中没有Chromedrive，点击下载https://germey.gitbooks.io/python3webspider/1.2.3-ChromeDriver%E7%9A%84%E5%AE%89%E8%A3%85.html

2.写路径问题

出现错误：SyntaxError:(unicode error) ‘unicodeescape’

解决办法：定位出错的路径位置，Ctrl+F, 输入 path,

1>如果看到这样的结构信息：

path = “D:\User\hahhah”

因为 \ 导致出错，在Python中 \ 是转义字符；

2种解决办法：（1）在字符串前加 r, 即 path = r“D:\User\hahhah”

(2) 将字符串中的反斜杠换成正斜杠，即 path = “D:/User/hahhah”

2>如果看不到这样的结构信息：那就是编码问题：无法识别中文等，自行search method 即可。

3.InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised

解决方法：

>>import urllib3
>>urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

4. python读取GB级的文本数据，MemoryError

解决方法：http://chenqx.github.io/2014/10/29/Python-fastest-way-to-read-a-large-file/

5. json.loads解码字符串时出错

解决方法：http://docs.python.org/library/json.html#module-json

6.module 'urllib' has no attribute 'urlopen'

解决方法：因为工程里面有和urllib重名的类导致import进来的事自定义的urllib，所以import的时候要导入的urllib.request，因为在python3.x中urllib中包含了urllib2等其他的类，在调用的时候也要以urllib.request.urlopen(url)的形式调用，url也要写全

7.AttributeError: module 'json' has no attribute 'read'

解决方法：

说明json的数据结构是bytes,应该先转化为str,再转化为dic才能正常解析出来：转化方法：例如

>>> type(data)
<class 'bytes'>
>>> sdata=data.decode() #bytes to str
>>> type(data)
<class 'bytes'>
>>> type(sdata)
<class 'str'>
>>>

http://funhacks.net/2016/04/24/python_%E5%B0%86%E5%AD%97%E7%AC%A6%E4%B8%B2%E8%BD%AC%E4%B8%BA%E5%AD%97%E5%85%B8/

抖音爬虫路上的填坑之路相关推荐

填坑之路！SpringBoot导包坑之spring-boot-starter-parent
填坑之路!SpringBoot导包坑之spring-boot-starter-parent 大誌 2018-11-14 21:03:25 104522 收藏 83 分类专栏: Bug 文章标签: Sp ...
Android Studio 3.0~3.x正式版填坑之路
序言总看别人的文章,今天尝试着自己来写一篇.在逛论坛时候,无意间发现Android Studio 3.0正式版本推送更新了,早听说AS 3.0添加了许多新功能,然后手贱迫不及待地想先睹为快,结果正中 ...
抖音去水印小程序太坑了，每天只能下载一个还要钱。还是自己用Python写一个得劲
对于做抖音短视频的爸爸们,肯定少不了每天下载几个无水印的视频来借鉴. 微信有很多这样的去水印小程序,但每天限制只能免费下载一个,不然你就得开会员想了个法子为什么不自己用Python爬呢? 第一步首 ...
mitmproxy+appium实现抖音关键字搜索结果自动获取，抖音爬虫
开发环境:ubuntu 相关工具:python.mitmproxy.appium.adb.安卓手机一台项目逻辑:利用自动化测试工具appium控制手机刷抖音,同时开启mitmdump拦截手机端的所有 ...
NIOS_II填坑之路——EPCS出现“Cannot open flash device”解决办法
读写EPCS出现"Cannot open flash device"的解决办法 SOPC填坑--第n天代码看了千万遍,Debug千万遍,alt_flash_open_dev(EP ...
一款车载GPS定位产品后端服务器架构的填坑之路(一）
文章名字取得有些唬人.这里说"架构"二字也是有些夸大,其实也就是实现一些简单的位置解析功能.数据存储等功能.整理出来,也只是给后来者一些借鉴.希望看到的能够去除糟粕,取其精华. 2 ...
微信小程序填坑之路其一：wx.request发送与服务端接受
一.序言应公司要求要求,要用小程序开发一个信息录入系统.没办法只能听话来填坑. 先介绍一下环境:客户端--小程序:服务端--java:数据库--mysql:服务器--centos7 需求:客户端输入 ...
python采集抖音数据_DouYinSDK 抖音爬虫数据采集福音
AwemeSDK联系微信gameids获取token.host 项目地址:https://github.com/01ly/DouYi...0. 初始化from douyin import AwemeS ...
抖音爬虫挑战一------------模拟器安装
一. 准备资源 1. 雷电模拟器 2. xposed 3. JustTrustMe 注意很多模拟器安装xposed都会各种出错,我就弄了一天,最后找到一个雷电3.113.1版本能够装上如果找 ...

抖音爬虫路上的填坑之路

抖音爬虫路上的填坑之路相关推荐

最新文章

热门文章