鲲鹏数据开源库python_google

2019独角兽企业重金招聘Python工程师标准>>>

原文作者：西安鲲之鹏

原文链接：http://www.site-digger.com/html/articles/20130812/68.html

关于KPBroswer：

KPBroswer是一个基于QtWebKit的最小化浏览器程序，通过被第三方程序调用，

能实现对复杂页面加载后数据（例如，复杂Ajax、数据加密）的抓取，支持屏幕截图。

KP是“鲲鹏”二字的拼音首字母。

项目主页：

https://bitbucket.org/qi/kpbroswer/

适用场景：

页面数据动态加载（例如，Ajax过程过于复杂，分析成本太高）；

数据加密（客户端JS解密，解密算法难以获取或难以用其它语言实现）；

屏幕截图；

跨平台的抓取方案；

依赖库：

PyQt4

Ubuntu下安装方法：sudo apt-get install python-qt4

Windows下安装方法：在这里下载二进制安装包直接安装http://www.riverbankcomputing.co.uk/software/pyqt/download/

调用方法：

若在Linux终端下运行，需要安装Xvfb。Ubuntu下安装方法：apt-get install xvfb xfonts-base xfonts-75dpi xfonts-100dpi xfonts-wqy

调用举例（Linux）：xvfb-run python KPBroswer.py http://www.site-digger.com --flags=redice --output="page.html" --screenshot="sitedigger.jpg"

调用举例（Windows）：python KPBroswer.py http://www.site-digger.com --flags=redice --output="page.html" --screenshot="sitedigger.jpg"

Usage: KPBroswer.py <URL> [options]

Options:

-h, --help show this help message and exit

-p PROXY, --proxy=PROXY

Proxy to use.

-t TIMEOUT, --timeout=TIMEOUT

The timeout time of loading page.

-f FLAGS, --flags=FLAGS

Flags need to wait for. Semicolon can be used as a

eperator.

-w WAIT_TIMEOUT, --wait_timeout=WAIT_TIMEOUT

The timeout time of waitting for flags.

-g, --gui Whether to show the broswer GUI.

-o OUTPUT, --output=OUTPUT

The output filename.

-s SCREENSHOT, --screenshot=SCREENSHOT

If the value is not empty, take a screenshot and save

it here.

注意：

Linux下不要忘记安装相关字体库，否则截图中的汉字将会是乱码，如下图site-digger-font-problem.jpg所示。

安装后，就正常了，如图site-digger.jpg所示。

示例：

sample.py文件为一个Python以外部程序方式调用KPBroswer.py的示例，其它语言的调用可以参考其实现。

特别说明：该文章为西安鲲之鹏的原创文章，你除了可以发表评论外，还可以转载到你的网站或博客，但是请保留源地址，谢谢!!（尊重他人劳动，你我共同努力）

转载于:https://my.oschina.net/webscraping/blog/531907

鲲鹏数据开源库python_google_translator介绍相关推荐

[转]Facebook的c++开源库folly介绍
揭秘Facebook官方底层C++函数Folly Facebook近日公布了其官方底层C++函数Folly,Folly(该缩略语表示Facebook开源代码库)其实是C++11组件库,这些组件在设计时 ...
博弈论 ai 大数据开源库_需要进化：博弈论与人工智能
博弈论 ai 大数据开源库 by Elena Nisioti 由Elena Nisioti 需要进化:博弈论与人工智能 (In need of evolution: game theory and A ...
软件经验|GDAL空间数据开源库开发介绍
GDAL(Geospatial Data Abstraction Library)是使用C/C++语言编写的用于读写空间数据的一套跨平台开源库.GDAL库可以读取.写入.转换.处理各种栅格数据格式,它 ...
C++开源库详细介绍
C++在"商业应用"方面,曾经是天下第一的开发语言,但这一桂冠已经被java抢走多年.因为当今商业应用程序类型,已经从桌面应用迅速转移成Web应用.当Java横行天下之后,MS又 ...
Go开源库Excelize介绍，电子Excel表格操作强大的库
Excelize 是 Go 语言编写的用于操作 Office Excel 文档基础库,基于 ECMA-376,ISO/IEC 29500 国际标准. 项目作者是续日,现任阿里巴巴软件工程师,曾就职百 ...
python pyecharts_基于Python的数据可视化库pyecharts介绍
什么是pyecharts? pyecharts 是一个用于生成 Echarts 图表的类库. echarts 是百度开源的一个数据可视化 JS 库,主要用于数据可视化.pyecharts 是一个用于生 ...
python 3d大数据可视化_基于Python的数据可视化库pyecharts介绍
什么是pyecharts? pyecharts 是一个用于生成 Echarts 图表的类库. echarts 是百度开源的一个数据可视化 JS 库,主要用于数据可视化.pyecharts 是一个用于生 ...
Facebook的c++开源库folly介绍
folly在Facebook内部广泛使用的一个c++库,是开源的,github地址: https://github.com/facebook/folly 之前的boost库给我们带来了很多方便,比如智 ...
开源库BearSSL介绍及使用
BearSSL是用C语言实现的SSL/TLS协议,它的源码可直接通过git clone https://www.bearssl.org/git/BearSSL 下载,它的license是MIT,最新版 ...

鲲鹏数据开源库python_google_translator介绍

鲲鹏数据开源库python_google_translator介绍相关推荐

最新文章

热门文章