python开源工具列表【持续更新】

以下是个人在工作中整理的一些python wheel，供参考。这个列表包含与网页抓取和数据处理的Python库

网络

通用urllib -网络库(stdlib)。requests -网络库。grab – 网络库(基于pycurl)。pycurl – 网络库(绑定libcurl)。urllib3 –...

文章

武耀文

2018-04-25

3139浏览量

初学指南| 用Python进行网页抓取

引言

从网页中提取信息的需求日益剧增，其重要性也越来越明显。每隔几周，我自己就想要到网页上提取一些信息。比如上周我们考虑建立一个有关各种数据科学在线课程的欢迎程度和意见的索引。我们不仅需要找出新的课程，还要抓取对课程的评论，对它们进行总结后建立一些衡量指标。这是一个问题或产品，其功效更多地取决于网...

文章

小旋风柴进

2017-05-02

2071浏览量

3 个 Python 模板库比较

在我的日常工作中，我花费大量的时间将各种来源的数据转化为可读的信息。虽然很多时候这只是电子表格或某种类型的图表或其他数据可视化的形式，但也有其他时候，将数据以书面形式呈现是有意义的。

但我的头疼地方就是复制和粘贴。如果你要将数据从源头移动到标准化模板，则不应该复制和粘贴。这很容易出错，说实话，这会...

文章

技术小能手

2018-06-05

10539浏览量

Quick BI 数据可视化分析平台

2020年入选全球Gartner ABI魔力象限，为中国首个且唯一入选BI产品

广告

Java爬虫之爬取中国高校排名前100名并存入MongoDB中

介绍

在博客：Python爬虫——爬取中国高校排名前100名并写入MySQL中，我们利用Python来写爬虫，将http://gaokao.xdf.cn/201702/10612921.html 中的大学排名表格爬取出来，并存入到MySQL中。

本次分享将用Java的Jsoup API...

文章

jclian91

2018-04-03

1089浏览量

Python爬虫：用BeautifulSoup进行NBA数据爬取

爬虫主要就是要过滤掉网页中无用的信息，抓取网页中有用的信息

一般的爬虫架构为：

在python爬虫之前先要对网页的结构知识有一定的了解，如网页的标签，网页的语言等知识，推荐去W3School： W3school链接进行了解

在进行爬虫之前还要有一些工具：

1.首先Python 的开发环境：...

文章

night李

2017-04-13

2778浏览量

《MySQL DBA修炼之道》——第3章 开发基础 3.1相关基础概念

本节书摘来自华章出版社《MySQL DBA修炼之道》一书中的第3章，第3.1节，作者：陈晓勇，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第二部分

开发篇

本篇首先讲述数据库开发的一些基础知识，如关系数据模型、常用的SQL语法、范式、索引、事务等，然后介绍编程开发将会涉及的数据库的一些...

文章

华章计算机

2017-05-02

1229浏览量

带你读《Python网络爬虫从入门到实践(第2版)》之一：网络爬虫入门

点击查看第二章点击查看第三章Python网络爬虫从入门到实践(第2版)

唐 松 编著

第1章

网络爬虫入门 网络爬虫就是自动地从互联网上获取程序。想必你听说过这个词汇，但是又不太了解，会觉得掌握网络爬虫还是要花一些工夫的，因此这个门槛让你有点望而却步。我常常觉得计算机和互联网的发明给人类带来...

文章

温柔的养猫人

2019-11-06

409浏览量

独家 | 手把手教你用Python进行Web抓取(附代码)

作为一名数据科学家，我在工作中所做的第一件事就是网络数据采集。使用代码从网站收集数据，当时对我来说是一个完全陌生的概念，但它是最合理、最容易获取的数据来源之一。经过几次尝试，网络抓取已经成为我的第二天性，也是我几乎每天使用的技能之一。

在本教程中，我将介绍一个简单的例子，说明如何抓取一个网站，我将...

文章

技术小能手

2018-11-22

2395浏览量

带你读《Python数据分析与数据化运营(第2版)》之二：数据化运营的数据来源

点击查看第一章点击查看第三章

第2章 数据化运营的数据来源

“巧妇难为无米之炊”，对于数据工作者来说数据便是所有工作的基础。企业的数据化运营的数据来源复杂，从数据结构类型看，包括结构化和非结构化数据；从数据来源看，既有导出的数据文件、数据库等常见来源，又有流式数据、API等复杂系统接口和外部资源；...

文章

温柔的养猫人

2019-11-08

1294浏览量

用Python爬虫抓取免费代理IP

不知道大家有没有遇到过“访问频率太高”这样的网站提示，我们需要等待一段时间或者输入一个验证码才能解封，但这样的情况之后还是会出现。出现这个现象的原因就是我们所要爬取的网页采取了反爬虫的措施，比如当某个ip单位时间请求网页次数过多时，服务器会拒绝服务，这种情况就是由于访问频率引起的封ip，这种情况靠...

文章

技术小能手

2018-06-27

2287浏览量

独家 | 一文读懂网络爬虫

前言

在当前数据爆发的时代，数据分析行业势头强劲，越来越多的人涉足数据分析领域。进入领域最想要的就是获取大量的数据来为自己的分析提供支持，但是如何获取互联网中的有效信息？这就促进了“爬虫”技术的飞速发展。

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是...

文章

行者武松

2017-10-10

4565浏览量

一分钟了解阿里云产品：表格存储

一、

概述

阿里云产品种类繁多，今天让我们一起来瞧瞧表格存储(Table Store)吧。

什么是表格存储呢？

简单来说，表格存储是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，提供海量结构化数据的存储和实时访问。表格存储以实例和表的形式组织数据，通过...

文章

hayden822

2016-03-10

9886浏览量

数据科学——成就你的未来！

何谓数据科学？在wikipedia中你还找不到Data Science的词条，但它将成就你的未来。

谷歌首席经济学家Hal Varian在2009年说，下一个十年最有吸引力的工作就是统计学家。能获取并处理数据，从中得到有用信息并能图形化，并使人们得以理解，这将是非常重 要的技能。在此处他所称的“统...

文章

小旋风柴进

2017-04-03

1038浏览量

经济学人：Python为什么是编程语言中最skr的？

Python的出现让计算机编程语言不再是生僻的专业技能，而是常人都能学习和使用的万金油。《经济学人(Economist)》近日对Python的一篇专题报道，揭秘了这一把计算机思维带入寻常百姓家的神奇编程语言。

Python在今天编程界的火热流行度，借助凡凡的一句话，那就是：

诞生于1989年12月...

文章

技术小能手

2018-08-01

1682浏览量

史上最全“大数据”学习资源整理

史上最全“大数据”学习资源整理

2016-05-17 Hadoop技术博文

当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术...

文章

云雷

2017-06-17

3574浏览量

使用Scrapy抓取数据

Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

官方主页： http://www.scrapy.org/

中文文档：Scrapy 0.22 文档

GitHub...

文章

雨客

2016-04-08

6624浏览量

独家 | 手把手教你用scrapy制作一个小程序 !(附代码)

目录

**一.前言二.原理

2.1 爬取流程

2.2 各部块的解释

2.3 scrapy数据流的分析

三.理解四.实战

4.1 首先是安装scrapy

4.2 建立项目和下载pycharm以及pycharm的配置

4.3 提取标题名和作者名

4.4 scrapy流程解析

4.5 小项目...

文章

技术小能手

2017-11-08

3582浏览量

数学烂也要学AI | 带你造一个经济试用版AI终极必杀器

今天我们将建立我们自己的深度学习终极大杀器。

我们会搜集最好的精华，并且把他们组合成数字终结者。

我们也会讨论如何把最新的深度学习软件架构一步步安装到Ubuntu Linux 16.04中。

在这台机器上运行神经网络就像热激光束穿过黄油一样快捷流畅。你不用花超过129，000美元来购买...

文章

小旋风柴进

2017-05-17

3292浏览量

别错过这张AI商用清单：你的生产难题可能被一个应用解决

人工智能席卷各行各业早已是不争的事实。

一边是大把人担心AI抢走自己的饭碗，另一边又是人工智障事故频出、难在业界落地。

AI在业界的应用程度到底如何，恐怕还得从已有的商用AI看起。

今天，文摘菌就来盘点一下已实现产品化的商用AI，看看它们在业界都能搞出些什么名堂。

如果你真怕被AI抢走饭碗，所谓知...

文章

技术小能手

2018-01-29

5242浏览量

面向机器学习的自然语言标注.

面向机器学习的自然语言标注

James Pustejovsky & Amber Stubbs 著

邱立坤 金澎 王萌 译

图书在版编目(CIP)数据

面向机器学习的自然语言标注 / (美) 詹姆斯·普斯特若夫斯基(James Pustejovsky)，安伯·斯塔布斯(Amber S...

文章

华章计算机

2017-05-02

11176浏览量

Python大数据：jieba分词，词频统计

实验目的

学习如何读取一个文件

学习如何使用DataFrame

学习jieba中文分词组件及停用词处理原理

了解Jupyter Notebook

概念

中文分词

在自然语言处理过程中，为了能更好地处理句子，往往需要把句子拆开分成一个一个的词语，这样能更好的分析句子的特性，这个过程叫就叫做分词。...

文章

黑冰中国

2018-03-21

4872浏览量

Python可视化: 历年中国大学学术排行榜

1. 作品介绍

这里先放一下这个动态表是什么样的：

不知道你看完是什么感觉，至少我是挺震惊的，想看看作者是怎么做出来的，于是追到了作者的B站主页，发现了更多有意思的动态视频：

这些作品的作者是：@Jannchie见齐，他的主页：https://space.bilibili.com/185009...

文章

技术小能手

2018-10-11

1414浏览量

Python处理CSV,Excel,PDF和图片

使用Python处理CSV格式数据

CSV数据：

逗号分隔值(Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号)，其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由...

文章

技术小阿哥

2017-11-27

2367浏览量

带你读《Python 程序设计与问题求解(原书第2版)》之一：引言

计算机科学丛书点击查看第二章点击查看第三章Python 程序设计与问题求解(原书第2版)Fundamentals of Python：First Programs，Second Edition

［美］　肯尼斯· A. 兰伯特(Kenneth A. Lambert )　著刘鸣涛　孙　黎　甘　靖　...

文章

温柔的养猫人

2019-11-05

217浏览量

《Python爬虫开发与项目实战》——第2章 Web前端基础 2.1　W3C标准

本节书摘来自华章计算机《Python爬虫开发与项目实战》一书中的第2章，第2.1节，作者：范传辉著，更多章节内容可以访问云栖社区“华章计算机”公众号查看

第2章 Web前端基础

爬虫主要是和网页打交道，了解Web前端的知识是非常重要的。Web前端的知识范围非常广泛，不可能面面俱到和深入讲解，本...

文章

华章计算机

2017-05-02

2312浏览量

开发者眼中最好的 22 款 GUI 测试工具

1.Abbot - Java GUI 测试框架

Abbot是一个基于GUI的简单的Java测试框架，它能够帮助开发者测试Java用户界面。 它提供事件自动生成和验证Java GUI组件，使您能够轻松地启动，探索和控制应用程序。开发者可通过脚本和编译代码两种方式来使用Abbot框架，这就是为什么它被...

文章

青衫无名

2017-06-02

1904浏览量

基于xgboost+GridSearchCV的波士顿房价预测

xgboost中文叫做极致梯度提升模型，官方文档链接：https://xgboost.readthedocs.io/en/latest/tutorials/model.html

GridSearchCV中文叫做交叉验证网格搜索，是sklearn库中用来搜索模型最优参数的常用方法。

2018年8月2...

文章

潇洒坤

2018-08-23

2002浏览量

多种方法爬取猫眼电影并分析(附代码)

1. 为什么爬取该网页？

●  比较懒，不想一页页地去翻100部电影的介绍，想在一个页面内进行总体浏览(比如在excel表格中)；

想深入了解一些比较有意思的信息，比如：哪部电影的评分最高？哪位演员的作品数量最多？哪个国家/地区上榜的电影数量最多？哪一年上榜的电影作品最多等。这些信息在网页上是...

文章

技术小能手

2018-11-02

2664浏览量

如何运用Python绘制NBA投篮图表

我在本文中将介绍如何获取一个选手的投篮数据并通过matplotlib 和 seaborn制成图表。

In [1]: %matplotlib inline

import requests

importmatplotlib.pyplot as plt

import pandas aspd

import...

文章

小旋风柴进

2017-05-02

2097浏览量

python xpath语法与lxml库

From：http://cuiqingcai.com/2621.html

前言

XPath即为XML路径语言，它是一种用来确定XML(标准通用标记语言的子集)文档中某部分位置的语言。XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。 xPath 同样也支持HTML。XPath 是一...

文章

shadowcat

2017-03-21

2497浏览量