python开源工具列表【持续更新】

以下是个人在工作中整理的一些python wheel，供参考。这个列表包含与网页抓取和数据处理的Python库

网络

通用urllib -网络库(stdlib)。requests -网络库。grab – 网络库(基于pycurl)。pycurl – 网络库(绑定libcurl)。urllib3 –...

文章

武耀文

2018-04-25

3139浏览量

图解数据科学领域的职位划分以及职责技能

随着数据科学领域的招聘信息越来越多，范围也越来越广。Datacamp根据最新的数据科学相关招聘信息，全面的了解各个行业之间数据科学领域每个职位角色之间的差异，以及所赋予的工作职责。

最主要分为以下几个职位：数据科学家、数据分析师、数据架构师、数据工程师、统计学家、数据库管理员、业务数据分析师、数...

文章

小旋风柴进

2017-05-24

1489浏览量

初学指南| 用Python进行网页抓取

引言

从网页中提取信息的需求日益剧增，其重要性也越来越明显。每隔几周，我自己就想要到网页上提取一些信息。比如上周我们考虑建立一个有关各种数据科学在线课程的欢迎程度和意见的索引。我们不仅需要找出新的课程，还要抓取对课程的评论，对它们进行总结后建立一些衡量指标。这是一个问题或产品，其功效更多地取决于网...

文章

小旋风柴进

2017-05-02

2071浏览量

Quick BI 数据可视化分析平台

2020年入选全球Gartner ABI魔力象限，为中国首个且唯一入选BI产品

广告

手把手教你上手python库pydbgen(附代码、安装地址)

SQL或数据科学领域的初学者通常会很难轻易访问大型示例数据库文件(.DB或.sqlite)来练习SQL命令。那么用一个简单的工具或库来生成一个包含多个表的，并且用自己选择的数据填充的大型数据库会不会很好？

当你开始学习和实践数据科学时，通常最担心的不是算法或技术，而是原始数据的可用性。幸运的是，网...

文章

技术小能手

2018-04-03

4404浏览量

3 个 Python 模板库比较

在我的日常工作中，我花费大量的时间将各种来源的数据转化为可读的信息。虽然很多时候这只是电子表格或某种类型的图表或其他数据可视化的形式，但也有其他时候，将数据以书面形式呈现是有意义的。

但我的头疼地方就是复制和粘贴。如果你要将数据从源头移动到标准化模板，则不应该复制和粘贴。这很容易出错，说实话，这会...

文章

技术小能手

2018-06-05

10539浏览量

日志服务数据加工：语法功能概述

自由编排

通过一个Python兼容ETL语言进行自由编排，对各种逻辑进行复杂组合, 可以满足大部分数据加工的需求和自由度.

例如, 可以自由编排达到如下一个场景:

完整的加工功能

支持近30种全局步骤函数, 支持通过各种参数调节行为, 且可以接受其他表达式函数的调用组合的结果作为参数, 其中控...

文章

成喆

2019-06-10

1808浏览量

Java爬虫之爬取中国高校排名前100名并存入MongoDB中

介绍

在博客：Python爬虫——爬取中国高校排名前100名并写入MySQL中，我们利用Python来写爬虫，将http://gaokao.xdf.cn/201702/10612921.html 中的大学排名表格爬取出来，并存入到MySQL中。

本次分享将用Java的Jsoup API...

文章

jclian91

2018-04-03

1089浏览量

面向机器学习的自然语言标注2.3 整合数据集

2.3 整合数据集

我们已经讨论整合数据集时需要考虑的一些问题：标注任务的范围、已有语料库是否含有对你有用的文档与标注信息、数据来源的多样化。

如果你计划将你的数据集公开，请确定你已经拥有对所标注信息向第三方重新发布的许可。有时可以仅发布独立的标注信息和从网站上收集数据的代码段，但最佳且最简单的...

文章

华章计算机

2017-05-02

1842浏览量

带你读《Python数据分析与数据化运营(第2版)》之二：数据化运营的数据来源

点击查看第一章点击查看第三章

第2章 数据化运营的数据来源

“巧妇难为无米之炊”，对于数据工作者来说数据便是所有工作的基础。企业的数据化运营的数据来源复杂，从数据结构类型看，包括结构化和非结构化数据；从数据来源看，既有导出的数据文件、数据库等常见来源，又有流式数据、API等复杂系统接口和外部资源；...

文章

温柔的养猫人

2019-11-08

1294浏览量

独家 | 手把手教你用Python进行Web抓取(附代码)

作为一名数据科学家，我在工作中所做的第一件事就是网络数据采集。使用代码从网站收集数据，当时对我来说是一个完全陌生的概念，但它是最合理、最容易获取的数据来源之一。经过几次尝试，网络抓取已经成为我的第二天性，也是我几乎每天使用的技能之一。

在本教程中，我将介绍一个简单的例子，说明如何抓取一个网站，我将...

文章

技术小能手

2018-11-22

2395浏览量

史上最全“大数据”学习资源整理

史上最全“大数据”学习资源整理

2016-05-17 Hadoop技术博文

当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术...

文章

云雷

2017-06-17

3574浏览量

Python爬虫：用BeautifulSoup进行NBA数据爬取

爬虫主要就是要过滤掉网页中无用的信息，抓取网页中有用的信息

一般的爬虫架构为：

在python爬虫之前先要对网页的结构知识有一定的了解，如网页的标签，网页的语言等知识，推荐去W3School： W3school链接进行了解

在进行爬虫之前还要有一些工具：

1.首先Python 的开发环境：...

文章

night李

2017-04-13

2778浏览量

一分钟了解阿里云产品：表格存储

一、

概述

阿里云产品种类繁多，今天让我们一起来瞧瞧表格存储(Table Store)吧。

什么是表格存储呢？

简单来说，表格存储是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，提供海量结构化数据的存储和实时访问。表格存储以实例和表的形式组织数据，通过...

文章

hayden822

2016-03-10

9886浏览量

数据科学工具包(万余字介绍几百种工具，经典收藏版！)

本文简介：数据科学家的常用工具与基本思路，数据分析师和数据科学家使用的工具综合概述，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址。为数据科学教育和知识分享，提高数据科学人员素质。

数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率...

文章

小旋风柴进

2017-05-02

2418浏览量

使用Scrapy抓取数据

Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

官方主页： http://www.scrapy.org/

中文文档：Scrapy 0.22 文档

GitHub...

文章

雨客

2016-04-08

6624浏览量

如何创建一个数据科学项目？

假如你想要开始一个新的数据科学项目，比如对数据集进行简单的分析，或者是一个复杂的项目。你应该如何组织你的项目流程？数据和代码要放在那里？应该使用什么工具？在对数据处理之前，需要考虑哪些方面？

数据科学是当前一个不太成熟的行业，每个人都各成一家。虽然我们可以在网上参照各种模板项目、文章、博客等创建...

文章

【方向】

2018-12-13

1183浏览量

日志服务数据加工 - DSL语言介绍

概述

日志服务领域专用语言LOG DSL (Domain Specific Language)是日志服务数据加工使用的编排语言, 一种Python兼容的脚本语言. LOG DSL基于Python提供内置200个函数简化常见数据加工模式. 也支持用户自由定义的Python扩展(目前仅针对特定客户开放...

文章

成喆

2019-07-20

3323浏览量

独家 | 手把手教你用scrapy制作一个小程序 !(附代码)

目录

**一.前言二.原理

2.1 爬取流程

2.2 各部块的解释

2.3 scrapy数据流的分析

三.理解四.实战

4.1 首先是安装scrapy

4.2 建立项目和下载pycharm以及pycharm的配置

4.3 提取标题名和作者名

4.4 scrapy流程解析

4.5 小项目...

文章

技术小能手

2017-11-08

3582浏览量

如何用sklearn创建机器学习分类器？这里有一份上手指南

本文来自AI新媒体量子位(QbitAI)

分类器是数据挖掘中对样本进行分类的方法的统称，也是入坑机器学习的一项必备技能。这篇文章中，作者简要介绍了用Python中的机器学习工具scikit-learn(sklearn)创建机器学习分类器的步骤与注意事项。

读完这篇文章，你将学到：

导入和转换...

文章

行者武松

2018-01-19

935浏览量

Oracle+Python适合 Oracle DBA 使用的 Python

传统上，当需要为操作系统编写一些脚本时，人们常常会选用 Bash 或 Perl 脚本工具。这些工具易于使用，因而它们几乎变得无处不在，渗透到了包括 Oracle Database 在内的其他软件中，Oracle Database 在很大程度上依赖它们执行各种管理任务。

但是最近，这种趋势有所转变，...

文章

rudy_gao

2014-08-02

842浏览量

手把手 | 如何用Python做自动化特征工程

机器学习越来越多地从手动设计模型转变为使用H20，TPOT和auto-sklearn等工具来自动优化的渠道。这些库以及随机搜索等方法旨在通过查找数据集的最优模型来简化模型选择和转变机器学习的部分，几乎不需要人工干预。然而，特征工程几乎完全是人工，这无疑是机器学习管道中更有价值的方面。

特征工程也称...

文章

技术小能手

2018-09-03

1569浏览量

独家 | 一文读懂网络爬虫

前言

在当前数据爆发的时代，数据分析行业势头强劲，越来越多的人涉足数据分析领域。进入领域最想要的就是获取大量的数据来为自己的分析提供支持，但是如何获取互联网中的有效信息？这就促进了“爬虫”技术的飞速发展。

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是...

文章

行者武松

2017-10-10

4565浏览量

面向机器学习的自然语言标注.

面向机器学习的自然语言标注

James Pustejovsky & Amber Stubbs 著

邱立坤 金澎 王萌 译

图书在版编目(CIP)数据

面向机器学习的自然语言标注 / (美) 詹姆斯·普斯特若夫斯基(James Pustejovsky)，安伯·斯塔布斯(Amber S...

文章

华章计算机

2017-05-02

11176浏览量

MaxCompute 最新特性介绍2019年8月版

摘要：距离上一次MaxCompute新功能的线上发布已经过去了大约一个季度的时间，而在这一段时间里，MaxCompute不断地在增加新的功能和特性，比如参数化视图、UDF支持动态参数、支持分区裁剪、生成建表DDL语句功能等功能都已经得到了广大开发者的广泛使用。那么，近期MaxCompute究竟还有...

文章

晋恒

2019-08-26

2216浏览量

将一个电子表格迁移到MySQL和Spark2.0.1上

把传统数据迁移到现代大数据平台有时是一件很令人畏惧的事，诚然，不是每个人都需要这么去做，但是有时候新的分析方法确实能让人看到数据中的惊喜，Marc Borowczak近日撰文描述了一些方法。

下为译文

PART 1

在这篇简短的指导中，笔者将会简短地回顾一种方法并且用我喜欢的数据集来演示。这不是一...

文章

大数据史记

2016-12-30

4089浏览量

Python可视化: 历年中国大学学术排行榜

1. 作品介绍

这里先放一下这个动态表是什么样的：

不知道你看完是什么感觉，至少我是挺震惊的，想看看作者是怎么做出来的，于是追到了作者的B站主页，发现了更多有意思的动态视频：

这些作品的作者是：@Jannchie见齐，他的主页：https://space.bilibili.com/185009...

文章

技术小能手

2018-10-11

1414浏览量

Python处理CSV,Excel,PDF和图片

使用Python处理CSV格式数据

CSV数据：

逗号分隔值(Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号)，其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由...

文章

技术小阿哥

2017-11-27

2367浏览量

带你读《Python 程序设计与问题求解(原书第2版)》之一：引言

计算机科学丛书点击查看第二章点击查看第三章Python 程序设计与问题求解(原书第2版)Fundamentals of Python：First Programs，Second Edition

［美］　肯尼斯· A. 兰伯特(Kenneth A. Lambert )　著刘鸣涛　孙　黎　甘　靖　...

文章

温柔的养猫人

2019-11-05

217浏览量

独家 | 关于NLP和机器学习之文本处理的你需要知道的一切(附学习资源)

作者：Kavita Ganesan

翻译：陈雨琳

校对：丁楠雅

文章来源：微信公众号 数据派THU

本文4800字，建议阅读20分钟。

本文将介绍自然语言处理和机器学习中常见的文本预处理方法。

标签：

数据处理

https://www.kdnuggets.com/tag/data-preproc...

文章

初商

2019-08-25

1631浏览量

深度学习框架太抽象？其实不外乎这五大核心组件

许多初学者觉得深度学习框架抽象，虽然调用了几个函数/方法，计算了几个数学难题，但始终不能理解这些框架的全貌。

为了更好地认识深度学习框架，也为了给一些想要自己亲手搭建深度学习框架的朋友提供一些基础性的指导，日前来自苏黎世联邦理工学院计算机科学系的硕士研究生Gokula

Krishnan

San...

文章

云栖大讲堂

2017-08-01

870浏览量