python语言arrows用法_如何在Python中使用pyarrow读取parquet文件

我已经从数据库中创建了一个具有三列(id、author、title)的parquet文件，并希望使用条件(title='learnpython')读取拼花板文件。

下面提到的是我用于这个POC的python代码。在import pyarrow as pa

import pyarrow.parquet as pq

import pandas as pd

import pyodbc

def write_to_parquet(df, out_path, compression='SNAPPY'):

arrow_table = pa.Table.from_pandas(df)

if compression == 'UNCOMPRESSED':

compression = None

pq.write_table(arrow_table, out_path, use_dictionary=False,

compression=compression)

def read_pyarrow(path, nthreads=1):

return pq.read_table(path, nthreads=nthreads).to_pandas()

path = './test.parquet'

sql = "SELECT * FROM [dbo].[Book] (NOLOCK)"

conn = pyodbc.connect(r'Driver={SQL

Server};Server=.;Database=APP_BBG_RECN;Trusted_Connection=yes;')

df = pd.io.sql.read_sql(sql, conn)

write_to_parquet(df, path)

df1 = read_pyarrow(path)

如何将条件(title='learnpython')放入read_pyarrow方法中？在

python语言arrows用法_如何在Python中使用pyarrow读取parquet文件相关推荐

python语言format用法_详解Python中的format格式化函数的使用方法
format函数实现字符串格式化的功能基本语法为: 通过 : 和 {} 来控制字符串的操作一.对字符串进行操作 1. 不设置指定位置,按默认顺序插入 ①当参数个数等于{}个数的时候 str_1 = ...
python语言打小数点_如何在python中打小数点-问答-阿里云开发者社区-阿里云
python提供了三种浮点值:内置的float与complex类型,以及标准库的decimal.Decimal类型. float类型存放双精度的浮点数,具体取值范围依赖于构建python的c编译器,由 ...
python raw input用法_如何在 python raw_input 中使用 tab 键补全？
http://stackoverflow.com/ques... 这段代码写得不错,如果要补全第二个参数要自己写 complete 函数类似于下面的代码. def complete_cd(self, ...
python列表元素求和_如何在python语言使用不同方法实现列表元素求和
在使用python语言列表时,如果列表中的元素都是数值类型,可以对元素进行求和.下面利用不同的方法实现列表元素求和: 工具/原料 python pycharm 截图工具方法/步骤 1 第一步,在已创 ...
python语言基础实验_实验二Python语言基础函数包练习.doc
实验二Python语言基础函数包练习实验 Python语言基础函数包练习:1208 学号: 实验目的 1.Python语言包,如math.NumPySciPy和Matplotlib等函数包的使用实验 ...
mysql数据库存歌_如何在mysql中存储音乐和图片文件
标签: 如何在mysql中存储音乐和图片文件? 果你想把二进制的数据,比如说图片文件和HTML文件,直接保存在你的MySQL数据库,那么这篇文章就是为你而写的! 我将告诉你怎样通过HTML表单来储存这 ...
python判断字符串相等_如何在python语言中判断两个变量或字符串相等
在python语言中,判断两个变量是否相等或一致,除了使用==之外,还是可以使用is来判断.is和==作用是一致的,但是还有个判断不一致,就是使用is not.下面利用几个实例说明==和is的区别,操 ...
python中case的用法_如何在Python中使用TestCase实现一个断言功能
如何在Python中使用TestCase实现一个断言功能?相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题. Python TestCase断 ...
python中translate的用法_如何在python中利用translate模块实现一个翻译功能
如何在python中利用translate模块实现一个翻译功能发布时间:2020-12-18 14:16:00 来源:亿速云阅读:86 这期内容当中小编将会给大家带来有关如何在python中利用t ...

python语言arrows用法_如何在Python中使用pyarrow读取parquet文件

python语言arrows用法_如何在Python中使用pyarrow读取parquet文件相关推荐

最新文章

热门文章