如何使用Python访问和查询Google BigQuery数据

要使用Python查询Google BigQuery数据，需要将Python客户端连接到BigQuery实例。

将会云客户端库用于Google BigQuery API.
假设您已经设置了Python开发环境。(支持3.7-3.11版本)
要安装该库，请在命令行中运行以下命令：

pip install --upgrade google-cloud-bigquery

接下来将客户端连接到数据库。

为此需要下载一个包含BigQuery服务凭据的 JSON文件。如果没有，请按以下步骤创建一个。接下来，将此JSON文件下载到本地计算机。

打开project主界面，在actions中选择 manage keys

点击create new key 创建新的登陆密钥。

选择json即可完成。

现在已经完成了所有设置，接下来进行初始化连接。

以下Python代码用于此目的：

from google.cloud import bigquery
from google.oauth2 import service_account
credentials = service_account.Credentials.from_service_account_file('file.json')
project_id = '12345678'
client = bigquery.Client(credentials= credentials,project=project_id)

其中file.json为上一步下载好的json路径；

project_id为Google project名称。

使用Python查询BigQuery数据。

现在，BigQuery客户端已经设置好并可以使用并查询很多BigQuery数据。该查询方法将查询作业放入BigQuery队列中。然后请求将异步执行。

query_job = client.query("""SELECT * FROM `database.table` LIMIT 1000""")
results = query_job.result()
print(results)

即已完成了基本的连通和查询操作。

Google cloud Big query 官方文档：https://cloud.google.com/bigquery/docs/reference/libraries

如何使用Python访问和查询Google BigQuery数据相关推荐

Python Flask实现查询和添加数据
Python Flask实现查询和添加数据在其他的文章里,我写了 Flask 对数据库进行增删改查的方法,也写了 Flask 将数据返回给前端的方法. 这篇文章,将两者串联起来,实现从前端到数据库的 ...
使用Python访问和修改Google Sheet
参考博客: 博客1 博客2 视频1 视频2 视频3 视频4
bigquery_到Google bigquery的sql查询模板，它将您的报告提升到另一个层次
bigquery In this post, we're sharing report templates that you can build with SQL queries to Google ...
在python中将数据库查询数据进行转换为DataFrame格式
#python中将数据库查询的tuple数据转换为dataframe格式 df = pd.DataFrame(list(result)) print(df) # res 打印结果 6675 5 390 ...
用Web3.py、Infura和Graph查询以太坊数据
本文我们将使用Web3.py这个Python库直接查询以太坊数据.Web3.py是一个为与Ethereum区块链交互而建立的Python库.有了它,我们可以为去中心化的应用程序建立各种核心功能.我们可 ...
bigquery使用教程_如何使用Python和Google BigQuery构建机器人以自动执行您的笨拙任务...
bigquery使用教程 Do you have repetitive tasks? Something that you do regularly, every week or even every ...
bigquery数据类型_bigquery解释了查询您的数据
bigquery数据类型 Previously in BigQuery Explained, we reviewed BigQuery architecture, storage management ...
Google BigQuery——企业级大数据分析工具
Google本月初发布了企业级大数据分析的云服务--BigQuery为正式付费产品,这是Google迈向企业级云计算领域的关键一步.BigQuery本质上是一个云平台基础服务PaaS,旨在实时处理TB ...
python 访问 zookeeper
python 访问 zookeeper 1.安装: zookeeper python客户端依赖c客户端,所以要先安装c版本客户端 > wget -c http://apache.fayea.co ...

如何使用Python访问和查询Google BigQuery数据

如何使用Python访问和查询Google BigQuery数据相关推荐

最新文章

热门文章