python re 筛选数据 求和_django queryset相加和筛选教程
1、集合相加
a = {1,2,3}
b = {3,4,5}
print(type(a))
print(a|b)
2、queryset 符合条件的筛序
projects = Project_models.objects.filter(user=request.user).order_by('id')
projects = projects.filter(bad_numbers__gt=0).order_by('bad_numbers')
补充知识:django中聚合aggregate和annotate GROUP BY的使用方法
接触django已经很长时间了,但是使用QuerySet查询集的方式一直比较低端,只会使用filter/Q函数/exclude等方式来查询,数据量比较小的时候还可以,但是如果数据量很大,而且查询比较复杂,那么如果还是使用多个filter进行查询效率就会很低。就趁着清明放假的时间,跑来公司干点私活。输出成这篇文档,一是加深印象,提高熟练度;二是分享出来,造福大家~
提高查询数据库效率的方案有两种:
第一种,是使用原生的SQL语句来进行查询,这样的优点在于能够完全按照开发者的意图来执行,效率会很高,但是缺点也很明显:
1.开发者需要非常熟悉SQL语句,加大开发者的工作量,同时,夹杂着SQL的项目也不利于以后程序的维护,增大程序的耦合度。
2.若查询条件是动态变化的,则会使开发变得更加困难。
django为了解决这一难题,提供了aggregate(聚合函数)和annotate(在aggregate的基础上进行GROUP BY操作)。
下面,就来介绍第二种方法。
一. aggregate的使用方法
今天在同事的指点下,仔细看了django中annotate的使用方法,会根据查询条件来动态生成SQL语句,提高组合查询的效率。
理解aggregate的关键在于理解SQL中的聚合函数:以下摘自百度百科:SQL基本函数,聚合函数对一组值执行计算,并返回单个值。除了 COUNT 以外,聚合函数都会忽略空值。 常见的聚合函数有AVG / COUNT / MAX / MIN /SUM 等。
aggregate就是在django中实现聚合函数的。先来看aggregate的使用场景:在项目中有时候你想要从数据库中取出一个汇总的集合。我们使用django官方的例子:
from django.db import models
class Author(models.Model):
name = models.CharField(max_length=100)
age = models.IntegerField()
class Publisher(models.Model):
name = models.CharField(max_length=300)
num_awards = models.IntegerField()
class Book(models.Model):
name = models.CharField(max_length=300)
pages = models.IntegerField()
price = models.DecimalField(max_digits=10, decimal_places=2)
rating = models.FloatField()
authors = models.ManyToManyField(Author)
publisher = models.ForeignKey(Publisher)
pubdate = models.DateField()
class Store(models.Model):
name = models.CharField(max_length=300)
books = models.ManyToManyField(Book)
registered_users = models.PositiveIntegerField()
如果我们使用aggregate来进行计数:
>>> from django.db.models import Count
>>> pubs = Publisher.objects.aggregate(num_books=Count('book'))
>>> pubs
{'num_books': 27}
而且aggregate不单单可以求和,还可以求平均Avg,最大最小等等。
>>> from django.db.models import Avg
>>> Book.objects.all().aggregate(Avg('price'))
{'price__avg': 34.35}
# Cost per page 输出的名字同样可以指定,比如price_per_page
>>> from django.db.models import F, FloatField, Sum
>>> Book.objects.all().aggregate(
... price_per_page=Sum(F('price')/F('pages'), output_field=FloatField()))
{'price_per_page': 0.4470664529184653}
通过上面的介绍,我们可以知道,aggregate的逻辑比较简单,应用场景比较窄,如果你想要对数据进行分组(GROUP BY)后再聚合的操作,则需要使用annotate来实现。
二. annotate的使用方法
首先,假设有这么一个models:
# python:2.7.9
# django:1.7.8
class MessageTab(models.Model):
msg_sn = models.CharField(max_lenth=20, verbose_name=u'编号')
msg_name = models.CharField(max_length=50, verbose_name=u'消息名称')
message_time = models.DateTimeField(verbose_name=u'消息出现时间')
msg_status = models.CharField(max_length=50, default='未处理', verbose_name=u'消息状态')
class Meta:
db_table = 'message_tab'
如果在开发过程中,有这么一个需求:查询各个消息状态的数量。那么我们经常会使用filter(…).count(…)来进行查询。现在我们可以使用:
msgS = MessageTab.objects.values_list('msg_status').annotate(Count('id'))
其中,id为数据库自动生成的自增字段。values_list的用法自行Google,或者print出来看一看。
此时,数据库实际执行的代码,可以通过:
print msgS.query
打印出来。可以看到:
SELECT `message_tab`.`msg_status`, COUNT(`message_tab`.`id`) AS `id__count` FROM `message_tab` GROUP BY `message_tab`.`msg_status` ORDER BY NULL
很直观明了。通过msg_status来进行group by。如果想自定义id__count,比如指定为msg_num,则可以使用:annotate(msg_num=Count(‘id'))
当存在多个查询条件时,比如查询最近7天内,message_name属于某个分组内的消息,则可以使用Q函数:
date_end = now().date() + timedelta(days=1)
date_start = date_end - timedelta(days=7)
messageTimeRange = (date_start, date_end)
GroupList = getGroupIdLis(request.user) # 返回当前用户能查询的group的一个列表。。仅做参考用
qQueryList = [Q(message_time__range=messageTimeRange), Q(message_name__in=GroupList)] # 可以有多个Q函数查询条件
msgS = MessageTab.objects.filter(reduce(operator.and_, qQueryList)).values_list('msg_status').annotate(msg_num=Count('id'))
再次调用print msgS.query可看到SQL语句:
SELECT `message_tab`.`msg_status`, COUNT(`message_tab`.`id`) AS `msg_num` FROM `message_tab` WHERE (`message_tab`.`message_time` BETWEEN 2017-03-27 00:00:00 AND 2017-04-03 00:00:00 AND `message_tab`.`message_name` IN (1785785, 78757, 285889, 2727333, 7272957, 786767)) GROUP BY
`message_tab`.`msg_status` ORDER BY NULL
是不是很完美!!
以上这篇django queryset相加和筛选教程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
python re 筛选数据 求和_django queryset相加和筛选教程相关推荐
- python 筛选重复数据和不重复数据_[Python] Pandas 对数据进行查找、替换、筛选、排序、重复值和缺失值处理...
1. 数据文件 2. 读数据 import pandas as pd data = pd.read_csv('D:\git\python\code\第5章\产品统计表.csv') print(data ...
- python多条件筛选数据filter_Python如何用filter函数筛选数据
一.filter函数简介 filter函数主要用来筛选数据,过滤掉不符合条件的元素,并返回一个迭代器对象,如果要转换为列表list或者元祖tuple,可以使用内置函数list() 或者内置函数tupl ...
- matlab筛选表格数据导出,excel表格里怎么将筛选数据导出-Excel表格在进行筛选,我如何可以导出所有筛选出来......
如何将EXCEL表格中筛选出来的数据一次性复制到另一... 使用数据透最方便下据为例: 步骤1:选择A1单元格,插入>>>数据透视表,再单击定"按钮,如下图 步骤2:勾选& ...
- python re 筛选数据 求和_python求和函数sum()详解
python求和函数 sum()详解 今天在学习的过程中,误用sum()函数,我又去查了查python sum()函数才恍然大悟. 我本来想算几个Int值相加的和,本以为很简单的事情,结果却很悲伤,例 ...
- python对excel数据求和_96、python操作excel求和
这里介绍如何用python来自动完成我们的excel工作. 本文的目的是展示一些常见的Excel任务,以及如何在python pandas中执行类似的任务.例子微不足道,但重要的是通过这个例子来循序渐 ...
- Excel中只对可见数据求和,实现完美自动筛选.
在使用EXCEL筛选功能时,有个让人非常苦恼的事情,就是筛选出来的数据没有小计,如果用常规的sum函数求和,那些被隐藏的行也被被计算进去,得到的不是小计,而是所有数据的总计. 要实现这个效果,其实非常 ...
- python对excel数据求和_python对excel文档去重及求和的实例
废话不多说,估计只有我这个菜鸟废了2个小时才搞出来,主要是我想了太多方法来实现,最后都因为这因为那的原因失败了 间接说明自己对可变与不可变类型的了解,还是不够透彻 最后就用了个笨方法解决了! #cod ...
- python中数据读写_【循序渐进学Python——文件中数据的读写以及操作】
[循序渐进学Python--文件中数据的读写以及操作] [循序渐进学Python--文件中数据的读写以及操作] [循序渐进学Python--文件中数据的读写以及操作] 相信大家都想过自己有一天,可以用 ...
- Excle中如何快速筛选数据
目录 Excle中如何快速筛选数据 一.如何进行筛选数据 第一步:选中需要筛选的整行或列 (如:鼠标放在方框B位置选中整列) 第二步:找到"开始"菜单栏中的"排序和筛选& ...
最新文章
- python 常见的元字符(\d,\w ,^ ,$ 等) 的使用
- SQL数据库学习之路(九)
- hadoop 配置项的调优
- PAT1052---------初步了解正则表达式
- 变量的定于[指针/函数指针]
- Linux平台Makefile文件的编写基础篇和GCC参数详解
- Win8 64位安装Oracle 11g时错
- 如何开启php socket,如何用php实现websocket?
- 64位ubuntu能安装mysql数据库_Ubuntu操作系统下安装MySQL数据库的方法
- vs下qt的信号与槽实现
- python的namedtuple
- python将txt文档中的内容按字母顺序进行排序,并存入txt中
- 计算机软件职称考试多媒体,多媒体应用设计师教程(第2版全国计算机技术与软件专业技术资格水平考试指定用书)...
- flv怎么转换成html5,怎么转asf格式 如何将flv格式转换成asf格式?
- TAOCP-Reading-计算机程序设计艺术阅读-1-0
- Python遇到的问题:IndentationError: expected an indented block
- JavaScript新人总结
- 用maya API删除动画曲线多余的关键帧——掐头去尾删帧
- Latex里一些特殊的数学符号
- 像素是什么,一个像素有多大,像素和分辨率的关系
热门文章
- Python3中的enumerate用法详解
- Material Design 开发利器:Android Design Support Library 介绍
- ABB变频器ACS510查看计算故障时间
- javase 正则表达式 (小白必看)
- 1、HFSS建模仿真流程(附实例)
- java10 运行“HelloWorld”错误:找不到或无法加载主类 原因: java.lang.ClassNotFoundException 的方法
- 程序员颈椎病康复指南(最新)
- wepy公共样式_wepy-shop-22
- Java学习总结-汇总
- mac下如何全量删除短信内容