2
|
GMT_FORMAT = '%M %H %d %m %w'
|
3
|
datetime.datetime.utcnow().strftime(GMT_FORMAT)
|
2
|
#minute hour day month dayofweek
|
4
|
CORN_FORMAT = '%M %H %d %m %w'
|
5
|
datetime.datetime.utcnow().strftime(CORN_FORMAT)
|
操作系统:fedora 开发语言:python 爬虫框架:scrapy 数据库:mysql 数据库连接模块:mysqldb 将网页生成时间和网页抓取的当前时间输入到数据库中。 在执行代码时,出现Warning: Out of range value for column ‘f_grap_time’ at row 1这样的错误。直接翻译是,数据位数超过字段能存的最大长度。
问题原因:
事实上是数据格式的问题。上传时数据直接调用了网页http头的Date和time函数返回的时间。但是数据库要求是datetime格式。 抓下的网页的 response.headers[“Date”]保存了网页的生成时间,读取出来其实就是字符串。格式类似这样“Wed, 04 Jun 2014 13:06:02 GMT’。 使用time函数得出的时间是一个浮点数,类似“1401887801.07” 数据库要求的输入格式是datetime格式,可以是11位的10进制数字,或者“2014-06-04 13:06:02“形式的字符串。
解决方法:
1
|
//使用strftime和strptime函数,有点类似c语言的printf和scanf形式。
|
2
|
//strftime函数可以把datetime格式转换成指定格式的字符串。
|
3
|
//strptime函数则是反过来,把字符串转换成datetime格式。
|
1
|
#首先对于网页时间格式转换成datetime。strftime函数用法后面讲。
|
2
|
GMT_FORMAT = '%a, %d %b %Y %H:%M:%S GMT'
|
4
|
TIME = 'Wed, 04 Jun 2014 13:06:02 GMT'
|
6
|
datetime.datetime.strptime(TIME, GMT_FORMAT)
|
1
|
#当前时间可以直接使用datetime不需要time包
|
2
|
datetime.datetime.now()
|
PS:
3
|
GMT_FORMAT = '%a, %d %b %Y %H:%M:%S GMT'
|
4
|
datetime.datetime.utcnow().strftime(GMT_FORMAT)
|
python的时间格式化输出对照表:
说明
|
符号
|
星期几的简写 Weekday name, abbr.
|
%a
|
星期几的全称 Weekday name, full
|
%A
|
月份的简写 Month name, abbr.
|
%b
|
月份的全称 Month name, full
|
%B
|
标准的日期的时间串 Complete date and time representation
|
%c
|
十进制表示的每月的第几天 Day of the month
|
%d
|
24小时制的小时 Hour (24-hour clock)
|
%H
|
12小时制的小时 Hour (12-hour clock)
|
%I
|
十进制表示的每年的第几天 Day of the year
|
%j
|
十进制表示的月份 Month number
|
%m
|
十时制表示的分钟数 Minute number
|
%M
|
十进制的秒数 Second number
|
%S
|
第年的第几周,把星期日做为第一天(值从0到53)Week number (Sunday first weekday)
|
%U
|
十进制表示的星期几(值从0到6,星期天为0)weekday number
|
%w
|
每年的第几周,把星期一做为第一天(值从0到53) Week number (Monday first weekday)
|
%W
|
标准的日期串 Complete date representation (e.g. 13/01/08)
|
%x
|
标准的时间串 Complete time representation (e.g. 17:02:10)
|
%X
|
不带世纪的十进制年份(值从0到99)Year number within century
|
%y
|
带世纪部分的十制年份 Year number
|
%Y
|
时区名称,如果不能得到时区名称则返回空字符。Name of time zone
|
%z,%Z
|
百分号
|
%%
|
转载请注明:旅途@KryptosX » scrapy笔记——python的时间转换
scrapy笔记——python的时间转换相关推荐
- 关于 python datetime 时间转换差6分钟
背景 如图所示,使用replace将无时区时间转换成有时区时间,会相差6分钟 原因 使用pytz设置时区,得到是LMT对象,即本地平均时区,不是标准的东八区 解决办法 第一张图里面已经显示.用tz.l ...
- python的时间转换datetime和pd.to_datetime
我们在python对数据进行操作时,经常会选取某一时间段的数据进行分析.这里为大家介绍两个我经常用到的用来选取某一时间段数据的函数:datetime( )和pd.to_datetime( ). ...
- python中时间转换错误:时间戳转换|带有时区的转换 如何解析ISO 8601格式的日期? 2018-06-25T20:59:31.757+08:00
有个JAVA接口 返回的一个时间为2018-06-25T20:59:31.757+08:00 查询了一下 他是一个ISO 8601格式 想要的结果是 2018-06-25 20:59:31 于是乎找了 ...
- python 实现时间转换 秒单位转换为时分秒表示
代码: """ @author: zhangjun.xue @time: 2020/5/25 17:46 @file: str_of_num.py @desc: pyth ...
- python UTC时间转换成北京时间
UTC时间转成北京时间: 例如:2020-04-26T03:02:01Z 转成 2020-04-26 11:02:01 时差问题:UTC+8=北京时间 from datetime import dat ...
- php 当前时间转换,php时间转换
UNIX时间戳和格式化日期是我们常打交道的两个时间表示形式,Unix时间戳存储.处理方便,但是不直观,格式化日期直观,但是处理起来不如Unix时间戳那么自如,所以有的时候需要互相转换,下面给出互相转换 ...
- python utc 时间
python中,我们使用datetime处理日期.时间相关. 获取当前时间,主要有两个方法: datetime.now datetime.now():读取的时间是系统的本地时间,也就是说,如果系统时区 ...
- Python笔记:日期时间获取与转换
世界时(Universal Time, UT)是根据地球自转周期确定的时间,1s为全年内每日平均长度的1/86400,由于地球绕太阳公转的轨道不是圆的,地球与太阳之间的距离不是固定的,导致太阳相对绕地 ...
- 《Python Cookbook 3rd》笔记(3.12):基本的日期与时间转换
基本的日期与时间转换 问题 你需要执行简单的时间转换,比如天到秒,小时到分钟等的转换. 解法 为了执行不同时间单位的转换和计算,请使用 datetime 模块.比如,为了表示一个时间段,可以创建一个 ...
最新文章
- (C++)数组作为函数参数
- class path resource [beans.xml] cannot be opened because it does not exist
- std::shuffle-c++
- 11种你需要了解的物联网(IoT)协议
- 正则替换让一部分内容保持不变
- Servlet其实是单例多线程
- 前端学习(2558):单文件组件
- android ripple 大小,Android L限制Ripple水波纹范围大小
- mysql主从分离一致性_数据库主从数据一致性的几种解决方案
- html border 边距,css中border-sizing属性的用法
- axios请求跨域前端解决_Vue-创建axios实例并实现跨域请求(完整过程-前端)
- mysql 还原 批量ibd_MySQL只有.frm和.ibd文件如何批量恢复InnoDB表-爱可生
- 电赛日志——2016年TI杯大学生电子设计竞赛 A题:降压型直流开关稳压电源
- idea dubug时查看某个常量报 no such static field “xxx”
- 包的变量作用域测试说明
- 郑州java工程师待遇怎么样_Java工程师工资待遇怎么样?
- 岌岌可危?大数据营销与数据泄露相伴而行
- cocos2d-x游戏开发屏幕横竖屏切换
- 在计算机中 IDF MDF是什么意思?
- Java5分钟制作海报
热门文章
- 错误: 找不到android.support.v7.app.AppCompatActivity的类文件
- vue2.0无限滚动加载数据插件
- 剖析nodejs的事件循环
- 仿QQ6 0侧滑之ViewDragHelper的使用(一)
- 全方位讲解硬件防火墙的选择
- Duo js 一个非常酷的前端打包工具
- 苹果手机怎么设置时间24小时制_8款手机电池测试,iPhone 12 5G让人意外
- bat、sh等批处理文件(脚本文件)
- 3、顺序表、内存、类型、python中的list
- Effective C++ 条款05