python爬取新闻并归数据库_Python爬取数据并写入MySQL数据库操作示例
Python爬取数据并写入MySQL数据库的实例
首先我们来爬取 http://html-color-codes.info/color-names/ 的一些数据。
按 F12 或 ctrl+u 审查元素,结果如下:
结构很清晰简单,我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签,下面是爬取的代码:
#!/usr/bin/env python
# coding=utf-8
import requests
from bs4 import BeautifulSoup
import MySQLdb
print('连接到mysql服务器...')
db = MySQLdb.connect("localhost","hp","Hp12345.","TESTDB")
print('连接上了!')
cursor = db.cursor()
cursor.execute("DROP TABLE IF EXISTS COLOR")
sql = """CREATE TABLE COLOR (
Color CHAR(20) NOT NULL,
Value CHAR(10),
Style CHAR(50) )"""
cursor.execute(sql)
hdrs = {'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)'}
url = "http://html-color-codes.info/color-names/"
r = requests.get(url, headers = hdrs)
soup = BeautifulSoup(r.content.decode('gbk', 'ignore'), 'lxml')
trs = soup.find_all('tr') # 获取全部tr标签成为一个列表
for tr in trs: # 遍历列表里所有的tr标签单项
style = tr.get('style') # 获取每个tr标签里的属性style
tds = tr.find_all('td') # 将每个tr标签下的td标签获取为列表
td = [x for x in tds] # 获取的列表
name = td[1].text.strip() # 直接从列表里取值
hex = td[2].text.strip()
# print u'颜色: ' + name + u'颜色值: '+ hex + u'背景色样式: ' + style
# print 'color: ' + name + '\tvalue: '+ hex + '\tstyle: ' + style
insert_color = ("INSERT INTO COLOR(Color,Value,Style)" "VALUES(%s,%s,%s)")
data_color = (name, hex, style)
cursor.execute(insert_color, data_color)
db.commit()
# print '******完成此条插入!'
print '爬取数据并插入mysql数据库完成...'
运行结果:
$ mysql -u hp -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 28
Server version: 5.7.17 MySQL Community Server (GPL)
Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> use TESTDB
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> select * from COLOR;
+----------------------+--------+----------------------------------------+
| Color | Value | Style |
+----------------------+--------+----------------------------------------+
| IndianRed | CD5C5C | background-color:indianred; |
| LightCoral | F08080 | background-color:lightcoral; |
| Salmon | FA8072 | background-color:salmon; |
| DarkSalmon | E9967A | background-color:darksalmon; |
| LightSalmon | FFA07A | background-color:lightsalmon; |
| Crimson | DC143C | background-color:crimson; |
| Red | FF0000 | background-color:red; |
| FireBrick | B22222 | background-color:fireBrick; |
| DarkRed | 8B0000 | background-color:darkred; |
| Pink | FFC0CB | background-color:pink; |
| LightPink | FFB6C1 | background-color:lightpink; |
| HotPink | FF69B4 | background-color:hotpink; |
| DeepPink | FF1493 | background-color:deeppink; |
...
| AntiqueWhite | FAEBD7 | background-color:antiquewhite; |
| Linen | FAF0E6 | background-color:linen; |
| LavenderBlush | FFF0F5 | background-color:lavenderblush; |
| MistyRose | FFE4E1 | background-color:mistyrose; |
| Gainsboro | DCDCDC | background-color:gainsboro; |
| LightGrey | D3D3D3 | background-color:lightgrey; |
| Silver | C0C0C0 | background-color:silver; |
| DarkGray | A9A9A9 | background-color:darkgray; |
| Gray | 808080 | background-color:gray; |
| DimGray | 696969 | background-color:dimgray; |
| LightSlateGray | 778899 | background-color:lightslategray; |
| SlateGray | 708090 | background-color:slategray; |
| DarkSlateGray | 2F4F4F | background-color:darkslategray; |
| Black | 000000 | background-color:black; |
+----------------------+--------+----------------------------------------+
143 rows in set (0.00 sec)
以上这篇Python爬取数据并写入MySQL数据库的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。
以上就是本次给大家分享的关于java的全部知识点内容总结,大家还可以在下方相关文章里找到相关文章进一步学习,感谢大家的阅读和支持。
python爬取新闻并归数据库_Python爬取数据并写入MySQL数据库操作示例相关推荐
- python读取excel写入数据库_python读取Excel内容并写入MySQL数据库脚本
准备Excel(test.xlsx) 导库 import pymysql import xlrd 完整代码 import pymysql import xlrd def connect_databas ...
- python爬取新闻存入数据库_Python爬取数据并写入MySQL数据库的实例
按 F12 或 ctrl+u 审查元素,结果如下: 结构很清晰简单,我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签,下面是爬取的代码: #!/usr/bin/env p ...
- python爬取mysql数据_Python爬取数据并写入MySQL数据库的实例
Python爬取数据并写入MySQL数据库的实例 来源:中文源码网 浏览: 次 日期:2018年9月2日 [下载文档: Python爬取数据并写入MySQL数据库的实例.txt ] (友 ...
- python解析json文件写入数据库_Python3实现将本地JSON大数据文件写入MySQL数据库的方法...
本文实例讲述了Python3实现将本地JSON大数据文件写入MySQL数据库的方法.分享给大家供大家参考,具体如下: 最近导师给了一个yelp上的评论数据,数据量达到3.55个G,如果进行分析时直接使 ...
- 猫眼电影票房爬取到MySQL中_猫眼电影爬取(一):requests+正则,并将数据存储到mysql数据库...
前面讲了如何通过pymysql操作数据库,这次写一个爬虫来提取信息,并将数据存储到mysql数据库 1.爬取目标 爬取猫眼电影TOP100榜单 要提取的信息包括:电影排名.电影名称.上映时间.分数 2 ...
- 爬取数据并写入MySQL数据库
1.爬取思路总结概述: a.请求网页,获取json数据:request函数 b.使正则re 模块,提取出 { {--} }信息所在部分的字典 :re.search() c.为了防止连续请求中出现,IP ...
- 用python将word文档导入数据库_python读取word文档,插入mysql数据库的示例代码
表格内容如下: 1.实现批量导入word文档,取文档标题中的数字作为编号 2.除取上面打钩的内容需要匹配出来入库入库,其他内容全部直接入库mysql # wuyanfeng # -*- coding: ...
- excel查询mysql数据库表,excel创建数据表/查询mysql数据库中所有表名
excel两个表格,数据库表与专门查询该数据库信息的表.在查询表中以多个项目进行查询符合条件的数据. 可以用"筛选"这个功能,在菜单里,对两个列进行筛选,符合条件的就会显示出来.很 ...
- mysql数据库减肥_给数据减肥让MySQL数据库跑的更快
摘要:如果在比较小的列上设置索引的话,其索引所占用的资源也会比较少.那么数据库管理员该如何给自己的数据减肥呢?对此笔者有如下几个建议. 在数据库优化工作中,使数据尽可能的小,使表在硬盘上占据的空间尽可 ...
最新文章
- matlab固定床反应器,合成气完全甲烷化固定床反应器数值模拟
- ASP.NET 数据绑定控件(转)
- 2017-06-09 问题
- lombok 的bug?lombok 导致 springmvc 使用 @RequestBody注解 接收 json数据 对象参数绑定失败
- 深度学习及AR在移动端打车场景下的应用
- sqoop从mysql导入hdfs_sqoop 从mysql导入数据到hdfs、hive
- selenium模拟登陆时截取验证码
- 菜鸟教程 php mysql_PHP MySQL 读取数据 | 菜鸟教程
- [转]VUE优秀UI组件库合集
- 【杂文】Vue 杂文
- putty远程登录linux无ssh,收集的linux远程ssh连接putty失败解决办法!
- zookeeper 客户端 zkCli.sh 的使用 查看节点
- OTT网络电视直播APP运营平台-如何保证视频的流畅性
- 【Android容器组件—AdapterView】
- ENVI纹理特征提取
- 彩虹表MD5破解分析
- 安卓实现浏览器app
- 说说C/C++编译的那些事儿
- 电影版本名词解析(CAM,TS,TC,DVDSCR,DVDRIP,HR-HDTV)更新版
- UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x9a in position 174: illegal multibyte sequence
热门文章
- 样条+样条函数+样条分析+spline+样条插值+样条回归
- 惠普计算机电源怎么设置充电,惠普电脑怎么用外接电源时不用电池怎样设置的...
- oracle 表空间初始分配,在Oracle中创建用户时,若未提及DEFAULT TABLESPACE关键字,则Oracle就将哪个表空间分配给用户作为默认表空间。...
- Python之MySQL数据库增删改查操作
- Linux查看dmesg日志,Linux中的Printk与dmesg功能
- OpenCV-Python:实现人脸、人眼、嘴巴识别
- 十五、插入排序算法(两种方式)
- 【建站系列教程】2.2、fiddler手机抓包教程
- java四种xml_Java中四种XML解析技术
- python 函数调用列表,函数调用列表的Python oneliner