完整代码

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.htmlimport scrapyclass CompanyInfoItem(scrapy.Item):"""企业基本信息"""company_code = scrapy.Field()  # 企业代码codecompany_name = scrapy.Field()  # 企业名称company_ = scrapy.Field()  # 组织形式province_location = scrapy.Field()  # 地域if __name__ == '__main__':"""用item生成数据库"""import pandas as pdmy_item = CompanyInfoItem()df = pd.DataFrame(my_item.fields)# 连接数据库from sqlalchemy import create_enginedb_name = "test_db"  # 要保存的数据库名table_name = "my_item_table"  # 要保存的表名# engine = create_engine("mysql+pymysql://用户名:密码@127.0.0.1:3306/数据库名")engine = create_engine('mysql+pymysql://testuser:testpassword@localhost:3306/{}'.format(db_name), encoding='utf8')engine.connect()# save to databasedf.to_sql(table_name, engine, if_exists='replace', index=False)# 增加主键with engine.connect() as con:con.execute("""ALTER TABLE `{}`.`{}` \ADD COLUMN `id` INT NOT NULL AUTO_INCREMENT, \ADD PRIMARY KEY (`id`);""".format(db_name, table_name))

scrapy通过item类直接创建数据库中的数据表相关推荐

在MySql数据库中创建数据库dbjava，数据表book，字段包括bno,bname,price,count（编号、书名、单价、数量）。利用JDBC连接数据库dbjava，实现数据表的增删改查
题目 1.在MySql数据库中创建数据库dbjava,数据表book,字段包括bno,bname,price,count(编号.书名.单价.数量). 2.利用JDBC连接数据库dbjava,实现数据表 ...
mysql创建数据库及中英文数据表--插入数据
目录一.创建数据库及数据表二.插入数据三.中文数据表创建一.创建数据库及数据表 1.用create database 创建school数据库: 2.进入school数据库,创建info数据表: ...
mysql表的组成_数据库中的数据表由什么组成？
在数据库中,数据表是由表名.表中的字段和表的记录三个部分组成的.在建立表之前都必须先设计它的结构,表结构描述了一个表的框架.设计表结构实际上就是定义组成一个表的字段个数,每个字段的名称.数据类型和长度 ...
MySQL数据库中的数据表
1.创建数据表创建数据表的,使用字符串应该遵循的原则从速度方面考虑,要选择固定的列,可以使用CHAR类型要节省空间,使用动态的列,可以使用VARCHAR类型要将列中的内容限制为一种选择,可以使 ...
从数据库中取出数据表，导入并生成excel
@RequestMapping("/numericalStatement1")public void createExcel(HttpServletResponse resp) t ...
django迁移数据makemigrations不创建APP中的数据表
有一段时间没看python今天删除数据库重新建立迁移的时候 python manage.py makemigrations python manage.py migrate 发现死活不能创建app中自 ...
如何批量删除mysql的数据库_如何快速批量删除Mysql数据库中的数据表
一个mysql数据库中,是可以同时安装几个网站程序的,在使用中,我们只需要用不同的数据库表前缀来区分就可以了.但随着我们不断调试,那么数据库中的表,就会一天天的多起来,如一个一个的删除就很麻烦.很辛 ...
MySQL批量修改数据库中的数据表名称
1.一种使用存储过程解决,结果,总是如下提示 Expression #3 of SELECT list is not in GROUP BY clause and contains n 2.使用 CO ...
oracle 表导出pdm文件,如何将数据库中已有表导入到powerDesigner生成pdm文件
1.create new PDM: 2.select database menu; 3.click Reverse Engineer database : 4.then choose your sc ...

scrapy通过item类直接创建数据库中的数据表

完整代码

scrapy通过item类直接创建数据库中的数据表相关推荐

最新文章

热门文章