csv文件超过104万数据怎么办?

一、notepad++

打开文件,

按Ctrl+G定位行

然后按Ctrl+shift+home就能选择到第一行了

然后按Ctrl+shift+End就能选择到最后一行

二、python

import csv
data = []
with open("目标文件.csv", "r")as csvfile:dd = csv.reader(csvfile)for item in dd:if data.line_num==1000000:   #取前1000000行breakdata.append(item)
with open("1.csv","w",newline="") as f1:ff=csv.writer(f1)for item in data:ff.writerow(item)
import csv
data = []
with open("目标文件.csv", "r")as csvfile:dd = csv.reader(csvfile)for item in dd:if data.line_num<1000000:   #取消取前1000000行continuedata.append(item)
with open("2.csv","w",newline="") as f1:ff=csv.writer(f1)for item in data:ff.writerow(item)
import csvdata1=[]
data2=[]
with open("赣州20210504.csv", "r")as csvfile:dd = csv.reader(csvfile)for item in dd:if dd.line_num<1000000:   data1.append(item)    #取前1000000行else:data2.append(item)    #取1000000行以后的值
with open("11.csv","w",newline="") as f1:ff1=csv.writer(f1)for item in data1:ff1.writerow(item)with open("10.csv","w",newline="") as f2:ff2=csv.writer(f2)for item in data2:ff2.writerow(item)

csv文件超过104万数据怎么办相关推荐

  1. python创建csv文件并写入-Python数据写入csv格式文件

    (只是传递,基础知识也是根基) Python读取数据,并存入Excel打开的CSV格式文件内! 这里需要用到bs4,csv,codecs,os模块. 废话不多说,直接写代码!该重要的内容都已经注释了, ...

  2. pandas python csv_python:pandas合并csv文件的方法(图书数据集成)

    数据集成:将不同表的数据通过主键进行连接起来,方便对数据进行整体的分析. 两张表:ReaderInformation.csv,ReaderRentRecode.csv ReaderInformatio ...

  3. Python基础——csv文件中某列数据替换为数字

    csv文件中某列数据替换为数字 来源--机器学习读取数据 方法一:正则表达式,replace() import pandas as pd data = pd.read_csv("data2. ...

  4. php导出数据到csv文件,php导出CSV文件代码 PHP导出数据到CSV 如何排版

    如何使用PHP导出csv和excel文件你走后,再也没有一个声音能让我在人海中突然回首张望. 把Excel文件导入mysql: 打开excel文件,可用phpExcel开源的类 或者: 先把excel ...

  5. java转换CSV文件生成xml格式数据

    注册CSDN快六个月了,之前一直是看园子里的文章,或者碰到问题时,进来查点资料,今天终于决定写一篇自己在园子里的blog. 好吧,鉴于水平太菜,就只记录过程,其中原理啥的并不是很明晰,所以此blog只 ...

  6. java 数据转成xml_java转换CSV文件生成xml格式数据

    注册CSDN快六个月了,之前一直是看园子里的文章,或者碰到问题时,进来查点资料,今天终于决定写一篇自己在园子里的blog. 好吧,鉴于水平太菜,就只记录过程,其中原理啥的并不是很明晰,所以此blog只 ...

  7. python从csv提取需要的数据_使用Python从文本(CSV文件)中提取数据

    我正在帮助一个狗救助小组分析他们即将被收养的申请.所有应用程序都是通过在线系统输入的,每个应用程序都将获得一个自动生成的表单ID.然后将申请分配给不同的志愿者进行处理. 大多数信息都很简单,我可以使用 ...

  8. python如何读取百万级的csv文件-Python如何读取数据量百万级的CSV文件数据?

    是时候安利我们的开源库:Mars.Mars DataFrame 可以用来加速 pandas 执行,即使在单机.而代码几乎无需改动. 以下代码都是在我的笔记本上跑的. 任务一:只读取 CSV 文件 pa ...

  9. VBA批量导入CSV文件、批量改数据标题、批量做数据透视表

    '本代码是利用VB批量导入CSV文件,并且每个文件存为一个Sheet '前提是所有CSV文件和运行宏的这个文件在同一个文件夹 '不智能的地方是我预先知道有多少个CSV文件,然后把文件名改为1.csv, ...

  10. java csv 导入数据库_java – 如何上传CSV文件然后自动将数据插入数据库?

    我有基于 Java的Spring MVC应用程序,它也使用Spring安全性.我正在使用hibernate作为此Web应用程序的ORM工具. 以下是我的要求 – 用户可以使用Web浏览器上传CSV文件 ...

最新文章

  1. linux的权限管理以及特殊权限SUID,SGID,Sticky
  2. Sublime Text 快捷键
  3. python global将结果存储起来给另外一个文件对象使用
  4. 2015年第六届蓝桥杯C/C++ A组国赛 —— 第一题:方格填数
  5. java 去除 quot,JAVA去除web页面传入后台的特殊字符工具类 | 学步园
  6. java异常处理机制_Java的异常处理机制
  7. linux ifcfg-33 没有eth0解决方法
  8. 系统日期oracle,oracle系统函数(日期函数)
  9. linux fedora14 u盘运行,通过U盘安装Fedora-14-i686-Live-Desktop
  10. C++有序map和无序unordered_map性能测试对比
  11. ele表单验证的数字的坑
  12. 日志追踪-类加载器-自定义类加载器
  13. 计算机 分类号,中图法分类号(计算机,自动化)(CLC number (computer, automation)).doc...
  14. nvidia驱动程序下载类型怎么选?
  15. poj 1745 divisible
  16. Kafka学习笔记1
  17. python中列表概念,Python 列表的简单介绍
  18. 鸿蒙系统学习 框架概述(一)
  19. openfire smack消息回执设置,处理掉包问题
  20. 初遇初识初知接下来是什么_初识爱|《傲慢与偏见》书评

热门文章

  1. JAVA-微信网页授权
  2. 主板aspm关闭_【装机加人品】主板如何开启与关闭超线程技术?
  3. 计算机系统文件命名规则,Windows10系统怎样自定义副本文件默认命名规则
  4. mysql 经纬度 索引_转:mysql根据经纬度查找排序
  5. 野火指南者ESP8266模块学习
  6. iPhone前置排线教程
  7. MybatisPlus实现数据库加解密
  8. Cesium结合kriging.js制作降雨等值面
  9. 认证的服务号可以快速注册并认证小程序,但是有额度限制
  10. Matlab分号的使用