是否有任何好的程序来处理读取大型CSV文件？我处理的一些数据文件是1 GB范围.他们有太多的行甚至可以处理Excel.使用Access可能有点慢,因为您必须将它们实际导入数据库才能直接使用它们.是否有程序可以打开大型CSV文件并为您提供简单的电子表格布局,以帮助您轻松快速地扫描数据？
MySQL可以使用该LOAD DATA INFILE命令非常快速地将CSV文件导入到表中.它还可以使用CSV存储引擎直接从CSV文件中读取,绕过任何导入过程.
将它导入到LOAD DATA INFILE具有启动成本的本机表中,但在此之后您可以INSERT/UPDATE更快,以及索引字段.一开始使用CSV存储引擎几乎是即时的,但只有顺序扫描才会很快.
更新:本文(向下滚动到标题为Instant Data Loads的部分)讨论了使用这两种方法将CSV数据加载到MySQL上,并举例说明.
我发现reCSVeditor是一个很棒的编辑大型CSV文件的程序.它是剥离不必要列的理想选择.我很容易将它用于文件1,000,000个记录文件.
京公网安备 11010802040832号 | 京ICP备19059560号-6 