海量数据处理实际操作方法？ 举报 理由 举报 取消 有T以上容量的数据表，excel、txt、sql、csv等数据类型的数据表，用什么工具或者数据库或者编程思想可以解决，在这些数据中提取特定字段并保存的工作 2017年8月4日 2 条回复 1032 次浏览 分析,数据,数据处理,海量
回复 ( 2 )
Python 按行读取文件 取出所需的东西 放入字典
如果是文本文件可以用grep -e 接 >，但是上T一个文件的没试过… 一般大文件都先分小段然后写个loop抓。这个如果shell不熟，python应该也可以做。
sql可以考虑先index一下增加抓取速度。
excel别想了基本不可能。