美文网首页
python 循环读取表格每次读入N行

python 循环读取表格每次读入N行

作者: 倪桦 | 来源:发表于2022-03-21 23:27 被阅读0次

from itertools import islice
N = 1000000 #每次读入100w行
with open( 'your_File_path','r') as f:
while True:
next_n_lines = list(islice(f,N))
if not next_n_lines: break
#print(str(next_n_lines))
#将每次读入的n行记录转换成DataFrame处理
next_n_lines="".join(next_n_lines)
TESTDATA = StringIO(next_n_lines)
df = pd.read_csv(TESTDATA, sep="\t",header=None,names=['col_1','col_2','col_Name'],dtype=str)
print(df)
time.sleep(1)

相关文章

网友评论

      本文标题:python 循环读取表格每次读入N行

      本文链接:https://www.haomeiwen.com/subject/jufwqltx.html