美文网首页PowerQuery
【试验】用PowerQuery处理SQL数据库的2000万行数据

【试验】用PowerQuery处理SQL数据库的2000万行数据

作者: PowerQuery | 来源:发表于2016-10-29 13:39 被阅读303次

最近无意中得到一个有2000万行记录的数据,我将其折腾到SQL Server中,然后用PowerQuery来分析。

首先,将所有列导入PowerQuery来处理,是不现实的:建立步骤都OK,但是步骤运行失败——提示内存不足,进而计算机黑屏,按任何按键都没用,只能重启。我是Q2760的CPU和16G的内存。单单启动SQL Server就占去了差不多7G内存。

其次,尝试在PowerQuery建立数据源的时候,就用SQL查询语句提取出两列,然后对这两列进行分组计数,结果还是提示内存不足,计算机无响应黑屏,只能重启。

尝试在SQL Server 中选取两列并截取其中包含日期和时间的列,运算失败,提示内存不足。

尝试在SQL Server中提取出小时并对记录按原始的时间列分组,得到700多万行数据。(目前我正在自学SQL Server,尝试用提取出来的小时分组时报错,不知原因;只好用原始的时间列分组)。将查询结果导出为csv文件(还不会将查询结果添加到SQL Server中的新表),用PowerQuery分析这700多万行数据,得出24小时内每个小时区间的记录数,成功。

相关文章

  • 【试验】用PowerQuery处理SQL数据库的2000万行数据

    最近无意中得到一个有2000万行记录的数据,我将其折腾到SQL Server中,然后用PowerQuery来分析。...

  • Linux 《CentOS 7.2》之 Laravel 5.7

    > 前序:遇到一个非常老的 sql server 2000 数据库,做数据转移。就想直接用 laravel 调用。...

  • SQL的基本操作

    SQL是用于访问和处理数据库的标准的计算机语言,让您可以访问和处理数据库。 SQL能做什么? SQL面向数据库执行...

  • Sqlite数据库

    SQL 是用于访问和处理数据库的标准的计算机语言 SQL 能做什么? SQL 面向数据库执行查询SQL 可从数据库...

  • 【数据库】数据库入门(十): 查询优化(Query Optimi

    查询处理 用户提交 SQL 查询请求给数据库管理系统 数据库管理系统处理和执行 SQL 请求,从数据库中获取相应数...

  • SQL简介

    SQL是用于访问和处理数据库的标准的计算机语言 使用SQL访问和处理数据系统中的数据,这类数据库包括:MySQl ...

  • Java必会技能之SQL篇

    SQL 是用于访问和处理数据库的标准的计算机语言,使用 SQL 访问和处理数据系统中的数据,这类数据库包括:Ora...

  • SQL基础

    SQL简介 SQL 是用于访问和处理数据库的标准的计算机语言。 使用 SQL 访问和处理数据系统中的数据,这类数据...

  • 【1】SQL基础——初识

    1.SQL 与 数据库系统之间的关系: SQL是用于访问和处理数据库的标准的计算机语言 SQL可以与数据库系统协同...

  • 【笔记】《Python语言以及应用》- 文件和数据库操作

    一、Python操作关系型数据库 1. SQL SQL语句有两种类型: DDL(数据定义语言)处理用户、数据库以及...

网友评论

  • 袁雷:直接连接powerpivot呢?
    袁雷:@PowerQuery 明白了
    PowerQuery:@袁雷 我是想用PowerQuery来做这么大体量数据的数据清洗工作。主贴表达不清楚——用了“分析”这个词。之前用excel版的2000w数据通过PowerQuery添加到PowerPivot,是成功的。发现数据太乱于是想试试看用PowerQuery来清洗整理。

本文标题:【试验】用PowerQuery处理SQL数据库的2000万行数据

本文链接:https://www.haomeiwen.com/subject/encyuttx.html