美文网首页Java高级架构大数据玩转大数据
[土木匠] mysql按照每天/每月等统计数据(连续不间断,当天

[土木匠] mysql按照每天/每月等统计数据(连续不间断,当天

作者: 后端老鸟 | 来源:发表于2018-01-26 20:44 被阅读425次

    【转载请注明出处】:土木匠   https://www.jianshu.com/p/a63526962139

    引言

       在统计数据的需求中很容易出现按照天来统计数据的场景,有时某一列的维度在那天并没有产生数据,但是又没有一列是可以确保每天都是有数据的,由于mysql中并没有fulljoin这样的关联方式,在这种情况下关联查询就有些费劲,解决的办法也是多种多样,毕竟条条大路通罗马嘛,其他的就不说了,这里介绍一种相对方便的方法。

    解决思路

       产生一个足够长的时间列,这个列要能够包含想要统计的所有日期。这个思路的实现很泛,可以创建一个日期的临时表,然后将想要查的日期插入,抛开创建表比较麻烦之外,一般在职能比较完善的公司,生产环境创建表或者修改数据是需要交给专门的DBA去操作的,各种流程。。。相对这个较简单的一种方式就是创建存储过程,然后产生时间列,这也是一种解决办法。
       我的思路是先定义一个时间变量并初始化,然后和某个数据足够多的表关联查询获取时间列,这个表一般选取某张要查的表即可,数据条数只要超过需要查询的条数即可,足够即可,太多就是浪费,降低查询效率。

    时间列生成举例

       比如说我要查询2018-01-10到2018-01-20每天的数据,那么就可以写成

    SELECT @cdate := DATE_ADD(@cdate, INTERVAL +1 DAY) cday
      FROM( SELECT @cdate := DATE_ADD('2018-01-10', INTERVAL -1 DAY) FROM data_t limit 15) t0
      WHERE date(@cdate) <= DATE_ADD('2018-01-20', INTERVAL -1 DAY)
    

       其中,cdate是我定义的一个时间变量,初始化的值是2018-01-09,因为在外面那部分执行之后值已经加1了,已经不是2018-01-10了;data_t是我关联产生记录的实体表,这个表只有一个要求,就是能帮我们产生足够的时间列条数,后面的limit 15是帮助我产生15条时间记录,可以换成其他条件;生成的t0其实就是15条全为2018-01-09的记录,外面的查询在每扫描一条t0的记录就会加1天,这样就会产生连续的时间列;WHERE后面是最终查询的截止条件,换成其他的也可以。
    关联其他表举例:
    查询从2018-01-10到当前日期每天的统计数据

    SELECT 
        dayTb.cday '日期' 
        ,IFNULL(tNumTb.num,0) '人数'
    FROM (
        SELECT @cdate := DATE_ADD(@cdate, INTERVAL +1 DAY) cday
            FROM( SELECT @cdate := DATE_ADD('2018-01-10', INTERVAL -1 DAY) FROM data_t limit 30) t0
            WHERE date(@cdate) < DATE_ADD(NOW(), INTERVAL -1 DAY)
    ) dayTb
    LEFT JOIN(
        SELECT date(t.create_time) cday,count( DISTINCT t.fid ) num FROM data_t t
            WHERE t.create_time >='2018-01-10'
            GROUP BY cday
    ) tNumTb ON tNumTb.cday = dayTb.cday
    
    image.png

    思维拓展

      通过上面的例子我想大部分人应该可以灵活变化了,比如查询多少天内每天的统计数据,某几个月内每月的统计数据等等,通过修改上面给的例子里面的sql完全可以做到,可以说这种思路就是个‘万能模板’,希望本文能够帮到大家。

    【转载请注明出处】:土木匠   https://www.jianshu.com/p/a63526962139

    相关文章

      网友评论

        本文标题:[土木匠] mysql按照每天/每月等统计数据(连续不间断,当天

        本文链接:https://www.haomeiwen.com/subject/pbpwaxtx.html