美文网首页
(转载)菜鸟mysql四分钟导入千万级别的数据

(转载)菜鸟mysql四分钟导入千万级别的数据

作者: Sam_6155 | 来源:发表于2019-11-05 15:22 被阅读0次

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
    本文链接:https://blog.csdn.net/qq_40298902/article/details/89336086
    ————————————————
    版权声明:本文为CSDN博主「最强菜鸟」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/qq_40298902/article/details/89336086

    最近在分析数据时,遇到1000万条csv数据,于是便想着将其导入MySQL进行分析,由于本人比较笨,折腾了一晚上还没搞定,总是遇到各种各样的错误,终于在今天成功导入了这1000万条数据,在此跟大家分享一下:

    一、工具

    MySQL-8.0.15
    notepad++.7.4.2
    二、过程.

    首先先建好相应的数据库和表
    具体过程大家可以自己根据自己数据实际情况建库和表,重点各字段名只能全部为文本类型(char,varchar等)
    注:这里有个细节要跟大家说一下,数据库和表的名字不能有“-”等符号,但下划线可以,不然后面会出错(后面有图)

    之后就是数据的处理
    由于数据量过大,用exce只能打开部分数据,所以这里要用 notpad ++打开,然后将数据转化为utf-8编码

    打开MySQL目录下的my.ini文件,在里面添加,secure_file_priv=‘文件导入的数据源’;以后要导入的数据源都要放在这个目录下才可以导入,如:secure_file_priv='D:/'

    1. 数据导入
      切换到相应的数据库下面:use 数据库名;
      (仅供个人留存学习使用)

    相关文章

      网友评论

          本文标题:(转载)菜鸟mysql四分钟导入千万级别的数据

          本文链接:https://www.haomeiwen.com/subject/nqtebctx.html