MySql大批量插入数据的方法

1. 使用事务来插入：

使用拼接sql的方法，在批量插入的时候，mysql支持这种语法

insert into table values (a,b,c),(a1,b1,c1),...

这种方法在拼接字符串之后，执行sql语句都会在一个事务当中执行
查询网上的说法，每个事务中执行500或者1000左右需要提交一次事务，这样性能不会有所下降，也防止因为事务中的sql语句过多有错误回滚，没错的也插入不了,代码参考如下

  public static void MySqlExcuteBatch(List<string> sqlList, string conStr)
    {
        using (MySqlConnection conn = new MySqlConnection(conStr))
        {
            using (MySqlCommand cmd = new MySqlCommand())
            {
                cmd.Connection = conn;

                cmd.CommandType = CommandType.Text;
                if (conn.State != ConnectionState.Open)
                    conn.Open();
                MySqlTransaction tx = conn.BeginTransaction();
                cmd.Transaction = tx;
                try
                {
                    for (int n = 0; n < sqlList.Count; n++)
                    {
                        string strsql = sqlList[n].ToString();
                        if (strsql.Trim().Length > 1)
                        {
                            cmd.CommandText = strsql;
                            cmd.ExecuteNonQuery();
                        }

                        if (n > 0 && (n % 800 == 0 || n == sqlList.Count - 1))
                        {
                            tx.Commit();
                            tx = conn.BeginTransaction();
                        }
                    }
                }
                catch (Exception e)
                {
                    tx.Rollback();
                    throw new Exception(e.Message);
                }
            }
        }
    }

2.数据通过生成文件导入数据库

mysql支持把csv文件倒入到数据库，生成csv文件的时候，不需要特别生成一行头文件，每行生成的数据直接用 ',' 分隔就行，一行代表数据库的一条记录，所以生成csv文件时候，记得数据的顺序

 public static void MySqlExcuteBatch(string conStr, string filePath, string tableName)
    {
        using (MySqlConnection conn = new MySqlConnection(conStr))
        {
            conn.Open();
            MySqlBulkLoader bulk = new MySqlBulkLoader(conn)
            {
                FieldTerminator = ",",//这个地方字段间的间隔方式，为逗号
                FieldQuotationCharacter = '"',
                EscapeCharacter = '"',
                LineTerminator = "\r\n",//每行
                FileName = filePath,//文件地址
                NumberOfLinesToSkip = 0,
                TableName = tableName,
            };
            bulk.Load();
        }
    }

总结

当数据量不大的时候可以优先选择第一种方法，只不过拼接sql语句有点麻烦

当数据量大的时候优先选择第二种方法，速度比第一种方法快n倍

Tip:创建表的时候，索引要选择好，本人亲测990万条数据插入一张表，表有一个datetime类型的字段索引，第二种方法比第一种方法快4分钟左右。把索引换成string类型的字段，第二种方法耗时是原先的5倍左右。还有网上说的字段能用string类型就不要用其他类型，我测试一下，datetime类型换成string类型，反而插入速度很慢。

mysql的配置文件也可以优化一下，会大大提高插入速度。