spark sql可以从很多数据源中读写数据, 比较常用的是json文件和可使用jdbc协议的数据库.

访问json数据

官方文档: https://spark.apache.org/docs/latest/sql-data-sources-json.html
注意: json文件的每一行必须是一个json对象

从json加载数据

Dataset<Row> people = spark.read().json("examples/src/main/resources/people.json");

或者

Dataset<Row> people = spark.read().format("json").load("examples/src/main/resources/people.json");

写入数据到json

people.write().json("examples/src/main/resources/people.json");

或者

people.write().format("json").save("examples/src/main/resources/people.json");

基于jdbc访问数据库

官方文档: https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html
示例:

//读取数据
       Dataset<Row> df = sparkSession.read()
                .format("jdbc")
                .option("url", "jdbc:mysql://192.168.1.22:3306/user?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai")
                .option("user", "root")
                .option("password", "123456")
                .option("dbtable","task_info")
                .load();
        df.show();
//写入数据, 事先创建好表
        df.write()
                .format("jdbc")
                .option("url", "jdbc:mysql://192.168.1.22:3306/user?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai")
                .option("dbtable", "task_info2")
                .option("user", "root")
                .option("password", "123456")
                .option("truncate","true")
                .mode(SaveMode.Overwrite)
                .save();

支持的选项如下: