电龙网站建设苏州纳米加工平台

电龙网站建设,苏州纳米加工平台,七星迪曼网站建设,wordpress 上传文件功能第1关#xff1a;加载与保存操作编程要求打开右侧代码文件窗口#xff0c;在 Begin 至 End 区域补充代码#xff0c;完善程序。读取本地文件 file:///data/bigfiles/demo.json#xff0c;根据年龄字段 age 设置降序#xff0c;输出结果。demo.json 文件内容如下所示#…第1关加载与保存操作编程要求打开右侧代码文件窗口在 Begin 至 End 区域补充代码完善程序。读取本地文件 file:///data/bigfiles/demo.json根据年龄字段 age 设置降序输出结果。demo.json 文件内容如下所示{name: zhangsan, age: 20, sex: m},{name: lisi, age: 21, sex: m},{name: tiantian, age: 22, sex: f},{name: lihua, age: 23, sex: f},{name: zhaoliu, age: 24, sex: m},{name: liguanqing, age: 25, sex: f},{name: zhangqi, age: 26, sex: m},{name: zhaoai, age: 27, sex: m},{name: wangjiu, age: 28, sex: f}开始任务前注意先启动 Hadoop 与 Hive 环境start-all.sh、nohup hive --service metastore 测试说明平台将对你编写的代码进行评测如果与预期结果一致则通关否则测试失败。代码1import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object First_Question { def main(args: Array[String]): Unit { val spark: SparkSession SparkSession .builder() .appName(First_Question) .master(local[*]) .getOrCreate() /******************* Begin *******************/ // 1. 读取指定路径的JSON文件生成DataFrame val df: DataFrame spark.read.json(file:///data/bigfiles/demo.json) // 2. 根据age字段进行降序排序 val sortedDf df.orderBy(df.col(age).desc) // 3. 输出排序后的结果 sortedDf.show() /******************* End *******************/ spark.stop() } }祝你通过顺利~第2关Parquet 格式文件编程要求打开右侧代码文件窗口在 Begin 至 End 区域补充代码根据下列要求完善程序。读取本地文件 file:///data/bigfiles/demo.json使用 Parquet 完成分区列名为 student1保存到本地路径file:///result/下。读取本地文件 file:///data/bigfiles/demo2.json使用 Parquet 完成分区列名为 student2保存到本地路径file:///result/下。demo.json 文件内容如下所示{name: zhangsan, age: 20, sex: m},{name: lisi, age: 21, sex: m},{name: tiantian, age: 22, sex: f},{name: lihua, age: 23, sex: f},{name: zhaoliu, age: 24, sex: m},{name: liguanqing, age: 25, sex: f},{name: zhangqi, age: 26, sex: m},{name: zhaoai, age: 27, sex: m},{name: wangjiu, age: 28, sex: f}demo2.json 文件内容如下所示{name: hongkong, age: 20, sex: m},{name: kulu, age: 21, sex: m},{name: huxiaotian, age: 22, sex: f},{name: yueming, age: 23, sex: f},{name: wangsan, age: 24, sex: m},{name: zhaojiu, age: 25, sex: f},{name: wangqiqi, age: 26, sex: m},{name: wangxiantian, age: 27, sex: m},{name: zhaoba, age: 28, sex: f}开始任务前注意先启动 Hadoop 与 Hive 环境start-all.sh、nohup hive --service metastore 测试说明平台将对你编写的代码进行评测如果与预期结果一致则通关否则测试失败。代码2import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object Second_Question { def main(args: Array[String]): Unit { val spark: SparkSession SparkSession .builder() .appName(Second_Question) .master(local[*]) .getOrCreate() /******************* Begin *******************/ // 1. 读取第一个JSON文件 val df1: DataFrame spark.read.json(file:///data/bigfiles/demo.json) // 2. 将数据以Parquet格式保存到student1分区路径使用覆盖模式避免冲突 df1.write.mode(SaveMode.Overwrite).parquet(file:///result/student1) // 3. 读取第二个JSON文件 val df2: DataFrame spark.read.json(file:///data/bigfiles/demo2.json) // 4. 将数据以Parquet格式保存到student2分区路径使用覆盖模式 df2.write.mode(SaveMode.Overwrite).parquet(file:///result/student2) /******************* End *******************/ spark.stop() } }祝你通过顺利~第3关ORC 格式文件编程要求根据下列要求完善程序。创建 Orc 格式的 Hive 数据表 student添加字段idintnamestring,age(int)classstring。按顺序插入如下数据1001,王刚,19,大数据一班1002,李虹,18,大数据一班1003,张子萱,20,大数据一班1004,赵云,18,大数据一班1005,李晓玲,19,大数据一班1006,张惠,18,大数据二班1007,秦散,19,大数据二班1008,王丽,18,大数据二班1009,田忌,20,大数据二班1010,张花,18,大数据二班打开右侧代码文件窗口在 Begin 至 End 区域补充代码编写 spark sql 程序读取创建的 student 表并按字段 id 升序输出。开始任务前注意先启动 Hadoop 与 Hive 环境start-all.sh、nohup hive --service metastore 测试说明平台将对你编写的代码进行评测如果与预期结果一致则通关否则测试失败。代码3import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object Third_Question { def main(args: Array[String]): Unit { val spark: SparkSession SparkSession .builder() .appName(Third_Question) .master(local[*]) .enableHiveSupport() .getOrCreate() /******************* Begin *******************/ spark.sql(select * from student).orderBy(id).show() /******************* End *******************/ spark.stop() } }祝你通过顺利~第4关JSON 格式文件编程要求打开右侧代码文件窗口在 Begin 至 End 区域补充代码完善程序。读取本地文件 file:///data/bigfiles/test.json不改变原数据排列顺序进行输出。test.json 文件内容如下所示{id:1001,name:王刚,age:19,class:大数据一班},{id:1002,name:李虹,age:18,class:大数据一班},{id:1003,name:张子萱,age:20,class:大数据一班},{id:1004,name:赵云,age:18,class:大数据一班},{id:1005,name:李晓玲,age:19,class:大数据一班},{id:1006,name:张惠,age:18,class:大数据二班},{id:1007,name:秦散,age:19,class:大数据二班},{id:1008,name:王丽,age:18,class:大数据二班},{id:1009,name:田忌,age:20,class:大数据二班},{id:1010,name:张花,age:18,class:大数据二班}开始任务前注意先启动 Hadoop 与 Hive 环境start-all.sh、nohup hive --service metastore 测试说明平台将对你编写的代码进行评测如果与预期结果一致则通关否则测试失败。代码4import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object Forth_Question { def main(args: Array[String]): Unit { val spark: SparkSession SparkSession .builder() .appName(Forth_Question) .master(local[*]) .getOrCreate() /******************* Begin *******************/ val dataFrame:DataFrame spark.read.json(file:///data/bigfiles/test.json) dataFrame.createOrReplaceTempView(data) spark.sql(select id,name,age,class from data).orderBy(id).show() /******************* End *******************/ spark.stop() } }祝你通过顺利~第5关JDBC 操作数据库编程要求打开右侧代码文件窗口在 Begin 至 End 区域补充代码完善程序。读取本地 csv 文件 file:///data/bigfiles/job58_data.csv有表头将加载的数据以覆盖的方式保存到本地 Mysql 数据库的 work.job_data 表中数据库连接信息如下账号root密码123123端口3306注意设置 useSSLfalse。开始任务前注意先启动 Hadoop 与 Hive 环境start-all.sh、nohup hive --service metastore 测试说明平台将对你编写的代码进行评测如果与预期结果一致则通关否则测试失败。代码5import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object Fifth_Question { def main(args: Array[String]): Unit { val spark: SparkSession SparkSession .builder() .appName(Fifth_Question) .master(local[*]) .getOrCreate() /******************* Begin *******************/ val dataFrame: DataFrame spark.read .option(header, true) .csv(file:///data/bigfiles/job58_data.csv) dataFrame.write .format(jdbc) .option(url, jdbc:mysql://localhost:3306/work?useSSLfalse) .option(driver, com.mysql.jdbc.Driver) .option(user, root) .option(password, 123123) .option(dbtable, job_data) .mode(SaveMode.Overwrite) .save() /******************* End *******************/ spark.stop() } }祝你通过顺利~第6关Hive 表操作编程要求打开右侧代码文件窗口在 Begin 至 End 区域补充代码根据下列要求完善程序。在 Hive 中创建数据表 employee添加字段eidstringenamestring,age(int)partstring。插入如下数据A568952,王晓,25,财务部B256412,张天,28,人事部C125754,田笑笑,23,销售部D265412,赵云,24,研发部F256875,李姿姿,26,后勤部编写 spark sql 程序直接采用 Spark on Hive 的方式读取创建的 employee 表并按字段 eid 升序输出。开始任务前注意先启动 Hadoop 与 Hive 环境start-all.sh、nohup hive --service metastore 测试说明平台将对你编写的代码进行评测如果与预期结果一致则通关否则测试失败。代码6import org.apache.spark.sql.{DataFrame, SparkSession} object Sixth_Question { def main(args: Array[String]): Unit { /******************* Begin *******************/ //val spark: SparkSession.builder() val spark: SparkSession SparkSession.builder() .appName(Sixth_Question) .master(local[*]) .enableHiveSupport() .getOrCreate() val dataFrame : DataFrame spark.sql(select * from employee order by eid) dataFrame.show() spark.stop() /******************* End *******************/ } }祝你通过顺利~