项目介绍:

大数据专题-spark mysql python爬虫携程景点爬取（含虚拟机镜像）

高清视频演示:

https://www.bilibili.com/video/BV1at4y1c713/

安装视频演示:

https://www.bilibili.com/video/BV1ye4y1U7XU/

功能讲解视频演示:

https://www.bilibili.com/video/BV1uR4y1R7Gy/

系统说明:

一．问题定义解决

1.1 需要解决的问题

本次大作业报告主要解决的问题：

1. 使用spark读取csv文件数据并分析数据。
2. 使用spark将csv文件数据导入到mysql中。
3. 使用sql查找数据库数据。
4. 构建echarts框架的图表页面。
5. 使用spark将分析的json数据输出。
6. 使用eharts前端页面分析json数据进行展示。

1.2 具体所用方法及输入输出。

1. 使用spark读取csv文件数据并分析数据。

首先构建基于spark框架的环境进行开发。本次报告环境是win10系统，所以需要下载对应的环境。

（1）Windows10 本地搭建单机版Spark开发环境

1、系统环境

OS：Windows10_x64 专业版

2、所需软件或工具

• 8.0_131
• spark-2.3.0-bin-hadoop2.7.tgz
• hadoop-2.8.3.tar.gz
• scala-2.11.8.zip
• hadoop-common-2.2.0-bin-master.zip（主要使用里面的exe）
• IntelliJ IDEA（版本：1.2 Build #IU-171.4249.32,built on April 21,2017）
• scala-intellij-bin-2017.1.20.zip（IntelliJ IDEA scala插件）
• apache-maven-3.5.0

适用场景:

毕业论文、课程设计、公司项目参考

运行截图:

微信小程序商城

关注【程序代做 源码分享】公众号获取更多免费源码！！！