- 资源介绍
- 更新记录
- 安装教程
项目介绍:
大数据专题-spark mysql python爬虫携程景点爬取(含虚拟机镜像)
高清视频演示:
https://www.bilibili.com/video/BV1at4y1c713/
安装视频演示:
https://www.bilibili.com/video/BV1ye4y1U7XU/
功能讲解视频演示:
https://www.bilibili.com/video/BV1uR4y1R7Gy/
系统说明:
一.问题定义解决
1.1 需要解决的问题
本次大作业报告主要解决的问题:
- 使用spark读取csv文件数据并分析数据。
- 使用spark将csv文件数据导入到mysql中。
- 使用sql查找数据库数据。
- 构建echarts框架的图表页面。
- 使用spark将分析的json数据输出。
- 使用eharts前端页面分析json数据进行展示。
1.2 具体所用方法及输入输出。
- 使用spark读取csv文件数据并分析数据。
首先构建基于spark框架的环境进行开发。本次报告环境是win10系统,所以需要下载对应的环境。
(1)Windows10 本地搭建单机版Spark开发环境
1、系统环境
OS:Windows10_x64 专业版
2、所需软件或工具
- 8.0_131
- spark-2.3.0-bin-hadoop2.7.tgz
- hadoop-2.8.3.tar.gz
- scala-2.11.8.zip
- hadoop-common-2.2.0-bin-master.zip(主要使用里面的exe)
- IntelliJ IDEA(版本:1.2 Build #IU-171.4249.32,built on April 21,2017)
- scala-intellij-bin-2017.1.20.zip(IntelliJ IDEA scala插件)
- apache-maven-3.5.0
适用场景:
运行截图:

微信小程序商城

关注【程序代做 源码分享】公众号获取更多免费源码!!!

猜你喜欢
-
人员跌倒检测系统的设计与实现(Yolov Python38 深度学习)第五稿+ppt+目前进度+开题报告+问题回答+预答辩ppt+安装视频+相关问题及解答+运行步骤
2024-10-14 -
医学图像压缩感知matlab
2021-05-10 -
python识别4位数字验证码(单个数字提取识别)
2021-05-12 -
python文本加密(基于应用的文本隐藏程序设计的研究)源码+论文
2021-05-20 -
python+小程序大学生兼职 微信小程序
2021-07-22 -
密码保护:基于Spring boot的“安全购”游戏账号交易平台的设计与实现+第五稿+中期检查表+ppt+开题+任务书+功能实现+查重报告+安装视频+讲解视频(已降重)
2023-06-03 -
python飞机航班查询系统 sqlite源码+报告
2021-05-18 -
python基于django企业内部绩效管理系统源码
2021-05-16 -
springboot vue仓储物流管理系统
2023-01-03 -
python sqlite知网爬虫源码+论文(原订做1.2k)
2021-05-23
-
基于深度学习的文本信息提取方法研究(pytorch python textcnn框架)+第七稿+创新点+问题及解答+ppt+指导工作记录本+文献翻译+工作日志+开题报告及评审表+任务书
2024-11-19 -
python web Django京东华为手机商品信息采集爬虫与数据分析
2022-10-12 -
房地产 Django Web 应用程序
2021-08-05 -
大数据专题-spark mysql python爬虫携程景点爬取(含虚拟机镜像)
2022-10-10 -
Python+Vue.js echarts智联招聘爬虫招聘过滤推荐系统源码 招聘大数据 招聘数据分析 10w数据量
2024-01-30 -
基于大数据的电子产品需求数据分析系统的设计与实现(Python Vue Flask Mysql)+第二稿+开题+任务书+选题申请表+指导记录+中期检查表+周进展+创新点+答辩相关问题解答+安装视频
2024-09-22 -
java约苗秒杀,老版本仅供参考使用
2021-05-10 -
python坦克大战
2021-05-29 -
欢乐堡游乐园信息管理系统的设计与实现(Django Python MySQL)+第二稿+开题报告
2024-12-19 -
python离线识别4位字母验证码并登录源码
2021-05-11
猜你在找
99源码网 » 大数据专题-spark mysql python爬虫携程景点爬取(含虚拟机镜像)
常见问题FAQ
- 免费下载或者VIP会员专享资源能否直接商用?
- 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
- 提示下载完但解压或打开不了?
- 找不到素材资源介绍文章里的示例图片?
- 99源码网
- 2022-10-10Hi,初次和大家见面了,请多关照!