- 资源介绍
- 更新记录
- 安装教程
项目介绍:
大数据专题-spark mysql python爬虫携程景点爬取(含虚拟机镜像)
高清视频演示:
https://www.bilibili.com/video/BV1at4y1c713/
安装视频演示:
https://www.bilibili.com/video/BV1ye4y1U7XU/
功能讲解视频演示:
https://www.bilibili.com/video/BV1uR4y1R7Gy/
系统说明:
一.问题定义解决
1.1 需要解决的问题
本次大作业报告主要解决的问题:
- 使用spark读取csv文件数据并分析数据。
- 使用spark将csv文件数据导入到mysql中。
- 使用sql查找数据库数据。
- 构建echarts框架的图表页面。
- 使用spark将分析的json数据输出。
- 使用eharts前端页面分析json数据进行展示。
1.2 具体所用方法及输入输出。
- 使用spark读取csv文件数据并分析数据。
首先构建基于spark框架的环境进行开发。本次报告环境是win10系统,所以需要下载对应的环境。
(1)Windows10 本地搭建单机版Spark开发环境
1、系统环境
OS:Windows10_x64 专业版
2、所需软件或工具
- 8.0_131
- spark-2.3.0-bin-hadoop2.7.tgz
- hadoop-2.8.3.tar.gz
- scala-2.11.8.zip
- hadoop-common-2.2.0-bin-master.zip(主要使用里面的exe)
- IntelliJ IDEA(版本:1.2 Build #IU-171.4249.32,built on April 21,2017)
- scala-intellij-bin-2017.1.20.zip(IntelliJ IDEA scala插件)
- apache-maven-3.5.0
适用场景:
运行截图:
微信小程序商城
关注【程序代做 源码分享】公众号获取更多免费源码!!!
猜你喜欢
-
python离线CNN车牌识别源码+演讲稿
2021-05-11 -
(智联爬虫、推荐算法)基于文本挖掘的IT类人才招聘画像数据可视化分析系统的设计与实现(python mysql flask vue)+第一稿+开题+任务书+选题申请表+指导记录+中期检查表+周进展+创新点+答辩相关问题解答+查重报告+安装视频(12w数据)
2024-09-20 -
python flask mysql学校管理系统源码
2021-07-02 -
Python vue在线考试系统-大学毕业设计-基于Django+Django -Rest-Framework+vue(保远程安装配置)
2021-07-16 -
springboot vue仓储物流管理系统
2023-01-03 -
java约苗秒杀,老版本仅供参考使用
2021-05-10 -
基于Python学生成绩管理系统设计与实现+论文第五版+开题报告+ppt+任务书+修改的问题文档+安装视频+代码讲解视频(已降重,包安装)
2022-07-07 -
python热点wifi自动认证用于公司打卡源码+开发心路历程demo(精品)原价2500(文件较大)
2021-05-11 -
前端找找地图实现百度地图人数定位(电影软件道具开发)
2022-10-09 -
基于python+MySQL数据库的图书管理系统设计与实现源码+论文
2021-05-20
-
Python Django连锁炸鸡店管理系统的设计与实现+第一稿+中期检查表+ppt+开题+任务书+申请表+文献综述+查重报告+安装视频+讲解视频(已降重)
2023-05-30 -
Python Django纪念馆线上平台的设计与实现+第二稿+中期检查表+ppt+开题+任务书+申请表+文献综述+查重报告+安装视频+讲解视频(已降重)
2023-05-30 -
房地产 Django Web 应用程序
2021-08-05 -
(免费资源,运行不了,作参考)基于Python flask构建微信小程序订餐系统设计与实现毕业论文+项目前后台源码
2022-06-02 -
python基于django企业内部绩效管理系统源码
2021-05-16 -
python识别4位数字验证码(单个数字提取识别)
2021-05-12 -
webgl室内3d场景
2021-05-10 -
python文本加密(基于应用的文本隐藏程序设计的研究)源码+论文
2021-05-20 -
携程景点数据抓取及分析系统的设计与实现+第三稿+开题报告+答辩ppt+开题ppt+问题解答+查重报告+安装视频+讲解视频(已降重)
2023-07-07 -
python sqlite知网爬虫源码+论文(原订做1.2k)
2021-05-23
猜你在找
99源码网 » 大数据专题-spark mysql python爬虫携程景点爬取(含虚拟机镜像)
常见问题FAQ
- 免费下载或者VIP会员专享资源能否直接商用?
- 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
- 提示下载完但解压或打开不了?
- 找不到素材资源介绍文章里的示例图片?
- 99源码网
- 2022-10-10Hi,初次和大家见面了,请多关照!