- 资源介绍
- 更新记录
- 安装教程
项目介绍:
大数据专题-spark mysql python爬虫携程景点爬取(含虚拟机镜像)
高清视频演示:
https://www.bilibili.com/video/BV1at4y1c713/
安装视频演示:
https://www.bilibili.com/video/BV1ye4y1U7XU/
功能讲解视频演示:
https://www.bilibili.com/video/BV1uR4y1R7Gy/
系统说明:
一.问题定义解决
1.1 需要解决的问题
本次大作业报告主要解决的问题:
- 使用spark读取csv文件数据并分析数据。
- 使用spark将csv文件数据导入到mysql中。
- 使用sql查找数据库数据。
- 构建echarts框架的图表页面。
- 使用spark将分析的json数据输出。
- 使用eharts前端页面分析json数据进行展示。
1.2 具体所用方法及输入输出。
- 使用spark读取csv文件数据并分析数据。
首先构建基于spark框架的环境进行开发。本次报告环境是win10系统,所以需要下载对应的环境。
(1)Windows10 本地搭建单机版Spark开发环境
1、系统环境
OS:Windows10_x64 专业版
2、所需软件或工具
- 8.0_131
- spark-2.3.0-bin-hadoop2.7.tgz
- hadoop-2.8.3.tar.gz
- scala-2.11.8.zip
- hadoop-common-2.2.0-bin-master.zip(主要使用里面的exe)
- IntelliJ IDEA(版本:1.2 Build #IU-171.4249.32,built on April 21,2017)
- scala-intellij-bin-2017.1.20.zip(IntelliJ IDEA scala插件)
- apache-maven-3.5.0
适用场景:
运行截图:
微信小程序商城
关注【程序代做 源码分享】公众号获取更多免费源码!!!
猜你喜欢
-
springboot vue公司官网(只有后台,含前端设计图)
2023-01-03 -
密码保护:基于Spring boot的“安全购”游戏账号交易平台的设计与实现+第五稿+中期检查表+ppt+开题+任务书+功能实现+查重报告+安装视频+讲解视频(已降重)
2023-06-03 -
python识别4位数字验证码(单个数字提取识别)
2021-05-12 -
python影视数据爬虫sqlite源码+论文(完整版和简洁版)
2021-09-14 -
python文本加密(基于应用的文本隐藏程序设计的研究)源码+论文
2021-05-20 -
python热点wifi自动认证用于公司打卡源码+开发心路历程demo(精品)原价2500(文件较大)
2021-05-11 -
python爬取中庸词诗词保存mysql数据库源码
2021-05-11 -
基于Python的旅游管理系统微信小程序设计与实现毕业论文+项目源码及数据库
2022-06-05 -
python离线CNN车牌识别源码+演讲稿
2021-05-11 -
基于python+MySQL数据库的图书管理系统设计与实现源码+论文
2021-05-20
-
Python Django MySQL的教务系统的设计与实现+第六稿+中期检查表+ppt+周进展+开题+任务书+申请表+查重报告+安装视频+讲解视频(已降重)
2023-07-10 -
python scrapy Django weui基于网络爬虫的新闻采集和订阅系统的设计与实现
2021-07-16 -
python在线教育项目
2021-08-02 -
大数据专题-spark mysql python爬虫携程景点爬取(含虚拟机镜像)
2022-10-10 -
Vue前台python后台 开发的在线教育网站及后台管理
2021-08-02 -
FTP客户端的设计与实现
2021-08-05 -
携程景点数据抓取及分析系统的设计与实现+第三稿+开题报告+答辩ppt+开题ppt+问题解答+查重报告+安装视频+讲解视频(已降重)
2023-07-07 -
Python+Vue.js echarts智联招聘爬虫招聘过滤推荐系统源码 招聘大数据 招聘数据分析 10w数据量
2024-01-30 -
python+小程序大学生兼职 微信小程序
2021-07-22 -
python基于Django框架在线教育平台的开发与设计源码+毕业论文+答辩ppt+开题报告+任务书+包安装配置
2022-01-18
猜你在找
99源码网,程序代做,代写程序代码,代写编程,代写Java编程,代写php编程,计算机专业代做,计算机毕业设计,网站建设,网站开发,程序 » 大数据专题-spark mysql python爬虫携程景点爬取(含虚拟机镜像)
常见问题FAQ
- 免费下载或者VIP会员专享资源能否直接商用?
- 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
- 提示下载完但解压或打开不了?
- 找不到素材资源介绍文章里的示例图片?
- 99源码网
- 2022-10-10Hi,初次和大家见面了,请多关照!