- 资源介绍
- 更新记录
- 安装教程
若有个人部署运行问题,点击右侧客服按钮咨询站长
站长联系方式
QQ:3484724101
摘 要
本课题的主要目的是设计面向定向网站的网络爬虫程序,同时需要满足不同的性能要求,详细涉及到定向网络爬虫的各个细节与应用环节。
搜索引擎作为一个辅助人们检索信息的工具。但是,这些通用性搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。为了解决这个问题,一个灵活的爬虫有着无可替代的重要意义。
网络爬虫应用智能自构造技术,随着不同主题的网站,可以自动分析构造URL,去重。网络爬虫使用多线程技术,让爬虫具备更强大的抓取能力。对网络爬虫的连接网络设置连接及读取时间,避免无限制的等待。为了适应不同需求,使网络爬虫可以根据预先设定的主题实现对特定主题的爬取。研究网络爬虫的原理并实现爬虫的相关功能,并将爬去的数据清洗之后存入数据库,后期可视化显示。
关键词:网络爬虫,定向爬取,多线程,Mongodb
ABSTRACT
The main purpose of this project is to design subject-oriented web crawler process, which require to meet different performance and related to the various details of the targeted web crawler and application in detail.
Search engine is a tool to help people retrieve information. However, these general search engines also have some limitations. Users in different fields and backgrounds tend to have different purposes and needs, and the results returned by general search engines contain a large number of web pages that users don’t care about. In order to solve this problem, it is of great significance for a flexible crawler.
Web crawler application of intelligent self construction technology, with the different themes of the site, you can automatically analyze the structure of URL, and cancel duplicate part. Web crawler use multi-threading technology, so that the crawler has a more powerful ability to grab. Setting connection and reading time of the network crawler is to avoid unlimited waiting. In order to adapt to the different needs, the web crawler can base on the preset themes to realize to filch the specific topics. What’s more, we should study the principle of the web crawler ,realize the relevant functions of reptiles, save the stolen data to the database after cleaning and in late achieve the visual display.
Keywords:Web crawler,Directional climb,multi-threading,mongodb
目 录
1)爬虫代码文件构成如图:
猜你喜欢
-
JBH-09B型光纤激光加工机设计说明书(论文)+任务书+cad图纸+Solidworks三维图
2021-06-08 -
手推式除草机(无引擎)设计 说明书(论文)+任务书+开题报告+CAD图纸+Solidworks三维图纸
2021-06-08 -
西安电子科技大学网络教育本科生毕业论文(设计)规范
2021-06-08 -
Python游戏嗷大喵快跑设计丨跑酷小游戏设计论文和源码
2021-06-10 -
齿轮齿条升降电梯传动系统设计毕业论文+任务书+开题报告+文献综述+外文翻译及原文+cad图纸
2021-06-08 -
基于CS结构的即时通信系统的设计与实现 毕业论文+开题报告+外文翻译+答辩PPT+设计源码
2021-06-10 -
重型工业厂房钢结构设计毕业论文+计算书+附录cad图纸
2021-06-09 -
建筑工程技术与质量管理研究论文
2021-05-29 -
活动圈注塑成型工艺及模具设计说明书(论文)+任务书+外文翻译及原文+cad图纸+proe三维图纸
2021-06-08 -
纸盒成型机设计 说明书(论文)+全套CAD图纸+外文翻译及原文
2021-06-08
-
基于JSP合同信息管理系统设计与实现毕业论文+源码+数据库+辅导视频
2021-06-09 -
本科学位论文统一格式的规定
2021-06-08 -
基于QT的局域网聊天系统的设计与实现(linux)论文+开题+设计源码
2021-06-10 -
智能家居环境小护士 毕业论文+硬件设计原理图+软件设计源码
2021-06-10 -
缸体6-M5螺纹钻孔专机设计说明书(论文)+翻译及原文+过程卡片+工序卡片+cad图纸+CATIA 3D图纸+答辩PPT
2021-06-08 -
基于JSP的企业财务管理系统设计与实现毕业论文+任务书+中期报告+中期表+答辩+翻译及原文+源码+数据库+辅导视频
2021-06-08 -
天津大学现代远程教育专科毕业论文写作要求
2021-06-08 -
某服装公司增值税纳税筹划方案设计(会计毕业设计论文)
2021-06-08 -
内蒙古海天公司企业网的规划与设计毕业论文+任务书+开题报告+拓扑图
2021-06-09 -
茶杯杯盖注塑模具设计 说明书(论文)+任务书+cad图纸+示意图
2021-06-08
猜你在找
99源码网,程序代做,代写程序代码,代写编程,代写Java编程,代写php编程,计算机专业代做,计算机毕业设计,网站建设,网站开发,程序 » 基于Python网络爬虫的设计与实现毕业论文+源码
常见问题FAQ
- 免费下载或者VIP会员专享资源能否直接商用?
- 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
- 提示下载完但解压或打开不了?
- 找不到素材资源介绍文章里的示例图片?
- 99源码网
- 2021-06-10Hi,初次和大家见面了,请多关照!