【毕业设计大作业】基于Javaee 网络爬虫技术的网络新闻分析（论文+代码+视频）

摘  要

自从大数据的概念被提出后，互联网数据成为了越来越多的科研单位进行数据挖掘的对象。网络新闻数据占据了互联网数据的半壁江山，相比传统媒体，其具备传播迅速、曝光时间短、含有网民舆论等相关特征，其蕴含的价值也愈来愈大。

利用相关网络爬虫技术与算法，实现网络媒体新闻数据自动化采集与结构化存储，并利用中文分词算法和中文类似度分析算法进行少量归纳整理，得出相关的新闻发展趋势，表现网络新闻数据的挖掘价值。

假如商业公司能选取其中与自身相关的新闻进行分析，则可以得到许多意想不到的收获，例如能否有幕后黑手成心抹黑、竞争对手情况如何。滴一时间掌握与其相关的网络新闻负面效应，动用公关力量，及时修正错误，平息负面新闻，这对当今的企业来说价值是巨大的。

关键词：网络爬虫；网络新闻；数据挖掘

Netnews Analysis Based On Web Spider Technology

Abstract

Since the concept of the big data is put forword, data on the Internet became more and more scientific research units for the obje-ct of data mining. Netnews data occupies half of Internet data, compared with traditional media, it has spread rapidly, short exposure time and contains the related characteristics of public opinion.

The related web spider technology and algorithm, to realize the Netnews automatic data collection and structured storage, and summarizes some finishing, draw related news development, reflect the value of Netnews data mining, is the main purpose of this paper.

If a business can choose news which related to their own and to do some professional analysis, they can get many unexpected gains, for example, if there is someone behind deliberately smear, or a competitors. First to master relevant negative effects of Netnews, the use of public power, timely and correct mistakes, to calm the negative news, which is the value of today’s enterprise is enormous.

Key words: web spider; Netnews; data mining

目  录

1  绪论 1

1.1 论文研究背景与意义 1

1.2 论文研究内容 2

2  系统需求分析 4

2.1 系统需求概述 4

2.2 系统需求分析 4

2.2.1 系统功能要求 4

2.2.2 系统IPO图 5

2.2 系统非功能性需求分析 5

3系统概要设计 7

3.1 设计束缚 7

3.1.1需求束缚 7

3.1.2设计策略 7

3.1.3 技术实现 8

3.3 板块结构 8

3.3.1 板块结构图 8

3.3.2 系统层次图 10

3.3.3 面向对象设计UML图 10

4 系统详细设计 13

4.1 系统板块设计 13

4.1.1 数据采集板块 13

4.1.2中文分词板块 18

4.1.3类似度匹配板块 22

4.1.4数据展现板块 25

4.2系统异常解决 29

4.2.1爬虫异常总体概略 29

4.2.2爬虫访问网页被拒绝 29

5 软件测试 32

5.1 白盒测试 32

5.1.1 爬虫系统测试结果 32

5.1.2 中文分词系统测试结果 33

5.1.3 中文文章类似度匹配系统测试结果 34

5.1.4 类似新闻趋势展现系统测试结果 36

5.2黑盒测试 37

5.2.1 爬虫系统测试结果 37

5.2.2 中文文章类似度匹配系统测试结果 37

5.2.3 类似新闻趋势展现系统测试结果 38

6  结  论 40

参考文献 42

致  谢 43

外文资料 44

中文翻译 48