1School of Science and Literature色狗成人快播影院, Jiangsu Normal University, Xuzhou Jiangsu
2College of Physics and Electronic Engineering, Jiangsu Normal University, Xuzhou Jiangsu
Received: Jun. 6th, 2019; accepted: Jun. 20th, 2019; published: Jun. 28th, 2019
ABSTRACT
With the improvement of computer storage capacity and the development of complex algorithms, data volume has developed exponentially in recent years. Decision-making in all walks of life is changing from “business-driven” to “data-driven”. We should make use of the massive processing and intelligent analysis ability of large data to accurately grasp the hot data of the times. Baidu Post Bar is owned by most universities in the country. Under this column, the data of Post Bar is large and scattered. Nowadays, there is an urgent need for an efficient and accurate public opinion analysis system. On this basis, this paper focuses on the analysis of the data design and architecture design of the public opinion analysis system based on the large data environment, as well as the technical lines in the design process. Different from hot search, Baidu Index and other platforms specializing in analyzing user behavior data, this system is completely innovative, more technical and more professional.
Keywords:Big Data, Baidu Post Bar, Public Opinion Analysis System
基于大数据的高校贴吧舆情分析 系统设想与建造
曹汉清1，李全彬2*
1江苏师范大学科文体院，江苏 徐州
2江苏师范大学泉山校区物电学院，江苏 徐州
收稿日历：2019年6月6日；托付日历：2019年6月20日；发布日历：2019年6月28日
摘 要
跟着磋磨机存储智商的耕种和复杂算法的发展，比年来数据量呈指数级发展。九行八业的决策正从“业务脱手”回荡为“数据脱手”。咱们应该行使大数据的海量处理与智能分析智商，准确捏取期间热门数据 [1] 。百度贴吧为天下大大齐高校所领有，在此栏目前，贴吧数据信息量大且相比分散。现在，要紧需要一种高效率、高准确率的舆情分析系统。在此基础上本文要点分析了基于大数据环境下的高校贴吧舆情分析系统的数据经过设想和架构设想，以及设想过程中的期间默契。区别于热搜、百度指数等专职于分析用户行径数据的平台，本系统透顶更正，期间性更强，专科性更高。
关键词 :大数据，百度贴吧，舆情分析系统
Copyright © 2019 by author(s) and Hans Publishers Inc.色狗成人快播影院
This work is licensed under the Creative Commons Attribution International License (CC BY).
1. 序文
大数据布景下，热门数据捏取问题股东着经济的发展，企业、政府部门以及业绩单元齐需要得回与我方联系的热门信息，分析用户行径数据，进而收拢市集痛点，走向发展前沿。举例百度指数 [2] ，通过连系关键词温雅趋势、知悉网民需求变化、监测媒体舆情趋势、定位数字耗尽者特征，以百度海量网民行径数据为基础的数据分析平台，是现时互联网乃至总计这个词数据期间最首要的统计分析平台之一，自觉布之日便成为繁密企业营销决策的首要依据。王海燕等东说念主 [3] 构建了集数据会聚、处理、分析、评价、响应于一体的大学生网罗行径的分析模子，收场了个性化的分析。刘滢 [4] 基于Hadoop云磋磨平台和Map Reduce编程框架设想出四层结构模式智能交通系统，云处理层包含多种模子，收场任务并行化处理；算法层最优化算法，分析和稽察某一时刻路段中的车流情景以及每一条说念路的分流情景；业务处理层处理业务逻辑，收场业务落拓治理和调度；界面治理层治理用户需求信息。赵佳钐等东说念主 [5] 建议搀杂架构下的多源异构数据集成决策，针对不同类型的数据分别承袭OldSQL、NewSQL和Hadoop期间进行数据的清洗集成，设想出高校多源异构数据集成系统。李斌等东说念主 [6] 设想一种大数据高遵循平台，以算粒为基本连系对象，深切见识大数据应用算法的特征，合理区分各磋磨子任务；其次，构造体紧缚构匹配矩阵，并将子任务分拨到合理的处理部件上；终末，行使动态电压/频率诊治期间和数据布局算法，收场非关键任务的电压落拓，并优化关键任务的结构布局。
本系统区别于热搜、百度指数等专职于分析用户行径数据的平台，属于一种全新的舆情分析系统，同期基于Hdoop平台和MapReduce编程框架精确定位用户需求，利于传统架构与大数据架构相接，数据捏取分析效率高，用户更节略地得回所需要的数据信息，易于延伸，数据量高并发的情况下，具有较好的措置智商。
2. 功能先容
本系统设想五大功能模块，通过分析关键词可得到较为准确的统计扫尾，以下为各模块详备先容(如图1)：
图1. 各模块详备先容
2.1. “高校公论热门关键词”功能模块
在数据分析阶段，系统行使hadoop mapreduce、IKAnalyzer期间对贴吧各高校公论热门进行分词索求(图2)，统计后输出于该模块。本模块数据应用于其他模块，愈加直不雅的展示统计的热门信息。
图2. 高校公论热门关键词界面图
2.2. “高校公论热门关键词占比分析”功能模块
本模块酿成主题“热门TOP100”，对关键词所占比例以扇形统计图面目进行输出(图3)。通过对关键词专科的分析，成心于了解大学生处事发展宗旨，学校增多开设热门专科等。
图3. 高校公论热门关键词占比分析界面图
2.3. “高校公论热门关键词男女温雅分析”功能模块
本模块键入关键词检索，饼状图面目输出男女生对词温雅热度，成心于学校进一步了解大学生男生女生之间念念想动态与温雅要点的互异，并进行更深档次的探索(图4)。把柄实情，取舍不同顺次，有针对性的措置公论热门所带来的负面影响 [7] 。
图4. 高校公论热门关键词男女温雅分析界面图
2.4. “高校公论热门关键词区域溜达热度”功能模块
本模块键入关键词检索，中国舆图形象输出词的地域溜达情况(图5)，系统的展现了区域文化互异对
图5. 高校公论热门关键词区域溜达热度界面图
公论热门的影响。
2.5. “高校公论热门关键词高校溜达”功能模块
本模块键入关键词检索，条形图统计输出高校对词温雅热度(图6)。详备地呈现各所高校之间公论的互异性，高校治理部门相接大学生实质情况取舍针对性顺次，完善高校网罗念念想政事陶冶责任，提高高校念念想陶冶质料 [8] 。
图6. 高校公论热门关键词高校溜达界面图
3. 期间默契
系统建造分为四个阶段(图7)，数据捏取和索求、数据存储、数据分析以及数据可视化。当先，行使httpclient、json、jsoup、sqoop期间捏取高校贴吧数据信息，分类写入到mysql存储，并将数据导入到hadoop空间的hdfs中存储。再行使hadoop mapreduce、IKAnalyzer进行数据分析和索求。终末行使spring mvc、mybatis、quartz、amazeui、echarts期间进行数据可视化展示。
图7. 期间默契图
4. 数据经过设想
厕所 偷拍系统行使Java爬虫，htmlparser与httpelient期间捏取高校贴吧数据写入到mysql存储，再行使sqoop期间将mysql数据导入hadoop空间的数据存储系统hdfs中，并行使mapreduce模子进行数据分析、索求，再将数据导入到Hadoop空间的数据存储系统hdfs中进行存储，终末行使Java索求数据写入到mysql中存储(图8)。
图8. 总体设想经过图
5. 架构设想
系统承袭两套架构(图9)，传统架构和大数据架构，SSM作念外部捏取与展示期间专科，溜达式大数据处理热门信息挖掘效率高。行使Java爬虫捏取各高校贴吧数据，分类写入Mysql存储，再行使Sqoop期间将数据导入hdfs空间中存储，并行使Mapreduce模子进行数据分析、索求，终末行使Java导入mysql中存储，通过webserver提供网上信息浏览。
图9. 架构设想图
6. 论断
基于大数据的高校贴吧舆情分析系统，相接传统架构与大数据架构，SSM捏取与展示更专科，热门数据挖掘效率更高。基于Hadoop MapReduce与IKAnalyzer期间收场的数据分析与统计，并承袭定时刻析，减少了肖似处事，关于数据量高并发的情况下，具有较好的措置智商，更精确地定位用户温雅的舆情信息。基于spring mvc、mybatis、quartz、amazeui、echarts期间，通过扇形统计图、条形统计图以及饼状图等多种样式界面可视化输出，达到了直不雅、交互性庞大的成果，可对一些有价值的数据进行深切分析与会聚，成心于企业收拢市集痛点，股东经济发展。在大数据高速发展的布景下，对海量数据进行捏取分析仍然是一个首要的连系宗旨。
基金阵势
2016年江苏省陶冶科学“十三五”筹谋课题(C-a/2016/01/09)；江苏省高校当然科学基金阵势(BK20171166)。
著作援用
曹汉清,李全彬. 基于大数据的高校贴吧舆情分析系统设想与建造Design and Development of University Post Bar Public Opinion Analysis System Based on Big Data[J]. 磋磨机科学与应用, 2019, 09(06): 1134-1141. https://doi.org/10.12677/CSA.2019.96128
参考文件色狗成人快播影院