· rtf filefinalstr = word; // ......

文库下载免费文档下载https://www.wenkuxiazai.com/

　　本文档下载自文库下载网，内容可能不完整，您可以点击以下网址继续阅读或下载：http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html

日志采集分析平台的设计与实现基于 Hadoop 的运维日志采集分析平台的设计与实现

分类号： TP311 单位代码：10422

密级：学号：

硕士学位论文论文题目：基于 Hadoop 的运维日志采集分析平台的设计与

实现and implementation of the platform of operation and maintenance log collection and analysis based on Hadoop

作者姓名

学院名称

专业名称

指导教师

合作导师

https://www.wenkuxiazai.com/

http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html



[此处图片未下载成功]



原创性声明

本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。

论文作者签名：日期：

关于学位论文使用授权的声明

本人同意学校保留或向国家有关部门或机构送交论文的印刷件和电子版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本学位论文。

(保密论文在解密后应遵守此规定)



论文作者签名：导师签名：日期：

目录

摘要 ...................................................................................................................http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html............. I ABSTRACT ................................................................................................................. II

第 1 章绪论 .............................................................................................................. 1

.1 研究背景及意义 ........................................................................................ 1

.2 国内外相关研究 ........................................................................................ 2

.3 论文主要工作 ............................................................................................ 3

.4 论文结构 .................................................................................................... 3

第 2 章系统架构设计 .................................................................................................. 5

.1 平台整体架构 .....................................................................................http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html....... 5

.2 数据加载子系统 ........................................................................................ 6



.3 运维日志关联分析子系统 ........................................................................ 7

.4 本章小结 .................................................................................................... 9

第 3 章系统详细设计 ................................................................................................ 10

.1 数据存储方案设计 .................................................................................. 10

.1.1

.1.2

.2.1

.2.2

.3.1

.3.2

.3.3

.3.4

.3.5 数据类型 .................................................................................. 10 数据访问接口 .......................................................................... 11 数据接入模块设计 .................................................................. 13 数据落地模块设计 ..http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html.................

............................................... 15 数据预处理模块设计



.............................................................. 16 特征训练模块设计

.................................................................. 16 流日志分类模块设计

.............................................................. 17 离线日志分类模块设计

.......................................................... 18 频繁项集挖掘模块设计

.......................................................... 19 3.2 数据加载子系统设计

.............................................................................. 12 3.3 运维日志关联分析子系统设计 .............................................................. 16

.4 本章小结 .................................................................................................. 19

第 4 章系统实现与测试 ............................................................................................ 21

.1 数据加载子系统 ...................................................................http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html................... 21

.1.1

数据接入模块 .......................................................................... 21

.1.2

.2.1

.2.2

.2.3

.2.4

.2.5 数据落地模块 ......................................................................... 26 数据预处理模



块 ..................................................................... 27 特征训练模块 ......................................................................... 30 流日志分类模块 ..................................................................... 32 离线日志分类模块 ................................................................. 33 频繁项集挖掘模块 ................................................................. 35 4.2 运维日志关联分析子系统 ...................................................................... 27

.3 本章小结 .................................................................................................. 37

第 5 章搭建 Hadoop 平台 ....................http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html..................................................................... 38

.1 集群规划 .................................................................................................. 38

.2 部署前准备 .............................................................................................. 39

.2.1

.2.2

.2.3

.2.4

.2.5

.2.6

.2.7



.2.8

.2.9

.2.10 修改主机名 ............................................................................. 39 配置并同步hosts 文件 ........................................................... 39 安装并配置clush .................................................................... 39 配置免登陆 ............................................................................. 41 关闭 iptables 及selinux .......................................................... 41 删除旧版本的 rpm 包 ............................................................. 42 安装配置 HTTPD 服务 ...http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html................

....................................... 42 发布 HTTPD 内容

.................................................................. 43 分发 yum 配置文件

................................................................ 46 安装 MySQL JDBC 驱动

........................................................ 46

.3安装CM-Server ....................................................................................... 47

.4 分发 CDH 包 ........................................................................................... 48

.5安装CDH服务 ....................................................................................... 51

.5.1

.5.2

.5.3

.5.4 安装 ZOOKEEPER ................................................................. 51 安装HDFS .............................................................................. 52 安装



YARN ............................................................................. 54 安装 HIhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlVE ............................................................................... 55

.6 本章小结 .................................................................................................. 57

第 6 章结论 ............................................................................................................... 58

参考文献 ..................................................................................................................... 59

致谢 ......................................................................................................................... 61

Abstract ............................................................................................................. I ABSTRACT .................................................................................................................. II1 Introduction .............................http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html...................................................................... 1

.1 Research Background and Significance ..................................................... 1

.2 Related research at home and abroad ......................................................... 2

.3 The main work of the paper ........................................................................ 3

.4 Paper structure ............................................................................................ 32 System architecture design ............................................................................ 5

.1 Platform integrated architecture ................................................................. 5



.2 Data loading subsystem .............................................................................. 6

.3 Operation and maintenance log correlation analysis subsystemhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html ................ 7

.4 Summary ..................................................................................................... 93 System detailed design .............................................................................. 10

.1 Data storage scheme design ...................................................................... 10

.1.1

.1.2 Data type ................................................................................... 10 ADO .......................................................................................... 11

.2 Data loading subsystem design ................................................................. 12

.2.1

.2.2 Data access module design ........................................................ 13 Data landing module design ...................................................... 15

.3 Design of subsystem of ohttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlperation and maintenance log correlation..................................................................................................................... 16

.3.1

.3.2



.3.3

.3.4

.3.5of data preprocessing module ....................................... 16 Feature training module .......................................................... 16 Stream log classification module .............................................. 17 Offline log classification module .............................................. 18 Frequent item set mining module .............................................. 19

.4 Summary .................................................................................................. 194 System implementation and testing .......................................................... 21

.1 Data loading subsystem design http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html................................................................ 21

.1.1

.1.2 Data access module design ....................................................... 21 Data landing module design ..................................................... 26

.2 Log correlation analysis subsystem ......................................................... 27

.2.1

.2.2

.2.3

.2.4



.2.5 Design of data preprocessing module ....................................... 27 Feature training module ............................................................ 30 Stream log classification module .............................................. 32 Offline log classification module .............................................. 33 Frequent item set mining module ............................................. 34

.3 Summary .......................................................................http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html........................... 365 Build Hadoop Platform ............................................................................... 37

.1 Cluster planning ....................................................................................... 37

.2 Pre deployment preparation ..................................................................... 38

.2.1

.2.2

.2.3

.2.4

.2.5

.2.6

.2.7

.2.8

.2.9



.2.10 hostname ................................................................................... 38 Configure and sync hosts files .................................................. 38 Install and configure clush ........................................................ 38 Configuration free login ........................................................... 40 Close iptables and selinux ..........................................http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html.............. 40 Delete the old version of the RPM package ............................. 41 Installation and configuration of HTTPD services……………41 Publish HTTPD content ............................................................ 42 Distribute Yum configuration file ............................................. 45 Install MySQL JDBC Driver ................................................... 45

.3 Install CM-Server ..................................................................................... 46

.4 Distribution CDH package ....................................................................... 47

.5 Install CDH services ................................................................................ 50

.5.1

.5.2

.5.3ZOOKEEPER ................................................................ 50 Install HDFS ...................................................http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html.......................... 51 Install YARN ............................................................................. 53

.5.4 Install HIVE .............................................................................. 54

.6 Summary ................................................................................................... 566 Conclusion ................................................................................................... 57................................................................................................................... 58



………………………………………………………………………………..60

摘要

随着云计算和大数据技术的发展，政府和企业搭建了越来越多的数据中心来运行各种各样的业务系统。业务系统规模迅速增加，节点数达到几万台甚至更多，运维日志规模随之急剧增加，缺乏有效的分析框架。各业务系统硬件由多厂家提供，软件由多家厂商开发，日志格式及日志形式多种多样，缺乏统一的接入机制。报警日志大量重复，同一故障引发系统间日志重复出现，缺乏数据合并机制。对系统产生的运维日志数据缺乏关联分析和深度利用，运维的智能化程度低。一直以来日志分析都是反映应用系统的运行状况和用 http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html 户行为的重要途径，尤其是目前互联网技术的发展，针对日志的分析处理增加了很多的创新方向。针对各运维系统间数据独立存储，缺乏关联分析的不足之处，迫切需要对运维日志进行统一的组织管理，对日志、系统指标进行关联分析和融合，挖掘关联规则[1]，构建关联规则知识库。对系统运行状态和故障进行提前预测，及时发现系统故障。

本文主要的工作内容是，研究多源异构日志接入和大数据计算框架技术，构建海量运维日志采集分析平台，支持多种格式、各种形态运维日志的分布式统一采集存储能力，并支持海量日志的离线分析和在线实时处理。本文的成果是搭建完成了一个基于 Hadoop 的分布式日志采集分析平台，设计了一套支持多种格式、多种来源分布式日志采集存储方案，提供了支持运维大数据分析的基础支撑框架，提供了统一接口，支持运维分析业务；提供异构日志的统一接入框架，并支持接入过程的实时处理。完成了对于运维日志关联分析系统的设计与实现。关键词：日志采集；关联分析；Hadoop；Spark；Kafka



the development of cloud computing and big data technology, Government and enterprises build more and more data centers to run a variety of business system. Business system is rapidly increasing, the number of nodes reaches tens of thousands or even more, and the operation and maintenance log size increases rapidly, and the lack of effective analysis framework. The hardware of each business system is provided by many manufacturers, the software is devhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmleloped by several manufacturers, the log format and the various forms of the log, the lack of a unified access mechanism. A large number of repeated alarm logs, the same failure caused by repeated logs between the system appears, the lack of data consolidation mechanism. The system generated by the operation and maintenance of the data is not related to the analysis and depth of the use of the data, operation and maintenance of low intelligence.the log analysis is an important way to reflect the application of the operational status of the system and user behavior, especially the development of Internet technology, according to the analysis log increases the innovation direction of many. According to the operation and maintenance of the system of independent data storage, lack of correlation analysis of the shortcomings, there is an urgent need of unified organization and management on the operation and maintenanhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlce of the log, to log and system evaluation indexes by correlation analysis and fusion, mining association rules [1], to construct an association rules knowledge base. Predict the system operation status and fault in advance, and find the system fault in time.collection of log files need to support distributed cluster, and log data from multiple cluster machines. At the same time, log data acquisition needs to be processed by the log file in real-time. When the log size is large, it is needed to store and process the data in a distributed platform. Hadoop[2] a development and operation for processing large-scale data distributed platform. It is a Java open source software framework, using a lot of ordinary computer can be composed of clusters of massive amounts of data in distributed computing. The Hadoop framework has two core designs: HDFS and MapReduce[3]. HDFS



provides massive data storage, MapReduce provides thttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlhe calculation of the data. Spark[4] is a new distributed IIcomputing framework. It has the advantages of Hadoop MapReduce, but unlike MapReduce is it can be saved the intermediate output of the job in memory, thus avoiding the read and write delay caused by HDFS and therefore spark than Hadoop MapReduce have better iterative data processing performance, can be better applicable to data mining and machine learning, iterative algorithm implementation.main work of this dissertation is to study the multi-source heterogeneous logs access and data calculation framework technology, building massive maintenance log collection analysis platform, support a variety of formats, various forms of operation and maintenance log distributed unified acquisition and storage capacity, and to support massive logs offline analysis and online real-time processing. Goal is to build a based on Hadoop distributed log collecthttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlion analysis platform, design a variety of formats, multiple sources log distributed acquisition and storage solutions, provides support for the operation and maintenance of large data analysis based framework, provides a unified interface; operation and maintenance support business analysis; provide unified access framework of heterogeneous logs, and supports real-time processing in an access process. The design and implementation of the system for the operation and maintenance log correlation analysis is completed. Key

words：Log collection; Correlation analysis; Hadoop; Spark; Kafka III

山东大学硕士学位论文

第 1 章绪论

.1 研究背景及意义

随着云计算和大数据技术的发展，政府和企业搭建了越来越多的数据中心来运行各种各样的



业务系统。伴随着业务系统规模迅速增加，集群节点数达到几百上千台甚至更多，运维日志规模随之急剧增加。一直以来日志分析都是反映应用系统的运行状况和用户行为的重要途径，尤其是目前互联网技术的发展，针对日志的分析处理增加了很多创新方向，比如个性化推荐，用户行为分析等等。针对各运维系统间数据独立存储，缺乏关联分析的不足之处，迫切需要对运维日志进行统一的组织管理，以备后期进行数据挖掘和关联分析，构筑智能运维系统。

对于日志文件的采集需要支持分布式的集群，从多个集群机器 http://

www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html 进行日志采集。同时日志采集需要对日志文件进行类似流处理的增量实时采集。当日志规模很大时，需要分布式平台对数据进行存储和处理。Hadoop[2]是一个开发和运行处理大规模数据的分布式平台，它是一个用 Java语言的实现开源软件框架，利用大量普通计算机组成可以对海量数据进行分布式计算的集群。Hadoop框架有两个最核心设计：HDFS 和 MapReduce[3]。HDFS

提供海量数据的存储，MapReduce提供对数据的计算。Spark[4]是一个新的分布式内存计算框架，它拥有 Hadoop MapReduce 所具有的优点，但与 MapReduce 不同的是它可以将 Job 的中间输出结果保存在内存中，从而避免了读写 HDFS 所带来的延迟，因此 Spark

比Hadoop MapReduce 有更好的迭代式数据处理性能，能更好地适用于数据挖掘与机器学习等需要迭代的算法实现。

业务数据来源和数据存储介质各有不同，具体包括 Oracle 数据库、MySQL 数据库、文本文件、网络数据等。如何将这些多源异构的分布式日志数据收集在一起，并提供高效的离线和在线海量数据处理能力，是目前研究一个的热点问题。


.2 国内外相关研究



在云计算和大数据时代，各大公司的集群规模和数据量爆发式增长，而与此同时，集群出现的各类故障和异常也与日俱增，给运维带来巨大的挑战。百度已经建立起了六大数据仓库之一的运维数据仓库，囊括了服务器、网络、系统、程序、变更等各个方面的实时及历史状态数据，每天更新数据量接近 100TB，基于对这些数据的分析和挖掘，百度开展了多个项目和应用。

而国外大公司已经开源了很多强大的日志收集系统，Flume[5]是提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种 Storage。Flume 是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume 提供了从 console （控制台）、RPC（Thrihttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlft-

RPC）、text（文件）、tail（UNIX tail）、syslog（syslog 日志系统，支持 TCP 和 UDP

等 2种模式），exec（命令执行）等数据源上收集数据的能力。是 Facebook开源的日志采集系统，它为日志的分布式收集，统一处理提供一个可扩展的，高容错的简单方案。[6]是 Linkedin 于 2010年 12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在 web 网站应用中非常常见，这些数据包括网站的 pv、用户访问了什么内容，搜索了什么内容等。这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。

传统的日志分析系统提供了一种离线处理日志信息的可扩展方案，但若要进行实时处理，通常会有较大延迟。而现有的消（队列）系统能够很好的处理实时或者近似实时的应用，但未处理的数据通常不会写到磁盘上，这对于 Hadoop之类（一小时或者一天只处理一部分数据）的离线应用而言，可能存在问题。Kafka正是为了解决以上问题而设计的，它能够很好地离线和在线应用。是 Hadoop框架下的一个可以用于海量数据处理的并行编程模式。最初是由谷歌提出的一



种支持大数据处理的计算框架，能够在普通的


计算机上实现并行化处理。Apache Spark 是一种内存数据处理框架，目前已经升级成为Apache 的顶级项目，它将数据尽可能放到内存中以提高迭代应用和交互式应用的计算效率。Spark 目前已经拥有一个庞大的用户和贡献者社区。它更加符合下一代低延迟、实时处理、迭代计算的大数据应用的要求。

.3 论文主要工作

目前公司保障处已存在多套业务系统，其业务数据来源和数据存储介质各有不同，具体包括Oracle 数据库、MySQL 数据库、文本文件等。为了提高数据利用价值，增强运维手段，亟需将现有业务数据存储到 Hadoop ，进行集中管理，并能支持MapReduce、Spark、Hive、SparkSQL等多种计算引擎及接口。

本论文的主要工作是研究 Cloudera CDH

对 http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlHadoop

平台的封装，能够利用 CDH 搭建灵活易扩展的 Hadoop 集群，并介绍其搭建过程。

研究多源异构日志加载技术，支持多种格式、各种形态日志数据的分布式统一加载，设计并实现了支持海量日志采集的数据加载系统，提供关系型数据库数据、文本文件、监测日志数据、统计数据与告警数据等多类型数据的加载服务，为用户提供多种数据接入方式，可以按照业务数据的自定义格式进行自定义加载。

研究分布式计算框架和存储技术，为上层运维分析业务提供基础分布式计算和存储能力，提供标准化接口，支持运维分析业务的持续构建。提供统一的数据存储和数据管理接口，对运维日志进行离线聚类和在线实时分类处理的能力。



研究日志关联分析技术，针对运维日志设计并实现用于系统日志与告警日志关联关系挖掘的日志关联分析系统，利用 Spark 内存计算框架实现运维日志的离线和在线日志关联分析功能。

.4 论文结构

第 1 章绪论，主要介绍运维日志采集分析平台的研究背景、国内外研究现状以及本文的主要工作。


第 2 章主要系统的介绍了运维日志采集分析平台总体架构设计，以及每个模块的概要设计。

第 3 章重点介绍了平台对于数据存储方案、数据加载子系统以及运维日志关联分析子系统的详细设计。

第 4 章主要介绍了对数据加载子系统以及运维日志关联分析子系统的实现与测试。

第 5 章主要介绍了基于 Cloudera CDH 的 Hadoop 平台的搭建过程及其组件的安装步骤。

第 6 章是对论文研究内容及结果的整体总结和结论。


第 2 章系统架构设计



.1 平台整体架构

该系统将平台架构进行分解，形成分布式数据接入层、分布式存储服务层、分布式计算框架层和数据分析层。每一层次具有该层的 API 接口，供其他层次或其他外部系统调用，以满足自定义开发需求，平台架构层次如图 2-1 所示：

图 2-1 平台系统架构图

论文的工作主要在分 http://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.html布式数据接入层和数据分析层展开，如图 2-1 所示，针对如关系型数据、文本文件、脚本采集数据及自定义业务生成数据等多源异构数据的接入问题，我们在设计了数据加载子系统，该系统设计了多种数据接入方案来满足不同业务的需求。

针对运维日志关联分析问题，我们在数据分析层设计了运维日志关联分析子系统，该系统可以利用分布式计算框架层的多种计算框架，对运维日志提供离线和在线日志关联分析能力。

同时论文的一个亮点是，在分布式存储服务层，平台提供了统一的数据访问方式，即HCatalog 分布式数据管理工具，该方式能够屏蔽底层的数据存储格式，提供统一的数据和模式访问接口。


下面对数据加载子系统和运维日志关联分析子




系统进行简要的介绍。

.2 数据加载子系统

数据加载子系统提供关系型数据库数据、文本文件、监测日志数据、统计数据与告警数据等多类型数据的加载服务。提供了多种数据接入方式，可以按照业务数据的自定义格式进行自定义加载。系统以 Kafka 集群作为数据的中间存储平台，根据业务需求将数据加载子系统分为数据接入模块和数据落地模块两部分。具体架构如图 2-2 所示：


图 2-2 数据加载子系统模块设计

数据接入模块负责从多源异构数据源采集数据，发送到 Kafka 集群进行缓存；数据落地模块定时执行从 Kafka 集群到HDFS 的数据落地任务，将数据源数据及时有效的存储到分布式文件系统中。

数据加载过程需要注意一下几个问题：

. 数据序列化

加载系统中数据最终是以字节流的形式交换的，因此需要使用序列化方法对数据进行编码。是一个二进制的数据序列化系统，经常被应用于数据交换场景。其最大


的特点就是使用模式（Schema）来实现数据结构定义，模式使用 JSON 对象来表示，可以动态生成。在其它一些数据序列化系统中，比如 Thrift，使用前需要生成静态代码。



http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlSchema 的生成要依赖与表的元数据。

. 增量加载

由于 Kafka消费者读取偏移量只存在于消费者进程中，导入任务结束后，读取偏移量会丢失，因此需要将本次导入的结束点持久化存储。可以使用 HDFS 或者 Zookeeper。

. 异常处理

导入过程可能会产生HDFS 不可用、导入任务进程被杀死等问题，需要导入工具支持异常处理，并且保证数据加载不重复。Kafka支持读取历史数据，导入任务失败后直接从上一正常点开始重新处理。

.3 运维日志关联分析子系统

集群系统的系统日志不仅数量巨大，而且不同方式采集到的日志其格式也有所不同，如操作系统系统目录下记录系统状态或者时间的系统日志（如硬盘管理产生的硬盘读写事件、网络管理器产生的网络情况、内存管理工具产生的内存访问情况等）。由于格式不一，在对系统日志进行具体分析之前，必须对其日志进行识别和转换，以格式化为一个统一的结构，如此才方便对其进行处理。另外集群系统中同一状态往往被不同的组件记录到日志中，因此造成日志记录信息冗余较大，所以在对日志进行分析前也需要对日志记录中的重复记录进行过滤操作。

集群系统的系统日志，虽然数量巨大，但代表的时间类型并不复杂，如何把由同一输出语句输出的日志划为同一类是一个关键问题。将海量日志数据聚类之后，提取其特征，形成特征库，新产生的日志便依据该特征库进行类别标记。



日志关联分析通过对系统日志时间、系统状态和故障分布的研究等来发现故障规律和故障的时间和空间特征等。日志的关联分析主要分析系统故障的分布、故障的相关性等指标。

根据日志关联分析系统的功能需求，将日志关联分析系统分为五个模块：数据预处理模块、特征训练模块、流日志分类模块、离线日志分类模块、频繁项集挖掘模块，系统架构如图2-3 所示：


图 2-3 运维日志关联分析系统模块设计

各模块具体功能如下：

. 数据预处理模块

该模块的主要功能是提取日志 message 字段数据，然后对其进行分词、过滤干扰词、http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html 去除重复行等操作，经过此处理后，日志获得统一的结构，并对冗余日志进行了去重。

. 特征训练模块

该模块的主要功能是根据预处理后的 message 数据，训练出日志类别及特征，放入特征标签库，标签库里的特征作为后面日志分类的一个特征知识库。

. 流日志分类模块

该模块的主要功能是作为守护程序，从 Kafka 中读取实时流日志数据，然后流日志数据与



特征标签库里的特征进行匹配分类，实现日志数据接入过程中的在线实时处理。

. 离线日志分类模块

该模块的主要功能是读取落地到HDFS 的日志数据，然后流日志数据与特征标签库里的特征进行匹配分类。此模块实现的功能是对流日志分类模块未匹配上日志数据进行二次匹配，以达到使所有接入日志数据都能分类，获得相应标签的目的。



. 频繁项集挖掘模块

该模块的主要功能是合并已分类的 Syslog 日志与告警日志数据，然后按时间排序生成日志事务，基于特定的数据挖掘算法对日志事务进行关联规则分析。以期待挖掘出 Syslog 日志与告警日志之间的一些联系。

.4 本章小结

本章主要介绍了，基于 Hadoop 的运维日志采集分析平台系统的架构设计，该系统将平台架构进行分解，形成了数据接入层、分布式存储服务层、分布式计算框架层和数据分析层等四大部分。同时本章对平台每一层的具体功能和涉及到的技术进行了一个简单的介绍。本文工作的重点会放在数据接入层和数据分析层，针对多源异构海量运维日志的采集接入问题，我们在数据接入层设计和实现数据加载子系统；针对运维日志关联分析问题，我们在数据分析层设计和实现了运维日志关联分析子系统。




第 3 章系统详细设计

.1 数据存储方案设计

数据平台以数据库和数据表的方式管理结构化数据。在实施中，建议将数据库作为命名空间，划分不同的业务数据，同一类型的数据作为一张数据表进行存储，数据表可以按照时间等http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html 不同类型字段进行分区。

对于已存储的数据，可以以分区、表或数据库粒度进行数据的删除，在实施中，可以按照时间字段以天、周或月粒度建立分区，以支持数据生命周期管理。

通过这种方式存储的数据，可以通用 MapReduce、Spark、SparkSQL、Hive、Impala

等多种计算引擎及接口。

数据平台提供统一的数据访问方式，即HCatalog 表数据管理层，该方式能够屏蔽底层的数据存储格式，提供统一的数据和模式访问接口（即关系数据模型）。以HCatInputFormat 、 HCatOutputFormat 分别对应表中数据的输入和输出，以HCatRecord描述一条记录，以 HCatSchema描述记录与字段类型的对应关系。支持的数据类型、数据存储及序列化类型如下。

.1.1 数据类型

对于结构化数据，使用 HCatRecord 类型代表结构化数据中的一行。由于结构化数据每行数据具有相同的模式（Schema），称之为 HCatSchema。HCatSchema 用来描述构成



一行数据的多个字段的数据类型。大数据分析平台一般使用以下数据类型描述各个字段。

表 3-1 数据类型描述



.1.2 数据访问接口

接入该系统的数据最终被存储到 Hadoop 集群上的 Hive 表中。最终需要对这些数据进行分析并将分析得到的结果再次存入该系统中。为了适应各种计算引擎和接口的分析处理，需要提供存储数据的访问接口。

目前以该种方式采集的数据有多种访问接口，包括Hive/Impala JDBC


和 Spark SQL 进行数据条件查询操作， HCatalog 进行元数据和无条件查询操作，Hive、HCatalog、Impala命令行界面使用命令行对数据操作。

表 3-2 数据访问接口


山东大学硕士学位论文 ://www.wenkuxiazai.com/doc/



b221583bf90f76c660371ab9.htmlpar.2 数据加载子系统设计

数据加载系统提供关系型数据库数据、文本文件、监测日志数据、统计数据与告警数据等多类型数据的加载服务。日志采集分析平台为用户提供了多种数据接入方式，可以按照业务数据的自定义格式进行自定义加载。同时，系统支持数据加载的自定义分发机制、节点负载均衡、TCP 可靠通信等机制来保证数据的并发加载效率和可靠性。系统提供针对结构化数据、非结构化数据以及文件数据的加载功能。

数据加载系统主要实现了结构化数据存储及海量非关系型结构化日志存储管理平台，这类数据的特点是结构化，每条记录的长度短，但是记录条目非常大，可达几百亿甚至千亿条，但是数据操作模式比较简单，主要是追加操作，同时对于数据一致性要求比较低，实现最终一致性即可。

加载系统可以分为数据接入模块、数据落地模块。

在加载过程中，接入模块采集各种不同数据源的数据，并根据应用指定的表名和数据，自动进行数据格式化等处理操作，并将处理后的数据发送到 Kafka 中进行数据缓存。数据落地模块定时执行数据落地任务，获取 Kafka 中缓存的数据，并将获取的数据进行组织，压缩后进行存储。

数据加载系统支持横向扩展，其加载性能能够随加载服务节点的扩展而得到近线性提升。同时，加载系统支持负载均衡功能，加载过程中充分利用集群资源，



最大化集群加载性能。



.2.1 数据接入模块设计

由于外部有多种数据源，所以系统接入的物理架构也不尽相同，下面根据不同的数据源描绘了不同的物理架构。

) 数据库接入方式









[ 此处图片未下载 http://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.html 成功]










图 3-1


数据库接入方式

如果数据源为关系型数据库，包括Oracle、Mysql，使用


RDBMS 导入工具进行数据导入，如图 3-1


所示。在数据转移集群上安装 RDBMS 导入工具，并设置定时任务将数据批量导入到



Hadoop 集群中。

本文所用的 RDBMS 导入工具为开源工具 Sqoop，Sqoop 是一个用来将 Hadoop 和关系型数据库中的数据相互转移的工具，专为大数据的批量传输而设


计，能够分割数据集并创建 Hadoop 任务来处理每个区块。而且 Sqoop还支持数据的增量导入，可以指定一个递增的列，或者指定一个时间戳。


2) 文本文件接入




图 3-2 文本文件接入方式

当需要采集的数据为 CSV 文件时，数据产生节点将生成的 CSV 文件推送到采集业务节点指定的目录中。在采集业务中，Flume监控一个指定的文件目录，如果有新文件放入该目录，它就会实时采集文件中的数据并推送到 Kafka 集群。




数据最终被存储到Hadoop 集群中。集群中的消息都是以主题的形式存储的，而 Flume 采集的文件数据是没有主题的，同时文件目录中可能会放入好几种主题的文件。为了解决这个问题，论文自定义了一个 Flume拦截器，此拦截器的功能 http://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.html 可以将文件名与 Kafka 主题一一对应。具体思路是，将文件名字改为“hive-数据库名-表名”的形式，文件的名字即为数据存入 Kafka时的主题。

通过自定义的拦截器将文件名字添加到 event 的 header 中去，即给采集到的数据加上了主题。定义文件名为“hive-数据库名-表名”的形式还有一个好处，就是可以通过 hive 表的元数据来获取文件数据的 Schema信息，在对数据进行 Avro序列化的时候需要数据的Schema信息。

) 采集脚本实时采集接入















图 3-3 采集脚本实时采集接入方式

用户可以自定义数据生成脚本（基于 Linux），通过 Flume调用该脚本产生要采集的数据，并将该数据推动到 Kafka 集群中，最终被存储到 Hadoop 集群。 Flume提供采集自定义脚本生成数据的能力，不过需要进行一些相关参数的配置。此方式同样可以使用自定义的Flume拦截器对数据进行预处理。

) 用户自定义生成数据业务接入

用户可以在自己的业务逻辑业务中调用加载接口，直接将数据推送到 Kafka 集群中。然后，数据再被存储到Hadoop 集群。










[ 此处图片未下 http://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.html 载成功]






图 3-4 自定义业务系统接入流程提供了数据生产者接口，自定义业务系统可以调用其生产者接口，直接在客户端生产数据，发送到 Kafka 集群中。生产者定义如下所示：<String, String> producer = new KafkaProducer<>(props);(int i = 0; i < 100; i ).send(new ProducerRecord<String, String>("my-topic",



Integer.toString(i),Integer.toString(i)));

.2.2 数据落地模块设计

上面几种数据接入方式中，会将数据缓存到 Kafka 集群中（数据库接入方式除外），接下来需要通过数据落地模块获取 Kafka 集群中缓存的数据并存储到Hadoop 平台中。

数据落地模块最重要的是实现数据落地过程的自动化，不需要任何自定义设置或者在 Kafka

topic 和 Hadoop 数据集之间作映射。LinkedIn 专门为此开发了一个名为 Camus 的系统。Camus 是一个从 Kafka到HDFS 的数据管道，它实际上是一个 MapReduce 作业。的 MapReduce 作业从 Kafka 的 Zookeeper获取可用的 topics，partitions 和 offset等元数据信息。根据安装阶段的数据建立 Kafka请求，拉取数据。每个 task都会生成 4 个文件：Avro data files，Count statistics files，Updated offset files，

山东大学硕士学位论文://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlparError files ，当一个 task 完成时，其拉取的数据都被提交到输出目录，每个 partition都有 offset，这些 offset信息存储在 HDFS 中。像一个已经开发好的系统组件，我们可以直接拿过来，稍作配置用来实现数据落地模块的功能，关键在于要实现两个类，Decoder 和 Writer，使其满足我们的系统需求。在实际使用Camus 的时候，我们需要关注以下三件事情：

（1）确定 MessageDecoder

（2）确定 RecordWriterProvider



（3）确定 Kafka话题

.3 运维日志关联分析子系统设计

.3.1 数据预处理模块设计

此模块是特征训练过程的入口，获取用来生成日志特征的训练数据，程序流程图如图 3-6 所示：


图 3-6 数据预处理模块流程设计

（1）首先以时间作为参数，调用 Spark 读 Hive 表的接口，获得指定区间内的训练日志数据；

（2）提取日志 message 字段的数据，对数据进行分词，过滤掉一些干扰词，比如“a,the,and”等，这里的分词使用的是 lucene 标准分词器；

（3）需要对数据进一步清洗，删除字母末尾的数字、特殊符号等；

（4）最后按条对数据去重后存入表中。此时得到的数据可视为临时特征数据，这些数据需要经过聚类操作得到最终的特征数据。

.3.2 特征训练模块设计

此模块通过对预处理后的日志数据根据相似性，进行聚类合并，最终获得少量有代表性的日



志特征，存入特征标签库。程序流程图如图 3-7 所示：


图 3-7 特征训练模块流程设计

（1）调用 Spark 读 Hive 表的接口，获得预处理后的日志数据；

（2）将预处理后的每条数据加一个临时标签，定义为临时特征。

（ 3 ）为进一步减少日志类别数量，我们将相似的临时特征字符串进 http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html 行聚类合并。聚类方法如下：

首先计算两个字符串的最长公共子序列，如果最长公共子序列的长度占这两个字符串各自长度的比值，都不低于一个人工经验确定的阈值，则认为这两个临


时特征相似。

然后构建所有临时特征的相似性邻接矩阵，相似矩阵值为 1，不相似值为 0。根据邻接矩阵构建图，每个临时特征为一个点，两个临时类别相似则两个点之间有一条无向边。如图 3-8

所示：

图 3-8 日志聚类算法



最后根据图结构对日志进行聚类，聚类规则为：若 a、b 相似，a、c 相似，则日志 a、b、c

合并为同一类日志。最后求同一类日志的最长公共子序列作为此类日志的特征。

（4）得到最终特征并赋予每条特征唯一的类别标签，存入特征标签库，为接下来的日志分类模块提供类别特征模板。

.3.3 流日志分类模块设计

此模块实时的获取日志数据流，并将数据流与训练得到的特征库里的特征进行匹配分类，程序流程图如图 3-9 所示：



图 3-9 流日志分类模块

（1）调用 Spark Streaming 读 Kafka消息队列的接口，实时获取 Kafka 内指定 Topic 的数据；

（2）参考数据预处理模块，对每条数据进行分词，并去除干扰词；

（3）将预处理后的日志数据与特征库里的特征字符串进行最长公共子序列相似度计算，若相似度大于一个阈值，给数据标记上相应的数据类别。若数据与特征库里的全都不相似，或者与多余一个特征相似，视为新数据，打上不匹配标记，这些数据需要重新训练和离线分类。



（4）将匹配和未匹配上的流日志数据，分别存入对应的 Hive 表中。

.3.4 离线日志分类模块设计

对于流日志分类模块未匹配上任何已有特征的数据，我们视为新数据，它们与已有特征标签库里的特征都不相似，所以需要对这些数据重新训练出新的特征及标签，然后根据新特征及标签对这些数据进行离线 http://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.html 日志分类。程序流程图如图 3-10 所示：


图 3-10 离线日志分类模块

（1）调用 Spark 读 Hive 表的接口，获取流日志分类模块未匹配成功的日志数据；

（2）参考数据预处理模块，对每天数据进行分词，并去除干扰词；

（3）将预处理后的日志数据与特征库里的特征字符串进行最长公共子序列相似度计算，若相似度大于一个阈值，给数据标记上相应的数据类别。若数据与特征库里的全都不相似，或者与多余一个特征相似，视为新数据，打上不匹配标记，这些数据需要重新训练和离线分类。

（4）将匹配和未匹配上的流日志数据，分别存入对应的 Hive 表中。





.3.5 频繁项集挖掘模块设计

本模块是日志关联分析子系统的核心模块，将打上标签的运维系统日志与本身带标签的告警日志进行合并，挖掘他们之间的频繁项集，进而能够分析系统日志与告警之间的关联关系。程序流程图如图 3-11 所示：



图 3-11 频繁项集挖掘模块设计

（1）调用 Spark 读 Hive 表接口，分别读取 Hive 表中指定时间段内的已经打好类别标签的系统日志和本身自带类别标签的告警日志；

（2）将两种日志按时间排序，然后根据指定时间窗口大小和步长大小生成事务。如图 3-

12 所示：

图 3-12事务生成策略

（3）调用 Spark MLlib 机器学习库里的 FPGrowth算法实现接口，对事务数据进行频繁项集挖掘，并打印展示所得到频繁项集。同时打印每条告警数据一段时间范围内的 syslog

数据，供用户查看。

.4 本章小结



本章是论文工作的重点章节，针对数据结构和格式的多样性，为数据平台设计了基于HCatalog 表数据管理层的统一的数据存储和访问方式，该方

山东大学硕士 http://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.html 学位论文

式能够屏蔽底层的数据存储格式，提供统一的数据和模式访问接口。针对多源异构运维日志的数据接入问题，设计了数据加载子系统，提供关系型数据库数据、配置数据、监测日志数据、统计数据与告警数据等多类型数据的加载服务，为用户提供多种数据接入方式，可以按照业务数据的自定义格式进行自定义加载。针对运维日志关联分析问题，设计了运维日志关联分析子系统，提供了对运维日志的离线和在线日志关联分析能力。


第 4 章系统实现与测试

.1 数据加载子系统

数据加载系统设计了几种数据接入方式，本章重点介绍了自定义的代码实现部分。

.1.1 数据接入模块

、主要代码实现

针对文本文件接入方式，系统自定义了一个 Flume 的 CSV拦截器，拦截器解析流数据，将与 Kafka 主题和数据 Schema 相关的特制文件名，写入到 Event 的 Header 中，具体代码如下所示：



Event apply(Event input)

topicName = getTopicName(input.getHeaders().get(BASENAME_Hif (topicName == null) Map<String, String> header = Maps.newHashMapWithExpectedSize(1); header.put(Interceptors.TOPIC,

topicName); // 序列化对象 byte[] body = ZERO_BYTES; try Topic topic = Topics.getTopic(topicName); String[] fields = new String(input.getBody()).split(separator, topic.getSchema().getFields().size()); Object[] record = AvroUtil.apphttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html

ly(AvroUtil.convert(topic.getSchema(),String str;// 临时存储 input转换成的 string str = new String(input.getBody()); topicName = str.split("@@")[0]; String body = str.split("@@")[1]; input.setBody(body.getBytes()); EADER_KEY)); fields),


topic.getRules()); body = AvroUtil.serialize(topic.getSchema(), record); logger.error("", e); catch (Exception e) return EventBuilder.withBody(body, header);

¶ÔÊý¾Ý½øÐÐAvroÐòÁÐ»¯£º

static byte[] serialize(Schema schema, Object[] fields) throws IOException

<GenericRecord> writer = new GenericDatumWriter<GenericRecord>(schema);

out = new ByteArrayOutputStream();

encoder = EncoderFactory.get().binaryEncoder(out, null);

record = new GenericData.Record(schema);

(int i = 0; i < fields.length; i)

://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlarrecord.put(i, fields[i]);



.write(record, encoder);

.flush();

.close();

out.toByteArray();

½«Kafka Topic ÓëHive±íÃû×Ö½áºÏ£¬Í¨¹ýHive±íÃû×Ö»ñÈ¡ÏàÓ¦Topic£º public Topic getTopic(String

topicName)throws TopicErrorException, TopicNotFoundException

<String, String> names = TopicUtils.getDbAndTableName(topicName); try

table = getTable(names.first, names.second, thriftUris); return TopicUtils.createTopic(names.first,

names.second, table.getCols(), table.getPartCols(), table.getParameters());

catch (NoSuchObjectException e)

new TopicNotFoundException();

É½¶«´óÑ§Ë¶Ê¿Ñ§Î»ÂÛÎÄ

catch (Exception e)

new TopicErrorException(e);

¡¢¹¦ÄÜ²âÊÔ

±¾²âÊÔËùÓÃÊý¾ÝÊÇÔÚ¼¯Èº½ÚµãÉÏÍ¨¹ý×Ô¶¨Òå½Å±¾Éú³ÉµÄÓ²ÅÌSmartÐÅÏ¢

£¬Í¨¹ý¸ÃÊý¾Ý¿ÉÒÔÁË½âÓ²ÅÌµÄ¸÷ÊôÐÔÐÅÏ¢¼°Ó²ÅÌµÄ¹ÊÕÏ×´¿ö¡£

±¾ÎÄ²ÉÓÃÊý¾Ý½ÓÈë·½°¸Îª²É¼¯½Å±¾ÊµÊ±²É¼¯½ÓÈë£¬¾ßÌå¹ý³ÌÈçÏÂËùÊ¾£º

£¨1£©´´½¨hive±í

×îÖÕÎÒÃÇÒª½«smartÊý¾Ý½ÓÈëµ½http://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.htmlhive±íÖÐ£¬ËùÒÔÎÒÃÇÊ×ÏÈÒª´´½¨Ò»¸öÂú×ãsmartÊý¾Ý½á¹¹µÄhive±í¡£

table smart_data(serial_number String ,update_time string,smart_health_status string ,current_drive_temperature

int,drive_trip_temperature int,elements_in_grown_defect_list int,manufactured_time string ,cycle_count



int ,start_stop_cycles int ,load_unload_count int ,load_unload_cycles int ,blocks_sent_to_initiator

bigint ,blocks_received_from_initiator bigint ,blocks_read_from_cache

bigint ,num_commands_size_not_larger_than_segment_size

bigint ,num_commands_size_larger_than_segment_size bigint ,num_hours_powered_up

string ,num_minutes_next_test int ,read_corrected_ecc_fast bigint ,read_corrected_ecc_delayed

bigint ,read_corrected_re bigint ,read_total_errors_corrected bigint ,read_correction_algo_invocations

bigint ,read_gigabytes_processed bigint ,read_total_uncorrected_errors string ,write_corrected_ecc_fast

bigint ,write_corrected_ecc_delayed bigint

,writhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmle_corrected_re

bigint ,write_total_errors_corrected bigint ,write_correction_algo_invocations bigint ,write_gigabytes_processed

bigint ,write_total_uncorrected_errors string ,verify_corrected_ecc_fast bigint ,verify_corrected_ecc_delayed

bigint ,verify_corrected_re bigint ,verify_total_errors_corrected bigint ,verify_correction_algo_invocations

bigint ,verify_gigabytes_processed bigint ,verify_total_uncorrected_errors bigint ,non_medium_error_count

bigint);

£¨2£©´´½¨topic

²É¼¯µ½µÄÊý¾ÝÒªÉú³ÉÒ»ÌõÌõµÄeventÊý¾Ý´«¸økafkaÏûÏ¢ÏµÍ³±£´æ£¬kafkaÐèÒªÊÂÏÈ´´½¨Ò»¸ötopicÀ

´Éú²úºÍÏû·ÑÖ¸¶¨Êý¾Ý¡£ÎªÏµÍ³Õý³£ÔËÐÐ£¬ÎÒÃÇÍ³Ò»¶¨ÒåtopicµÄÃû×Ö½á¹¹Îª¡°hive-Êý¾Ý¿âÃû-±íÃû¡±

¡£ÐèÒªÔÚkafka¼¯Èº½ÚµãÉÏ´´½¨


£¬Ê¾ÀýÈçÏÂ£º

/kafka-topics --create --zookeeper localhost:2181/kafka --topic hive-xdf-smart_data --partitions 1

-replication-factor 1

×¢Òâ£º´Ë´¦µÄÊý¾Ý¿âÃû¡¢±íÃû£¬±ØÐëÎªÉÏÒ»²½´´½¨µÄhive±í£¬ÒòÎªFlume»áÍ¨¹ý´ËtopicÃûÀ

´»ñÈ¡hive±íµÄÔªÊý¾ÝÐÅÏ¢£¬´Ó¶øÉú³É¶ÔÓ¦eventÊý¾Ý¡£

£¨3£©ÅäÖÃFlume agentÆô¶¯²ÎÊý

Éú³É²ÎÊýÎÄ¼þsmart_test.conf£¬ÎÄ¼þÄÚÈÝÈçÏÂhttp://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.html£º a3.channels = c3 a3.sources = r3 a3.sinks = k3 a3.sources.r3.type = exec

a3.sources.r3.channels = c3 http://www.wenkuxiazai.command = tail -F /home/xdf/exec.txt

a3.sources.r3.fileHeader = false a3.sources.r3.basenameHeader = false a3.sources.r3.interceptors = i3

a3.sources.r3.interceptors.i3.type =iie.flume.interceptor.CSVInterceptor$Builder

a3.sources.r3.interceptors.i3.separator = ; a3.sources.r3.decodeErrorPolicy=IGNORE a3.channels.c3.type =

memory a3.channels.c3.capacity = 10000 a3.channels.c3.transactionCapacity = 1000 a3.sinks.k3.channel = c3 #

a3.sinks.k3.type = logger #a3.sinks.k3.batchSize = 10 a3.sinks.k3.type = org.apache.flume.sink.kafka.KafkaSink



.sinks.k3.brokerList = localhost:9092


´Ë´¦Êý¾ÝÔ´sourcesµÄÀàÐÍÎªexec¡£¾ßÌåÃüÁîÎª£º

://www.wenkuxiazai.command = tail -F /home/xdf/exec.txt

ÎÒÃÇ¶¨Ê±ÔÚÃ¿¸ö½ÚµãÔËÐÐÒ»¸ö½Å±¾Éú³ÉÒ»ÌõsmartÊý¾Ý£¬½«Êý¾ÝÐ´Èë

/home/xdf/exec.txtÎÄ¼þ¡£flumeÓÃÉÏÃæÄÇ¸öÃüÁîÒ»Ö±¼à¿ØÎÄ¼þ/hohttp://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.htmlme/xdf/exec.txt£¬ÈçÓÐÐÂÊý¾ÝÐ´Èë£¬Ôò²É¼¯´«Êäµ½kafkaÀï¡£

£¨4£©¿ªÆôFlume Agent

Ö´ÐÐÃüÁî£º cd /usr/local/apache-flume-1.6.0-bin

./bin/flume-ng agent --conf conf --conf-file smart_test.conf --name a3 -Dflume.root.logger=INFO

£¨5£©Éú³ÉSmartÊý¾Ý

ÔÚÃ¿¸öÊý¾Ý½ÚµãÉÏÔËÐÐcreateEvent.py½Å±¾£¬Éú³ÉÒ»Ìõ½á¹¹»¯ºÃµÄsmartÊý¾Ý¡£

½Å±¾ÓÐÁ½¸ö²ÎÊýsmart_data.log£¬hive-xdf-smart_data£¬Ç°ÕßÎªsmartÃüÁîÊä³öµÄÔÊ¼ÐÅÏ

¢ÎÄ¼þ£¬ºóÕßÊÇtopicÃû×Ö£¬¼´ÉÏÒ»²½Éú³ÉµÄtopicÃû¡£ python createEvent.py smart_data.log hive-xdf-

smart_data >

/home/xdf/exec.txt

´Ë½Å±¾»á½âÎösmartÔÊ¼ÐÅÏ¢£¬Éú³ÉÒ»Ìõ´øtopic×Ö¶ÎµÄ½á¹¹»¯smartÊý¾ÝÐ´Èëµ½/home/xdf/

exec.txtÎÄ¼þÖÐ£¬Êý¾Ý¸ñÊ½ÈçÏÂ£º

xdf-smart_data@@EB00PC208HFC;2015-06-23 18:56:09;OK;28;65;0;week 08 of year

2012;50000;21;200000;69;-1;-1;-1;-1;-1;-1;-1;0;0;0;0;0;0;300744.962;0;0;0;0;0;0;10841.446;0;-1;-1;-1;-1;-1;-1;-1

ÓÃ·ûºÅ¡°@@¡±½«topic¸úsmartÊý¾Ý·Ö¿ª£¬smartÊý¾ÝÃ¿ÁÐ¼äÓÃ¶ººÅ¸ô¿ª¡£

£¨5£©²âÊÔÊ±²é¿´KafkaÊý¾Ý



²é¿´Êý¾ÝÊÇ·ñ³É¹¦Éú³Éµ½kafkaÖÐ£¬¿ÉÔÚkafka½ÚµãÉÏ£¬Í¨¹ýÏÂÃæÃüÁî²é¿´£º kafka-console-consumer --

zookeeper localhost:2181/kafka --topic

hive-xdf-smarthttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html_data --from-beginning

µ÷ÓÃKafkaÏû·ÑÕßÃüÁîÐÐ£¬½á¹ûÈçÍ¼4-1ËùÊ¾


Í¼4-1 KafkaÏû·ÑÕßÊä³ö

ÈçÍ¼4-1ËùÊ¾£¬±íÃ÷Êý¾Ý½ÓÈëÄ£¿é¹¦ÄÜÊµÏÖ£¬Êý¾ÝÒÑ³É¹¦½ÓÈëµ½Kafka¼¯Èº¡£

.1.2 Êý¾ÝÂäµØÄ£¿é

Êý¾ÝÂäµØÄ£¿é£¬±¾ÎÄÊ¹ÓÃLinkedin Camus×÷ÎªKafkaµ½HDFSµÄ¹ÜµÀ£¬½«Êý¾Ý¶¨Ê±ÅúÁ¿µÄ

´ÓKafkaµ¼Èëµ½HDFS´æ´¢ÆðÀ´¡£ÎªÍê³É

´ËÏî¹¦ÄÜ£¬ÎÒÃÇÐèÒª¶¨Òå×Ô¼ºµÄMessageDecoderºÍRecordWriter¡£MessageDecoderÊÇ¶ÔKafkaµÄÏûÏ

¢½øÐÐ½âÎöµÄ½âÎöÆ÷£¬±ÈÈçCamus×Ô

´øÁË¼¸¸öDecoder£ºKafkaAvroMessageDecoder£¬JsonStringMessageDecoderµÈ¡£Ïà±ÈMessageDecoderÔÚCa

musµÄÊäÈë¶Ë·¢»Ó×÷ÓÃ£¬ RecordWriterÔòÔÚÊä³ö¶Ë·¢»Ó×÷ÓÃ£¬È·¶¨CamusÈçºÎ°ÑÊý¾ÝÐ

´µ½HDFSÖÐ¡£CamusÄ¬ÈÏÊÇÖ§³ÖAvro¸ñÊ½£¬×Ô´øÁËAvroRecordWriterProvider¡£

¡¢Ö÷Òª´úÂëÊµÏÖ

±¾ÎÄÔÚÏµÍ³ÖÐÊµÏÖÁËÒ»¸ö¼òµ¥µÄ×Ö·û´®½âÎöÆ÷£¬»ù±¾±£³ÖÏûÏ¢ÔÎÄ£¬´æ´¢µ½HDFS£¬´úÂëÈçÏÂ£º

class StringMessageDecoder extends MessageDecoder<byte[], String>

void init(Properties props, String topicName)

.props = props;

.topicName = topicName;

CamusWrapper<String> decode(byte[] payload)

timestamp = 0;



payloadString;http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html

= new

[´Ë´¦Í¼Æ¬Î´ÏÂÔØ³É¹¦]

String(payload);

= System.currentTimeMillis();

new CamusWrapper<String>(payloadString, timestamp);



¸ÃÀà¼Ì³ÐÓÚcom.linkedin.camus.coders.MessageDecoder£¬ÊäÈëµÄÀàÐÍÎªbyte[]

£¬½âÎöºóµÄÀàÐÍÎªString¡£ÖØµãÊÇÊµÏÖdecode·½·¨£¬·µ»ØÒ»¸öCamusWrapper¶ÔÏó£¬¸Ã¶ÔÏó°üº¬ÁË½âÎöºó

µÄÊý¾Ý¡£


½«Êý¾Ý½ÓÈëÄ£¿éµ¼ÈëKafkaµÄsmartÊý¾ÝÂäµØµ½Hive±íÖÐ£¬

´ò¿ªcamus.propertiesÅäÖÃÎÄ¼þ£¬ÐÞ¸ÄÒÔÏÂÁ½¸ö²ÎÊý£º

.whitelist.topics=hive-xdf-smart_data ----smartÊý¾Ý¶ÔÓ¦topic kafka.brokers=m105:9092,m103:9092

----kafka broker lists

ÐÞ¸ÄÍêÅäÖÃÎÄ¼þºó£¬¶¨Ê±ÔËÐÐcamus.sh½Å±¾£¬¾Í»á½«ÐÂÉú³ÉµÄsmartÊý¾Ý½ÓÈëµ½topicËù¶ÔÓ¦µÄh

ive±íÖÐÁË¡£

.sh½Å±¾ÄÚÈÝÈçÏÂ£º #!/bin/bash

jar camus-example-0.1.0-cdh-SNAPSHOT-shaded.jar com.linkedin.camus.etl.kafka.CamusJob -P

camus.properties

²âÊÔ½á¹ûÏÔÊ¾KafkaÖÐµÄÊý¾Ý£¬³É¹¦µÄ¶¨Ê±ÂäµØµ½Ö¸¶¨Hive±íÖÐ£¬±¾Ä£¿é¹¦ÄÜÊµÏÖ¡£

.2ÔËÎ¬ÈÕÖ¾¹ØÁª·ÖÎö×ÓÏµÍ³



.2.1 Êý¾ÝÔ¤´¦ÀíÄ£¿é

´ËÄ£¿éÊÇÌØÕ÷ÑµÁ·¹ý³ÌµÄÈëhttp://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.html¿Ú£¬Ìá¹©ÒªÀ

´Éú³ÉÌØÕ÷µÄÊý¾Ý£¬Ö÷Òª²Ù×÷ÊÇÏÈ¸ù¾ÝÊ±¼ä¶ÁÈ¡Ò»¸öÇø¼äÄÚµÄÈÕÖ¾£»È»ºóÌáÈ¡ÈÕÖ¾message×Ö¶

ÎµÄÊý¾Ý£¬¶ÔÊý¾Ý½øÐÐ·Ö´Ê£¬¹ýÂËµôÒ»Ð©¸ÉÈÅ´Ê£¬±ÈÈç¡°a,the,and¡±µÈ£¬ÕâÀïµÄ·Ö

´ÊÊ¹ÓÃµÄÊÇlucene±ê×¼·Ö´ÊÆ÷£»È»ºóÐèÒª¶ÔÊý¾Ý½øÒ»²½ÇåÏ

´£¬É¾³ý×ÖÄ¸Ä©Î²µÄÊý×Ö¡¢ÌØÊâ·ûºÅµÈ£»×îºó°´Ìõ¶ÔÊý¾ÝÈ¥ÖØºó´æÈë±íÖÐ¡£

´ËÊ±µÃµ½µÄÊý¾Ý¿ÉÊÓÎªÁÙÊ±ÌØÕ÷Êý¾Ý£¬ÕâÐ©Êý¾ÝÐèÒª¾¹ý¾ÛÀà²Ù×÷µÃµ½×îÖÕµÄÌØÕ÷Êý¾Ý¡£


µ÷ÓÃlucene·Ö´ÊÆ÷¶ÔÔÊ¼×Ö·û´®½øÐÐ·Ö´Ê²Ù×÷£¬¹ýÂËÈ¥³ý¸ÉÈÅ´Êºó·µ»Ø·Ö´Ê½á¹û£º

static List<String> luceneSplitLine(String originalLine)

IOException //µ÷ÓÃlucene·Ö´ÊÆ÷


´Ê¼¯ºÏ

();

<String> sw = new LinkedList<String>(); sw.add(""); CharArraySet stopWords = new

CharArraySet(sw, true);//¶¨ÒåÍ£ÓÃ // ¼ÓÈëÏµÍ³Ä¬ÈÏÍ£ÓÃ´Ê Iterator<Object> iter =

StandardAnalyzer.STOP_WORDS_SET.iteratowhile (iter.hasNext()) // ÓÃLucene±ê×¼·Ö´ÊÆ÷¶Ô×Ö·û

´®½øÐÐ·Ö´Ê,²¢È¥³ýÄ¬ÈÏÍ£ÓÃ´Ê¼°±êstopWords.add(iter.next()); µã·ûºÅ£¬Í¬Ê±È¥³ý×Ô¶¨Òå¸ÉÈÅ´Ê

analyzer = new StandardAnalyzer(stopWords); TokenStream ts = analyzer.tokenStream("field",

originalLhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmline); CharTermAttribute ch =

ts.addAttribute(CharTermAttribute.class); ts.reset(); List<String> splitLine = new ArrayList<String>



(); final String regHexadecimal = "^[0-9a-fA-Fx]*$";// 16½øÖÆ final String regNumber =

"^[0-9.,]*$";// 10½øÖÆ final String regNotation = "[\.]";// Ð¡Êýµã final String

regStoreMemory = "(?!^[kmgb]*$)^([0-9kmgb.])*$";// ´æ´¢´óÐ¡£¬²»È¥³ýmb£¬gb

String regIP = "^([01]?\d\d?|2[0-4]\d|25[0-5])\.([01]?\d\d?|2//ÖðÌõ±ãÀûÊý¾Ý¼¯£¬¶ÔÊý¾Ý½øÐÐ·Ö

´Ê¹ýÂË²Ù×÷ while (ts.incrementToken()) String word = ch.toString(); boolean isNumber =

word.matches(regNumber); boolean isIP = word.matches(regIP); boolean isHexadecimal =

word.matches(regHexadecimal); boolean isStoreMemory = word.matches(regStoreMemory); if ((!isNumber)

&& (!isIP) && (!isHexadecimal) && (!isStore[0-4]\d|25[0-5])\.([01]?\d\d?|2[0-4]\d|

25[0-5])\.([01]?\d\d?|2[0-4]\d|25http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html[0-5])

$";


))

finalStr = word; // È¥³ý×Ö·û´®Ä©Î²µÄÊý×Ö

temp = finalStr.substring(finalStr.length() - 1); // ÅÐ¶Ï×Ö·û´®×îºóÒ»Î»ÊÇ·ñÊÇÊý×Ö»òµãºÅ boolean

tailIsNumber = temp.matches(regNumber)

|| temp.matches(regNotation);

str = ""; if (tailIsNumber)

(int i = finalStr.length() - 1; i > 0; i--)

.add(str);

// Èô×Ö·û´®Ä©Î²²»ÊÇÊý¾Ý£¬Ö±½Ó±£´æ splitLine.add(finalStr);

tempStr = finalStr.substring(i);

isNumber2 = tempStr.matches(regNumber)



|| tempStr.matches(regNotation);

= finalStr.substring(0, i 1); if (!isNumber2)

;

else

.end(); ts.close(); //·µ»Ø·Ö´Ê½á¹û return splitLine;


ÊäÈëÊý¾ÝÎªsyslogÈÕÖ¾Êý¾Ý£¬ÔÚUnixÀà²Ù×÷ÏµÍ³ÉÏ£¬syslogÔÚÏµÍ³ÈÕÖ¾¹ã·ºÓ¦ÓÃ¡£³£¼ûµÄÓ¦ÓÃ³¡¾°Ê

ÇÍøÂç¹ÜÀí¹¤¾ß¡¢°²È«¹ÜÀíÏµÍ³¡¢ÈÕÖ¾Éó¼ÆÏµÍ³¡£ Íê

É½¶«´óÑ§Ë¶http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlÊ¿Ñ§Î»ÂÛÎÄ

ÕûµÄsyslogÈÕÖ¾ÖÐ°üº¬²úÉúÈÕÖ¾µÄ³ÌÐòÄ£¿é£¨Facility£©¡¢ÑÏÖØÐÔ£¨Severity»ò

Level£©¡¢Ê±¼ä¡¢Ö÷»úÃû»òIP¡¢½ø³ÌÃû¡¢½ø³ÌIDºÍÕýÎÄ¡£ÔÚUnixÀà²Ù×÷ÏµÍ³ÉÏ£¬ÄÜ¹»°

´FacilityºÍSeverityµÄ×éºÏÀ´¾ö¶¨Ê²Ã´ÑùµÄÈÕÖ¾ÏûÏ¢ÊÇ·ñÐèÒª¼ÇÂ¼£¬¼ÇÂ¼µ½Ê²Ã´µØ·½£¬ÊÇ·ñÐèÒª·

¢ËÍµ½Ò»¸ö½ÓÊÕsyslogµÄ·þÎñÆ÷µÈ¡£±í4-1ÎªsyslogÈÕÖ¾µÄ½á¹¹¡£

±í4-1ÎªsyslogÈÕÖ¾µÄ½á¹¹

ÊäÈëÊý¾Ý£¬ÔÊ¼syslogÈÕÖ¾Êý¾ÝÑùÀý£º

_DFA 3 192.168.16.8 2014-12-13 20:00:05 cjgl.x[22697] ¿ªÊ¼±éÀú /var/log/asmis/os ÏÂµÄËùÓÐÎÄ¼þ

_DFA 3 192.168.16.8 2014-12-13 20:00:05 cjgl.x[22697] ¿ªÊ¼±éÀú /var/log/asmis/os ÏÂµÄËùÓÐÎÄ¼þ


Êä³ö½á¹ûÈçÍ¼ 4-2ËùÊ¾£º



Í¼4-2 Êý¾ÝÔ¤´¦Àí½á¹û

½áÂÛ£º´ÓÊä³ö½á¹û¿ÉÒÔ¿´µ½£¬³ÌÐòÍê³ÉÁËÌáÈ¡syslogÈÕÖ¾message×Ö¶ÎµÄÊý

¾Ý£¬²¢½øÐÐ·Ö´Ê¡¢¹ýÂË¸ÉÈÅ´Ê¡¢È¥ÖØ²Ù×÷£¬µÃµ½Í³Ò»ÓÃ¿Õ¸ñ·Ö¸îµÄ·Ö´ÊÊý¾ÝµÄ¹¦ÄÜ¡£

.2.2 ÌØÕ÷ÑµÁ·Ä£¿é

±¾Ä£¿éµÄÄ¿µÄÊÇ½«Ô¤´¦ÀíºóµÄÃ¿ÌõÊý¾Ý¼ÓÉÏÒ»¸öÁÙÊ±

±êÇ©£¬¶¨ÒåÎªÁÙÊ±ÌØÕ÷¡£Îª½øÒ»²½¼õÉÙÈÕÖ¾Àà±ðÊýÁ¿£¬ÎÒÃÇ½«ÁÙÊ±ÌØÕ÷Í¨¹ýÏàËÆÐÔ¼ÆËã£¬¾

ÛÀà³É¸üÉÙµÄÌØÕ÷£¬²¢¸³ÓèÃ¿ÌõÌØÕ÷Î¨Ò»µÄÀà±ð±êÇ©£¬´æÈëÌØÕ÷±êÇ©¿â£¬Îª½ÓÏÂÀ

´µÄÈÕÖ¾·ÖÀàÄ£¿éÌá¹©Àà±ðÌØÕ÷Ä£°å¡£

ÕâÀïÎÒÃÇÓÃµÄÏàËÆÐÔ¼ÆËã·½·¨Îª×î³¤¹«¹²×ÓÐòÁÐÏàËÆ¡£¼

´¼ÆËãÁ½¸öÁÙÊ±ÌØÕ÷µÄ×î³¤¹«¹²×ÓÐòÁÐ£¬Èç¹û×î³¤¹«¹²×ÓÐòÁÐµÄ³¤¶È·Ö±ðÕ¼ÕâÁ½¸öÁÙÊ±ÌØÕ÷¸÷×Ô

³¤¶È


µÄ±ÈÖµ£¬¶¼²»µÍÓÚÒ»¸öÈË¹¤¾-

ÑéÈ·¶¨µÄãÐÖµ£¬ÔòÈÏÎªÕâÁ½¸öÁÙÊ±Àà±ðÏàËÆ¡£×îºóÎÒÃÇÈ¡ËùÓÐÏàËÆÁÙÊ±ÌØÕ÷ÎªÒ»Àà£¬²

¢È¡ËüÃÇµÄ×î³¤¹«¹²×ÓÐòÁÐÎª×îÖÕhttp://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.htmlÀà±ðÌØÕ÷¡£ 1¡¢ Ö÷Òª´úÂëÊµÏÖ

¼ÆËã×î³¤¹«¹²×ÓÐòÁÐ³¤¶È£º

[][] c = new int[message1.length][message2.length];// c[][]´æ´¢x¡¢yLCS³¤¶È for (int p = 1; p <

message1.length; p )

»ñµÃÊý¾Ý¼ÇÂ¼ÏàËÆÐÔµÄÁÚ½Ó¾ØÕó£¬¶ÔÏàËÆÐÔÁÚ½Ó¾ØÕó½øÐÐÉî¶ÈÓÅÏÈ±éÀú£¬

Ò»¸öÁªÍ¨×ÓÍ¼ÄÚ¼ÇÂ¼¾ÛÎªÒ»Àà£¬²¢ÌáÈ¡Æä×î³¤¹«¹²×ÓÐòÁÐÎªÀà±ðÌØÕ÷¡£

<String> vertexList = lcsArr.collect();

[][] matrix = new String[rowCount][rowCount]; for (int i = 0; i < vertexList.size(); i )

[] temp = vertexList.get(i).split(";");

[Integer.parseInt(temp[0])][Integer.parseInt(temp[1])] = temp[2]; for (int q = 1; q < message2.length; q )



(message1[p].equals(message2[q]))

[p][q] = c[p - 1][q - 1] 1; c[p][q] = c[p - 1][q]; c[p][q] = c[p][q - 1];

else if (c[p - 1][q] >= c[p][q - 1]) else

//Éî¶ÈÓÅÏÈ±éÀú

(rowCount, rowIds, matrix);


ÊäÈë6Ìõ¾¹ýÊý¾ÝÔ¤´¦ÀíÄ£¿éµÃµ½µÄsyslog·Ö´ÊÊý¾Ý£¬ÈçÏÂËùÊ¾£º ¿ª Ê¼ ±é Àú

vahttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlr log asmis os ÏÂ µÄ Ëù ÓÐ ÎÄ ¼þ ¿ª Ê¼

±é Àú var log asmis mwp ÏÂ µÄ Ëù ÓÐ ÎÄ ¼þ


¿ª Ê¼ ±é Àú var log asmis outer ÏÂ µÄ Ëù ÓÐ ÎÄ ¼þ smartd device dev sdb sat opened smartd device dev sdc sat

opened kernel copyright intel corporation kernel selinux initializing

Êä³ö4ÌõÀà±ðÌØÕ÷£¬ÈçÍ¼4-3ËùÊ¾£º

Í¼4-3 ÌØÕ÷ÑµÁ·½á¹û

½áÂÛ£ºÊä³ö½á¹ûÏÔÊ¾£¬³ÌÐòÊµÏÖÁËÌØÕ÷ÑµÁ·¹¦ÄÜ£¬³É¹¦µÃµ½ÁËÈÕÖ¾¾ÛÀàºóµÄÌØÕ÷Êý¾Ý¡£

.2.3 Á÷ÈÕÖ¾·ÖÀàÄ£¿é

´ËÄ£¿éµÄ¹¦ÄÜÊÇ»ùÓÚSpark StreamingÊµÊ±¼ÆËã¿ò¼Ü±àÐ´ÔÚÏß

´¦Àí³ÌÐò£¬ÊµÊ±¶ÁÈ¡Êý¾Ý½ÓÈëÏµÍ³½ÓÈëµ½KafkaÏûÏ¢¶ÓÁÐÀïµÄÈÕÖ¾£¬Éú³ÉÊý¾ÝÁ÷£¬²

¢½«Êý¾ÝÁ÷ÓëÑµÁ·µÃµ½µÄÌØÕ÷¿âÀïµÄÌØÕ÷½øÐÐÆ¥Åä£¬ÈôÏàËÆ¶È

´óÓÚÒ»¸öãÐÖµ£¬¸øÊý¾Ý±ê¼ÇÉÏÏàÓ¦µÄÊý¾ÝÀà±ð¡£ÈôÊý¾ÝÓëÌØÕ÷¿âÀïµÄÈ«¶¼²»ÏàËÆ£¬»òÕßÓë¶àÓà

Ò»¸öÌØÕ÷ÏàËÆ£¬ÊÓÎªÐÂÊý¾Ý£¬´òÉÏ²»Æ¥Åä±ê¼Ç£¬ÕâÐ©Êý¾ÝÐèÒªÖØÐÂÑµÁ·¡¢·ÖÀà¡£ 1¡¢ Ö÷Òª

´úÂëÊµÏÖ



´´½¨Spark Streaming³ÌÐòÈë¿Ú£º SparkConf conf = new SparkConf();

conf.setAppName("StreamingLogMatcher");

.set("spark.streaming.receiver.writeAheadLog.enable", "true"); JavaSparkContext jsc =

new JavaSparkContext(conf); JavaStreamingContext Duration(5000));

µ÷ÓÃKafka½Ó¿Ú£¬¶ÁÈ¡KafkaÄÚµÄÈÕÖ¾Á÷Êý¾Ý£º

<String, Strinhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlg> kafkaParams = new

HashMap<String, String>(); kafkaParams.put("zookeeper.connect", ZK_QUORUM);


kafkaParams.put("group.id", GROUP_ID);

= new JavaStreamingContext(jsc, new


.put("zookeeper.connection.timeout.ms", "10000");

kafkaParams.put("KafkaTopicSchema", schema);

.put("auto.offset.reset", "smallest");// topicÊý¾Ý¿ÉÒÔÖØ¸

´¶ÁÈ¡ JavaPairInputDStream<String, String[]> eachStream = KafkaUtils .createStream(jssc, String.class,

String[].class, StringDecoder.class, AvroSDecoder.class, kafkaParams, topicMap,

StorageLevel.MEMORY_AND_DISK_SER());

¡¢ ¹¦ÄÜ²âÊÔ

ÊäÈë4ÌõÈÕÖ¾Á÷Êý¾Ý£¬½«ÆäÓëÌØÕ÷¿âÀïµÄ½øÐÐÆ¥Åä£º 503_DFA 3

2014-12-21 00:25:34 BJLTSH-503-DFA-CL-SEV13

.x[23479]: ¿ªÊ¼±éÀú /var/log/asmis/outer ÏÂµÄËùÓÐÎÄ¼þ 503_DFA 3

2014-12-21 00:25:35 http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlBJLTSH-503-DFA-CL-

SEV13

.x[23479]: ¿ªÊ¼±éÀú /var/log/asmis/mwp ÏÂµÄËùÓÐÎÄ¼þ 503_DFA 3

2014-12-21 00:25:45 BJLTSH-503-DFA-CL-SEV13ip 2014-12-21 00:25:41 BJLTSH-503-DFA-CL-SEV13

[1612]: Connection from UDP: [ip]:55419 503_DFA 3



[1612]: Connection from UDP: [ip]:62959

Êä³ö½á¹ûÈçÍ¼4-4ËùÊ¾£º

Í¼4-4Á÷ÈÕÖ¾·ÖÀà½á¹û

½áÂÛ£ºÇ°Á½ÌõÊý¾ÝÆ¥Åä³É¹¦£¬

´òÉÏÁËÀà±ð±êÇ©L_1£¬ºóÁ½ÌõÊý¾ÝÎªÐÂÊý¾Ý£¬ÏÖÓÐµÄÌØÕ÷±êÇ©¿âÀïµÄÌØÕ÷£¬Ã»ÓÐÓëÖ®Æ¥Åäµ

ÄÏî£¬¹Ê´òÉÏNotagµÄ±êÇ©¡£

.2.4 ÀëÏßÈÕÖ¾·ÖÀàÄ£¿é


ÀëÏßÈÕÖ¾·ÖÀàÄ£¿éÖ÷Òª¹¦ÄÜÊÇ£ºÕë¶ÔÒÑÂäµØµ½hive±íÖÐµÄSyslogÈÕÖ¾£¬»ù


ÓÚÄÚ´æ¼ÆËã¿ò¼ÜSpark½øÐÐÀëÏß·ÖÀà²Ù×÷¡£ÆäÖ÷ÒªÓ¦ÓÃÊÇ£¬¶ÔÓÚÁ÷ÈÕÖ¾·ÖÀàÄ£¿éÎ

´Æ¥ÅäÉÏÈÎºÎÒÑÓÐÌØÕ÷µÄÊý¾Ý£¬ÎÒÃÇÊÓÎªÐÂÊý¾Ý£¬ËüÃÇÓëÒÑÓÐÌØÕ÷±êÇ©¿âÀïµÄÌØÕ÷¶¼²»ÏàË

Æ£¬ËùÒÔÐèÒª¶ÔÕâÐ©Êý¾ÝÖØÐÂÑµÁ·³öÐÂµÄÌØÕ÷¼°±êÇ©£¬È»ºó¸ù¾ÝÐÂÌØÕ÷¼°±êÇ©¶ÔÕâÐ©Êý

¾Ý½øÐÐÀëÏßÈÕÖ¾·ÖÀà¡£


´´½¨³ÌÐòÈë¿Ú¶ÔÏó£º

sparkConf = new SparkConf().setAppName("AddLabel"); JavaSparkContext jsc = new

JavaSparkContext(sparkConf); µ÷ÓÃnewAPIHadoopRDD½Ó¿Ú¶ÁÈ¡Ö¸¶¨Hive±íÖÐµÄÊý¾Ý£º Configuration

inputConf = new Configuhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlration(); Job job =

Job.getInstance(inputConf);

.setInput(job.getConfiguration(), dbName, sourceTable, trainPartition);



<WritableComparable, SerializableWritable> sourceRDD =

jsc .newAPIHadoopRDD(job.getConfiguration(),SerHCatInputFormat.class,

WritableComparable.class,SerializableWritable.class);


ÊäÈëÊý¾Ý£¬Á÷ÈÕÖ¾Æ¥ÅäÄ£¿éÎ´Æ¥ÅäµÄÈÕÖ¾Êý¾Ý£º Notag 503_DFA Notag 503_DFA

3

2014-12-21 00:25:45 BJLTSH-503-DFA-CL-SEVip 2014-12-21 00:25:41 BJLTSH-503-DFA-CL-SEV

snmpd[1612]: Connection from UDP: [ip]:55419 13 snmpd[1612]: Connection from UDP:


[ip]:62959

Êä³ö½á¹ûÈçÍ¼4-5ËùÊ¾£º

Í¼4-5 ÀëÏßÈÕÖ¾·ÖÀà½á¹û

½áÂÛ£ºÎ´Æ¥ÅäµÄÈÕÖ¾Êý¾ÝÔÚÐÂÌØÕ÷±êÇ©¿âµÄ»ù´¡ÉÏ£¬ÖØÐÂÆ¥Åä³É¹¦£¬Íê³ÉÀëÏß·ÖÀà¹¦ÄÜ¡£


.2.5 Æµ·±Ïî¼¯ÍÚ¾òÄ£¿é

Ñ¡È¡Ò»¶ÎÊ±¼äÄÚµÄ¸æ¾¯ÈÕÖ¾ºÍ³É¹¦·ÖÀàµÄsyslogÈÕÖ¾Êý¾Ý£¬°´Ê±¼äÅÅÐòºóÖ¸¶¨´°¿Ú

´óÐ¡£¬Éú³ÉÊÂÎñ¡£È»ºó»ùÓÚSpark

MLlib»úÆ÷Ñ§Ï°¿âÀïµÄ¹ØÁª·ÖÎöAPI£¬¶ÔÊÂÎñ½øÐÐÆµ·±Ïî¼¯ÍÚ¾ò£¬µÃµ½Æµ·±Ïî½øÐÐÕ¹Ê¾¡£²¢ÇÒ

´òÓ¡Ã¿Ìõ¸æ¾¯Êý¾ÝÒ»¶ÎÊ±¼ä·¶Î§ÄÚµÄshttp://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.htmlyslogÊý¾Ý£¬¹©ÓÃ»§²é¿´¡£




conf = new SparkConf().setAppName("LogMergeAndMining"); SparkContext sc = new

SparkContext(conf);

sqlContext = new org.apache.spark.sql.hive.HiveContext(sc); //±éÀúÃ¿¸ö½ÚµãµÄÊý¾Ý£¬½øÐÐ´¦Àí for (int k

= 0; k < ips.size(); k ) 2...)

ip = ips.get(k);

// »ñÈ¡¶ÔÓ¦ipµÄ¸æ¾¯ÈÕÖ¾Êý¾Ý£¨time,label£©¼üÖµ¶Ô

<String, String> alarm_log_map = getAlarmLogList(sqlContext,

// »ñÈ¡¶ÔÓ¦ipµÄÈÕÖ¾Êý¾ÝºÍ¸æ¾¯Êý¾ÝµÄºÏ²¢Êý¾Ý

<List<String>> logMergeList = getMergeLogList(sqlContext,

,

,

,

,

,alarmPartition,

, alarmTable, ip, alarmPartition);

;// Èç¹û´Ë—l¼þÏÂ›]ÓÐ¸æ¾¯Êý¾Ý£¬Ìøß^ß@Ò»´ÎÑ»· if (alarm_log_map.isEmpty())

_log_map);

(logMergeList.size() == 0)

// Ã¿¸ô10·ÖÖÓ£¬È¡30·ÖÖÓÄÚµÄ³öÏÖµÄÈÕÖ¾Àà±ð×÷ÎªÒ»¸öÊÂÎñ(Àà1,Àà

;// Èç¹ûºÏ²¢Êýhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html¾ÝÎª¿Õ£¬Ìø¹ýÕâÒ»´ÎÑ»·

<List<String>> transactions = getTransactions(logMergeList, if (transactions.size() == 0)

;// Èç¹ûÉú³ÉÊÂÎñÊý¾ÝÎª¿Õ£¬Ìø¹ýÕâÒ»´ÎÑ»·

, stepSize);


// ´´½¨FPTree£¬½øÐÐÆµ·±Ïî¼¯ÍÚ¾ò



(transactions, fptreePath, minSupport, ip, sqlContext,

, alarm_log_map, logTable, alarmPartition, stepSize,timeScope, timeScale); alarm_label_map.clear();

// ºÏ²¢ËùÓÐipÉÏÉú³ÉµÄÆµ·±Ïî¼¯£¬Ð´µ½Ò»¸öhdfsÎÄ¼þ mergeAllFPTree(fptree_map, fptreePath, timeScope);


ÊäÈëÊý¾Ý£¬·ÖºÃÀàµÄsyslogÈÕÖ¾ºÍ¸æ¾¯ÈÕÖ¾Êý¾Ý£¬¾ßÌåÊý¾ÝÄÚÈÝ

´Óhive±íÖÐ»ñÈ¡¡£¸æ¾¯ÈÕÖ¾ÊµÀýÈçÏÂ£º Êä³ö½á¹ûÈçÍ¼4-

6ËùÊ¾£¬Ã¿¸öip¶ÔÓ¦Éú³ÉÒ»¸öÎÄ¼þ£¬ÎÄ¼þÄÚÈÝÈçÏÂ£º


Í¼4-6 Æµ·±Ïî¼¯ÍÚ¾ò½á¹û

½áÂÛ£ºÊä³ö½á¹ûÏÔÊ¾£¬³ÌÐò³É¹¦¹¹½¨µÄÆµ·±Ïî¼¯Ê÷£¬²¢Êä³öÁËÓë¸æ¾¯ÈÕÖ¾Ïà¹ØµÄÒ»Ð©Æµ·±Ïî¡£


.3±¾ÕÂÐ¡½á

Õë¶ÔÊý¾Ý¼ÓÔØ×ÓÏµÍ³ºÍÔËÎ¬ÈÕÖ¾¹ØÁª·ÖÎö×ÓÏµÍ³µÄÉè¼Æ£¬±¾ÕÂ¶ÔÏµÍ³µÄ¾ßÌåÊµÏÖ½øÐÐÁË½éÉÜ

£¬²¢¸½ÉÏÁËÃ¿¸öÄ£¿éÒ»Ð©Ö÷ÒªµÄ´úÂëµÄÊµÏÖ£»Í¬Ê±£¬¶ÔÃ¿¸öÄ£

¿éµÄ¹¦ÄÜ½øÐÐÁË¾ßÌå°¸Àý²âÊÔ£¬²âÊÔ½á¹ûÂú×ãÉè¼ÆÒªÇó¡£


µÚ5ÕÂhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html ´î½¨HadoopÆ½Ì¨

ÎÒÃÇÑ¡ÔñCloudera MangagerÀ´¹ÜÀíHadoop¼¯Èº£¬Cloudera

Manager¿ÉÒÔ¶Ô¼¯Èº½øÐÐ½Úµã°²×°¡¢·þÎñÅäÖÃµÈ£¬Ìá¹©Web



´°¿Ú½çÃæÌá¸ßÁËHadoopÅäÖÃ¿É¼û¶È£¬½µµÍÁË¼¯ÈºÉèÖÃµÄ¸

´ÔÓ¶È¡£Í¬Ê±ËüÍ¨¹ýÍ³¼ÆÍ¼ÏÔÊ¾¼¯ÈºÖÐ×ÊÔ´µÄÊ¹ÓÃÇé¿ö£¬Ê¹ÏµÍ³¹ÜÀíÕßÄÜ¹»ºÏÀíµÄ·ÖÅäÏµÍ³×ÊÔ´¡£

.1¼¯Èº¹æ»®

ÏÂÃæÌá¹©¸÷×é¼þÔÚ¼¯ÈºÖÐ²¿ÊðµÄ½ÇÉ«·ÖÅäÇé¿ö£¬Õë¶ÔÃ¿¸ö·þÎñ£¨ÈçHDFS£©£¬¾ßÌå½ÇÉ«£¨ÈçNameN

ode¡¢SecondaryNameNode£©Óë¼¯Èº½ÚµãµÄÓ³Éä¹ØÏµ¡£

±í4-1½ÇÉ«·ÖÅä



.2²¿ÊðÇ°×¼±¸

.2.1 ÐÞ¸ÄÖ÷»úÃû

°´ÕÕÍ³Ò»ÃüÃû¹æÔòÐÞ¸Ä¼¯Èº¸÷¸öÖ÷»úµÄÖ÷»úÃû¡£

. ÔÚ/etc/sysconfig/networkÐÞ¸ÄHOSTNAME²¢±£´æ£¬ÒÔÓÀ¾ÃÐÞ¸ÄÖ÷»úÃû¡£ÎÄ

¼þÄÚÈÝÈçÏÂËùÊ¾£»

=yes HOSTNAME=vmx185

. ÖØÆônetwork·þÎñÊ¹ÐÞ¸ÄÉúÐ§¡£

network restart

×¢£ºÊ¹ÓÃhostname²é¿´Ö÷»úÃû£¬·µ»ØµÄÒÀÈ»ÊÇ¾ÉµÄ£¬ÐèÒªÖØÐÂµÇÂ½¡£ 5.2.2 ÅäÖÃ²

¢Í¬²½hostsÎÄ¼þ

¼¯ÈºÖÐ¸÷¸öÖ÷»úÖ®¼äÍ¨ÐÅÊ¹ÓÃÍ³Ò»µÄÖ÷»úÃûÅäÖÃ£¬¼´Ã¿¸öÖ÷»úÉÏµÄ/etc/hostsÎÄ¼þµÄÄÚÈÝÏàÍ¬¡£



. ¼¯ÈºÖÐÍ¨ÓÃµÄhostsÎÄ¼þÐèÒª°üº¬ËùÓÐÖ÷»úµÄipºÍ¶ÔÓ¦µÄÖ÷»úÃû£» Ê¾Àý£º

.0.0.1

.localdomain

.localdomain4

::1 localhost localhost.localdomain localhost6

localhost6http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html.localdomain6

.168.8.185 vmx185 192.168.8.186 vmx186 192.168.8.187 vmx187

. ½«hostsÎÄ¼þÊðµ½¼¯ÈºÖÐ³ý¹ÜÀí½ÚµãÍâµÄËùÓÐ½ÚµãµÄ/etc/ÏÂÃæ¡£

×¢£º¸Ã²Ù×÷»á¸²¸ÇÔÓÐµÄ/etc/hostsÎÄ¼þ¡£ 5.2.3 °²×°²¢ÅäÖÃclush 1. °²×°clush


¿ÉÒÔÔÚ¼¯ÈºÉÏ²¢ÐÐÖ´ÐÐshellÃüÁî²

¢ÊÕ¼¯ÃüÁîÊä³ö¡£Ê¹ÓÃclushÇ°ÐèÒªÅäÖÃµ±Ç°½Úµãµ½ËùÓÐ½ÚµãµÄÃâµÇÂ½¡£

×¢£ºÔÚÈÕ³£¹¤×÷ËùÊ¹ÓÃµÄ½ÚµãÉÏ½øÐÐ°²×°£¨¼´£¬Ç°ÃæÅäÖÃÃâµÇÂ½Ê±Ê¹ÓÃµÄÖ÷½Úµã£©

ÏÂÔØµØÖ·£º

://www.wenkuxiazai.com/index.php3/stat/4/idpl/19566669/dir/redhat_el_6/com/clustershell-1.6-

1.el6.noarch.rpm.html

¨Civh clustershell-1.6-1.el6.noarch.rpm

. ÅäÖÃÖ÷»úÐÅÏ¢

²Î¿¼ÈçÏÂ¸ñÊ½ÅäÖÃ½Úµã×éºÏ£¨/etc/clustershell/groups£©¡£



Í¼5-1 ÅäÖÃ½Úµã×éºÏÐÅÏ¢

. ²Î¿¼Ê¾Àý 1) ÎÄ¼þ¿½±´

´Ó±¾µØ¿½±´µ½Ô¶³Ì½Úµã

¿½±´±¾µØµÄ/tmp/local_fileµ½all×éÖÐµÄËùÓÐ½ÚµãµÄ/tmp/

-g all --copy /tmp/local_file --dest /tmp/

´ÓÔ¶³Ì½Úµã¿½±´µ½±¾µØ

½«Ô¶³Ì½ÚµãµÄ/tmp/local_file»ã¼¯µ½µ±Ç°½ÚµãµÄ/tmp/hellos/Ä¿Â¼ÖÐ¡£

-g all --rcopy /tmp/local_file --dest /tmp/hellos/

) Ãühttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlÁîÖ´ÐÐ

²é¿´·þÎñ×´Ì¬

-g all ¡°service network status¡±



.2.4 ÅäÖÃÃâµÇÂ½

. ÔÚÐèÒªÃâµÇÂ½µÄÖ÷½ÚµãÖ´ÐÐÈçÏÂÃüÁî£¬ÒÔÉú³Éid_rsa.pubÎÄ¼þ£»

keygen -t rsa



. ÅäÖÃssh_toolsÏÂµÄhosts.sh£»

="host1 host2 host3"

. Ö´ÐÐssh_toolsÏÂµÄssh_config.sh¡£

×¢£ºÖ´ÐÐÆÚ¼äÐèÒª¶à´ÎÊäÈë¶ÔÓ¦Ö÷»úµÄÃÜÂë

./ssh_config.sh hosts.sh

.2.5 ¹Ø±Õiptables¼°selinux

. ¹Ø±Õµ±Ç°ÔËÐÐµÄiptables·þÎñ£»

ÔÚËùÓÐ½ÚµãÉÏÖ´ÐÐÈçÏÂÃüÁî

iptables stop 2. ²»ÔÊÐí¿ª»úÔËÐÐ·À»ðÇ½£»


iptables off

. ´ò¿ª/etc/selinux/config²¢ÐÞ¸ÄselinuxÎªdisabled£»

. ±¸·Ý¼¯ÈºÖÐÆäËû½ÚµãµÄ/etc/selinux/configÎÄ¼þ(ÕâÀïµÄcluster.shÖÐ²»°üº¬µ±Ç°½Úµã)£»

ÔÚËùÓÐ½ÚµãÉÏÖ´ÐÐÈçÏÂÃüÁî(ÐëÈ·±£Ö»Ö´ÐÐÒ»´Î£¬·ñÔò±¸·Ý»áÒòÎª±»¸²¸Ç¶ø¶ªÊ§)

/etc/selinux/config /etc/selinux/config.bak 5. ¹Ø±Õ¼¯ÈºÖÐµÄËùÓÐ½ÚµãµÄselinux

½«¹ÜÀí½ÚµãÉÏµÄÐÞ¸ÄºÃµÄ/etc/selinux/configÎÄ¼þ¿½±´µ½ÆäËûËùÓÐ½Úµã£¨²»°üº¬¹ÜÀí½Úµã£©

ÃüÁîÊ¾ÀýÈçÏÂ

¨Cg slaves --copy /etc/selinux/config --dhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlest

/etc/selinux/




. ÖØÐÂÆô¶¯¼¯ÈºÖÐµÄËùÓÐÖ÷»ú¡£

Ê×ÏÈÔÚ³ý¹ÜÀí½ÚµãÖ®ÍâµÄËùÓÐ½ÚµãÉÏÖ´ÐÐÈçÏÂÃüÁî

È»ºóÔÙ¹ÜÀí½ÚµãÉÏÖ´ÐÐÈçÏÂÃüÁî

.2.6 É¾³ý¾É°æ±¾µÄrpm°ü

ÐèÔÚËùÓÐ½ÚµãÉÏÖ´ÐÐÈçÏÂÃüÁî¡£ 1. É¾³ýCDHÏà¹Ø°ü

Èç¹ûÔÀ´µÄcdh°æ±¾ÎªCDH4£¬ÔòÖ´ÐÐÈçÏÂÃüÁî¡£

remove 'cloudera-manager-*' hadoop hue-common bigtop-*

Èç¹ûÔÀ´µÄcdh°æ±¾ÎªCDH3£¬ÔòÖ´ÐÐÈçÏÂÃüÁî¡£

remove 'cloudera-manager-*' hadoop-0.20 hue-common hadoop-pig oozie-client hive hadoop-hbase hadoop-

zookeeper bigtop-utils

. È·ÈÏÈ«²¿É¾³ý

ÔÚÃ¿Ì¨½ÚµãÉÏÔËÐÐÈçÏÂÃüÁî²é¿´ÊÇ·ñÒÑ¾É¾³ýÁËCDHÏà¹ØµÄ°ü¡£

list installed | grep cdh

Èç¹ûÒÀÈ»ÓÐ¾É°æ±¾µÄCDH°ü£¬ÔòÊ¹ÓÃyumÉ¾³ý¡£

remove ¨Cy PACKAGA_NAME



.2.7 °²×°ÅäÖÃHTTPD·þÎñ

. Ñ¡Ôñ·þÎñ½Úµã£¬Èçhost1

. ×¼±¸²Ù×÷ÏµÍ³°²×°¾µÏñ£¨Ðë°üº¬PackagesÎÄ¼þ¼Ð£©£¬²¢¹ÒÔØµ½ÏàÓ¦Ä¿Â¼

-t iso9660 -o loop /mnt/sdc1/software/iso/rhel.6.2.iso /mnt/rheliso

×¢£ºÎª·ÀÖ¹ÖØÆôÏµÍ³Ê±¹ÒÔØÊ§Ð§£¬ÔÚÎÄ¼þ/etc/fstabÄ©Î²Ìí¼Ó£º


/homhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmle/rhel.6.2.iso /mnt/rheliso iso9660

loop,ro 0 0 3. ÅäÖÃ±¾µØÁÙÊ±yumÔ´£¬ÓÃÓÚÔÚ±¾µØ°²×°httpd·þÎñ

ÔÚ/etc/yum.repos.d/Ä¿Â¼ÏÂ´´½¨ÎÄ¼þtmp.repo£¨ÄÚÈÝÈçÏÂ£©¡£

[tmp] name=tmp

=file:///mnt/rheliso enabled=1 gpgcheck=0 4. °²×°²¢Æô¶¯httpd·þÎñ

Ê¹ÓÃÉÏÒ»²½´´½¨µÄ±¾µØÔ´½øÐÐ°²×°£¨°²×°Ê±Èô³ö´í¿ÉÄÜÊÇ/etc/yum.repos.d/

Â·¾¶ÏÂº¬ÓÐÎÞÐ§µÄÅäÖÃÎÄ¼þ£¬ÎÊÌâÏêÇé¼ûÎÄµµiHadoopFAQ.docx£©

install httpd service httpd restart chkconfig httpd on

.2.8 ·¢²¼HTTPDÄÚÈÝ

¸Ã²½Öè¼ÙÉèÔÚPackagesÎÄ¼þ¼ÐÏÂÒÑ¾´æÔÚrepodataÎÄ¼þ¼Ð¡£ ×¢£ºPackagesÎªÏµÍ³·

¢ÐÐ°æ¹âÅÌÖÐµÄÈí¼þ°üÎÄ¼þ¼Ð

. ´´½¨µ½PackagesµÄÁ¬½Ó£¨Çë½«PATHÌæ»»ÎªÕæÊµµÄÂ·¾¶£©

-s /mnt/rheliso /var/www/html/iso

. ´´½¨Ô´Â·¾¶/var/www/html/cm²¢½«cmÏà¹ØÎÄ¼þ½á¹¹·ÅÈë¸ÃÄ¿Â¼ÏÂ£º

Í¼5-2 CMÏà¹ØÎÄ¼þ



. ´´½¨Èí¼þÔ´£º

install createrepo cd /var/www/html/cm rm ¨Crf repodata


#È·±£createrepoÒÑ°²×°

#Èç¹ûrepodataÎÄ¼þ¼ÐÒÑ¾´æÔÚ£¬



#Çë½«ÆäÉ¾³ý

. # ¡°.¡±Îªµ±Ç°Ä¿Â¼

. ´´½¨Â·¾¶/var/www/html/parcels²¢½«ÏÂÔØµ½µÄparchttp://www.wenkuxiazai.com/doc/

b221583bf90f76c660371ab9.htmlelsÏà¹ØÎÄ¼þ·ÅÈë¸ÃÄ¿Â¼ÏÂ

ÐèÒªÏÂÔØµÄÎÄ¼þ£ºCDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcelºÍmanifest.json

ÏÂÔØµØÖ·http://www.wenkuxiazai.com/cdh5/parcels/latest/ mkdir /var/www/html/parcels

×¢£ºÐèÒªÈ·±£¸ÃÄ¿Â¼¶ÔÓ¦·ÖÇøÓÐÖÁÉÙ20GBµÄ¿Õ¼ä¡£Èô¿Õ¼ä²»×ã£¬¿ÉÒÔÊ¹ÓÃ·ûºÅÁ´½Ó¡£

. ¸øÎÄ¼þ¼ÐÌí¼ÓÈ¨ÏÞ¡££¨×¢£ºÈ·±£parcelsÄ¿Â¼¼°ÆäËùÓÐ¸¸Ä¿Â¼£¨Ö±µ½¸ùÄ¿Â¼£©ÓÐrxÈ¨ÏÞ£©

Èç¹ûÐèÒª£¬¿ÉÒÔÊ¹ÓÃÀàËÆ ÈçÏÂµÄÃüÁî×éºÏ¡£

-R a rx /var/www/html/parcels # ÓÐ ¨CR chmod a rx /var/www/html chmod a rx /var/www chmod a rx /var

chmod a rx /

. ´ò¿ªä¯ÀÀÆ÷·Ö±ðÊäÈëÈçÏÂURL½øÐÐ²âÊÔ£¬³öÏÖÈçÍ¼5-3ËùÊ¾£¬ÔòÅäÖÃ³É¹¦

://192.168.8.185/iso http://192.168.8.185/cm http://192.168.8.185/parcels

×¢£ºIPµØÖ·ÐÞ¸ÄÎª°²×°ÁËHTTPD·þÎñµÄIP



# ÒÔÏÂ¶¼Ã»ÓÐ-R


Í¼5-3 ÅäÖÃ³É¹¦ÏÔÊ¾





.2.9 ·Ö·¢yumÅäÖÃÎÄ¼þ 1. ±¸·Ý²¢½ûÓÃÒÑÓÐµÄyumÅäÖÃ

ÔÚËùÓÐÖ÷»úÉÏÖ´ÐÐÈçÏÂÃüÁî

/etc/yum.repos.d && rename repo repo.old *.repo

. ·Ö·¢package.repoµ½¼¯ÈºÄÚËùÓÐ½Úµã

¨Cg all --http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlcopy package.repo --dest

/etc/yum.repos.d/

×¢£ºpackage.repoÄÚÈÝÈçÏÂËùÊ¾£¨IPµØÖ·ÐÞ¸ÄÎªÉÏÒ»²½ÖÐ´î½¨httpd·þÎñÆ÷µÄip»òhostname£©

[package] name=iso

=http://192.168.8.185/iso enabled=1 gpgcheck=0



. ·Ö·¢cm.repoµ½¼¯ÈºÄÚËùÓÐ½Úµã

¨Cg all conf/cm.repo /etc/yum.repos.d/

×¢£ºcm.repoÄÚÈÝÈçÏÂËùÊ¾£¨IPµØÖ·ÐÞ¸ÄÎªÉÏÒ»²½ÖÐ´î½¨httpdµÄ·þÎñÆ÷µØÖ·£© [cm] name=cm

=http://192.168.8.185/cm enabled=1 gpgcheck=0

.2.10 °²×°MySQL JDBCÇý¶¯

¼¯ÈºÖÐ¶à´¦ÓÃµ½ÁËMySQLÀ´´æ´¢ÔªÊý¾Ý£¬²¢ÇÒÔÚSqoopµÄÊý¾Ýµ¼ÈëºÍµ¼³öÖÐ¾-

³£ÓÃµ½MySQL£¬Îª´Ë£¬ÎÒÃÇÔÚ¼¯ÈºÖÐ°²×°MySQLµÄjdbcÇý¶¯³ÌÐò¡£ °²×°Çý¶¯³ÌÐò:



-y install mysql-connector-java

×¢£ºÈôÐèÒªÊ¹ÓÃsqoop¹¤¾ß£¬ÔòÐèÒª½«jar°ü¿½±´µ½SQOOP_HOMEÏÂ ÔÚËùÓÐ½ÚµãÉÏÖ´ÐÐÈçÏÂÃüÁî

cp

/usr/lib/sqoop/lib/

/usr/share/java/mysql-connector-java.jar

.3°²×°CM-Server

Ñ¡ÔñÒ»¸ö½ÚµãÓÃÀ´°²×°cloudera manager server¡£

. °²×°cloudera-manager-serverºÍcloudera-manager-server-db-2

install cloudera-manager-server*

mysql-serhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlver

. ÉèÖÃ·þÎñÎª¿ª»úÆô¶¯

cloudera-scm-server on chkconfig cloudera-scm-server-db on chkconfig mysqld on



. Æô¶¯MySQL£¬×÷ÎªCM-serverµÄºó¶Ë´æ´¢£¬ÐèÒª´´½¨¶ÔÓ¦Êý¾Ý¿â¼°¸³ÓèÈ¨ÏÞ

mysqld start

. ÔÚmysqlÖÐ´´½¨¶ÔÓ¦ÓÃ»§ºÍÊý¾Ý¿â£º

>create database cmf default character set utf8 collate utf8_general_ci;

>grant all on cmf.* to 'cmf'@'localhost' identified by 'cmf';

> flush privileges;

. ±à¼/etc/cloudera-scm-server/db.properties£¬½«cmf¿âÕýÈ·ÅäÖÃ¡£

.cloudera.cmf.db.type=mysql

.cloudera.cmf.db.host=localhost http://www.wenkuxiazai.com=cmf


://www.wenkuxiazai.comer=cmf com.cloudera.cmf.db.password=cmf

. Æô¶¯CM-server¡£

cloudera-scm-server-db start service cloudera-scm-server start

. ÉèÖÃ·þÎñ¿ª»ú×Ô¶¯Æô¶¯¡£

cloudera-scm-server-db on chkconfig cloudera-scm-server on

.4·Ö·¢CDH°ü

ÔÚCMµÄserver½Úµã°²×°¾Íhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlÐ÷ºó,·ÃÎÊCM-

serverIP:7180£¬ÒÔadminÕË»§µÇÂ½£¬Ä¬ÈÏÃÜÂëÎªadmin¡££¨Ê×´ÎµÇÂ¼ClouderaManager¹ÜÀí½çÃæÊ±

£¬Ó¦Ñ¡Ôñ¡°ÆóÒµÊÔÓÃ°æ¡±£¬ÈçÏÂÍ¼£©

. ËÑË÷Ö÷»ú£»

¶à¸öip£¨»òÖ÷»úÃû£©Ö®¼äÒÔ¡°,¡±£¨Ó¢ÎÄ¶ººÅ£©¸ô¿ª£¬Ò²¿ÉÒÔÊ¹ÓÃÖÐÀ¨ºÅÀ

´±íÊ¾Á¬ÐøµÄip»òhostname£¨Èç




192.168.8.1[85-87]»òdatanode1[85-87]£©£»


. ÉèÖÃJDK°²×°Ñ¡Ïî£¨Ä¬ÈÏ¼´¿É£©£»

. ¼¯Èº°²×°

Ñ¡Ôñ¡°Ê¹ÓÃparcels¡±£¬Í¬Ê±µã»÷¸ü¶àÑ¡Ïî£º²¢ÇÒÌîÐ´Ö®Ç°ÅäÖÃºÃµÄparcelÂ·¾¶£¬ÀýÈç£ºhttp://

192.168.8.185/parcels¡£Í¬Ê±£¬ÌîÐ´cloudera managerµÄyumÔ´µÄµØÖ·£ºhttp://192.168.8.185/cm





. µã»÷¼ÌÐøºó£¬³ÌÐò»á×Ô¶¯ÔÚ¼¯ÈºÖÐ°²×°CDH-

parcel£¬ÈçÏÂÍ¼Íê³Éºóµã»÷¡°¼ÌÐø¡°£¬Ö±ÖÁÕû¸ö¹ý³Ì°²×°Íê±Ï¡£






ÖÁ´Ë£¬¼¯ÈºCDH´î½¨Íê±Ï£¬¿ÉÒÔ¸øCDH¼¯Èº°²×°·þÎñ£¬ÏêÇé¼ûÏÂÒ»½Ú¡£

.5°²×°CDH·þÎñ

_HOME±íÊ¾µ½´ïµ±Ç°¼¤»îµÄparcelµÄÂ·¾¶£¬Èç£º/opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/ 5.5.1

°²×°ZOOKEEPER

. µã»÷¡°²Ù×÷¡±£¬Ñ¡Ôñ¡°Ìí¼Ó·þÎñ¡±£» 2. Ñ¡Ôñzookeeper£¬²¢¡°¼ÌÐø¡±£»

[´Ë´¦Í¼Æ¬Î´http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlÏÂÔØ³É¹¦]



. ÅäÖÃ·þÎñÆ÷½ÇÉ«£»

. ÅäÖÃ¡°Êý¾ÝÄ¿Â¼¡±ºÍ¡°ÊÂÎñÈÕÖ¾Ä¿Â¼¡±£¬È·¶¨ºó¡°½ÓÊÜ¡±£»£¨Ò»°ã°´ÍÆ¼öÉèÖÃ¼´¿É£©

×¢£ºÈç¹û/varËùÔÚ·ÖÇø¿ÉÓÃ¿Õ¼äÐ¡ÓÚ30GB£¬Çë½«¡°Êý¾ÝÄ¿Â¼¡±ÅäÖÃµ½ÆäËû·ÖÇø¡£

. ·þÎñ³õÊ¼»¯£¬Íê³Éºóµã»÷¡°¼ÌÐø¡±

.5.2 °²×°HDFS

. µã»÷¼¯ÈºÓÒ²àµÄÏÂÀ²Ëµ¥£¬Ñ¡Ôñ¡°Ìí¼Ó·þÎñ¡±£» 2. Ñ¡Ôñ¡°HDFS¡±²¢µã»÷¡°¼ÌÐø¡±£» 3. ·ÖÅä½ÇÉ«£»







. ÅäÖÃ½ÇÉ«µÄ±¾µØ´æ´¢Ä¿Â¼£¬°üÀ¨DataNode¡¢NameNodeºÍSecondaryNameNode¶¼ÐèÒªÅäÖÃ£»

. µÈ´ý·þÎñ°²×°Íê³É£¬µã»÷¡°¼ÌÐø¡±ÒÔÍê³É°²×°¹ý³Ì£»

. HDFS°²×°Íê³ÉÖ®ºóÐèÒªÊÖ¶¯Ìí¼Ó Gateway ½ÇÉ«¡£½øÈëHDFS·þÎñµÄ¡°ÊµÀý¡±

±êÇ©Ò³ÏÂ£¬µã»÷¡°Ìí¼Ó½ÇÉ«ÊµÀý¡±£»




. Ìí¼ÓGateway½ÇÉ«Ö÷»úÖ®ºó£¬µã»÷ÏÂÒ»²½£¬Ö±ÖÁÌí¼Ó½áÊø¡£

.5.3 °²×°YARN

. µã»÷¡°²Ù×÷¡±£¬Ñ¡Ôñ¡°Ìí¼Ó·þÎñ¡±£» 2. Ñ¡Ôñmapreduce°æ±¾£¬ÒÔyarnÎªÀý£» 3. Ñ¡ÔñÒ»×éÒÀÀµ¹ØÏµ£¬¼

´Ê¹ÓÃµÄhdfs·þÎñ£»

. ·ÖÅä½ÇÉ«£»£¨½¨ÒéResourceManagerÉÏ²»ÒªÔÙ·ÖÅäNodeManager½ÇÉ«£©£»



. ÅäÖÃyarnÏà¹ØÂ·¾¶£»£¨×¢£ºÈôÓÐ¶à¸ö´ÅÅÌ£¬yarn.nodemanager.local-dirsÊôÐÔ²»ÐèÒªÅäÖÃµÚÒ»¸ö

´ÅÅÌ£©£»

://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html[´Ë´¦Í¼Æ¬Î´ÏÂÔØ³É¹¦]




. µã»÷¡°½ÓÊÜ¡±£¬Ö´ÐÐÅäÖÃ£»

. YARN°²×°Íê³ÉÖ®ºóÐèÒªÈ·¶¨Gateway½ÇÉ«ÒÑÌí¼Ó¡£ÈôÎÞGateway½ÇÉ«£¬½øÈëYARN·þÎñµÄ¡°ÊµÀý¡±

±êÇ©Ò³ÏÂ£¬µã»÷¡°Ìí¼Ó½ÇÉ«ÊµÀý¡±£»

. Ìí¼ÓGateway½ÇÉ«Ö÷»úÖ®ºó£¬µã»÷ÏÂÒ»²½£¬Ö±ÖÁÌí¼Ó½áÊø£»

.5.4 °²×°HIVE

. µã»÷¡°²Ù×÷¡±£¬Ñ¡Ôñ¡°Ìí¼Ó·þÎñ¡±£» 2. Ñ¡Ôñhive£»

. Ñ¡ÔñÒÀÀµµÄhdfsºÍmapreduce·þÎñ£»

. ·ÖÅä½ÇÉ«£»

Ò²¿ÉÒÔ¸ù¾ÝÐèÇó·Ö±ðÑ¡Ôñ¶à¸ö¡°Hive MetaStore¡±ºÍ¡°HiveServer2¡±½ÇÉ«£¬Í¼ÖÐÎªÑ¡ÔñÒ»¸öµÄÇé¿ö¡£

£¨×¢£ºÃ¿¸ö½Úµã¶¼±ØÐë·ÖÅäGateway½ÇÉ«£©







. ÅäÖÃmetastore·þÎñÊ¹ÓÃµÄÊý¾Ý¿â£»

) ÌîÐ´Ö÷»úºÍ¶Ë¿Ú¡¢Êý¾Ý¿âÀàÐÍ¡¢Êý¾Ý¿âÃû³Æ¡¢ÓÃ»§ÃûºÍÃÜÂë¡£ÒÔÏÂ°´ÕÕÊ¹ÓÃmysql½øÐÐÅäÖÃ£»

) ÔÚ×÷Îªhive metastoreµÄ½ÚµãÉÏ°²×°msyql-serverºÍmysql-connector-java£¬ÉèÖÃmysqldÎª¿ª»ú×ÔÆô¶¯²

¢Æô¶¯mysqld·þÎñ

-y install mysql-server mysql-connector-java chkconfig mysqld on service mysqld start 3) ´´½¨Êý¾Ý¿â£»

×¢£ºÍÆ¼öÊ¹ÓÃ¶ÀÁ¢µÄÊý¾Ý¿â£¬Ãû³ÆÍÆ¼öÊ¹ÓÃhive

>create database HIVE_DB;

)

ÔÊÐímetastore·þÎñËùhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlÊ¹ÓÃµÄmysqlÓÃ»§¶

Ômysql·þÎñÆ÷½øÐÐ·ÃÎÊ£¨Çë½«USER¡¢PASSWORDÌæ»»ÎªÕæÊµµÄÖµ£©£»

>grant all privileges on HIVE_DB.* to 'USER'@'metastoreËùÔÚÖ÷»ú' identified by 'PASSWORD';



mysql>flush privileges;

) ¡°²âÊÔÁ¬½Ó¡±£¬Èç¹û²»Í¨¹ý£¬Ôò¿É¸ù¾Ý³ö´íÐÅÏ¢×öÏàÓ¦²Ù×÷£»

×¢£ºmysql serverµÄÄ¬ÈÏ¶Ë¿ÚÎª3306¡£




) µã»÷¡°¼ÌÐø¡±£¬Ö´ÐÐÅäÖÃ°²×°£»

) °²×°Íê³ÉºóÊ¹ÓÃhdfsµÇÂ¼£¬²¢½øÐÐÏà¹Ø²âÊÔ¡£

. ÅäÖÃHive²Ö¿âÄ¿Â¼ºÍHive Metastore·þÎñÆ÷¶Ë¿Ú£¬È·¶¨ºóµã»÷¡°½ÓÊÜ¡±£»£¨Ò»°ãÊ¹ÓÃÄ¬ÈÏÅäÖÃ¼

´¿É£©£»

. ·þÎñ°²×°¼°Æô¶¯£¬Íê³Éºóµã»÷¡°¼ÌÐø¡±¡£

.6±¾ÕÂÐ¡½á

±¾ÕÂ½áºÏÂÛÎÄÊµ¼Ê¹¤×÷£¬ÏêÏ¸½éÉÜÁËÀûÓÃCloudera Manager´î½¨HadoopÆ½Ì¨

µÄ¼¯Èº¹æ»®ºÍ´î½¨¹ý³Ì£¬Cloudera Manager¿ÉÒÔ¶Ô¼¯Èº½øÐÐ½Úµã°²×°¡¢·þÎñÅäÖÃµÈ£¬

Ìá¹©Web´°¿Ú½çÃæÌá¸ßÁËHadoopÅäÖÃ¿É¼û¶È£¬½µµÍÁË¼¯ÈºÉèÖÃµÄ¸

´ÔÓ¶È¡£Í¬Ê±ËüÍ¨¹ýÍ³¼ÆÍ¼ÏÔÊ¾¼¯ÈºÖÐ×ÊÔ´µÄÊ¹ÓÃÇé¿ö£¬Ê¹ÏµÍ³¹ÜÀíÕßÄÜ¹»ºÏÀíµÄ·ÖÅäÏµÍ³×ÊÔ´¡£




µÚ6ÕÂ ½áÂÛ

°éËæ×ÅÒµÎñÏµÍ³¹æÄ£Ñ¸ËÙÔö¼Ó£¬¼¯Èº½ÚµãÊý



´ïµ½¼¸°ÙÉÏÇ§Ì¨ÉõÖÁ¸ü¶à£¬ÔËÎ¬ÈÕÖ¾¹æÄ£ËæÖ®¼±¾çÔö¼Ó¡£Õë¶Ô¸÷ÔËÎ¬ÏµÍ³¼äÊý¾Ý¶ÀÁ¢´æ´¢

£¬È±·¦¹ØÁª·ÖÎöµÄ²»×ãÖ®

´¦£¬ÆÈÇÐÐèÒª¶ÔÔËÎ¬ÈÕÖ¾½øÐÐÍ³Ò»µÄ×éÖ¯¹ÜÀí£¬ÒÔ¼°½øÐÐÊý¾ÝÍÚ¾òºÍ¹ØÁª·ÖÎö£¬¹¹ÖþÖÇÄÜÔË

Î¬ÏµÍ³¡£

±¾ÎÄµÄÖ÷Òª¹¤×÷³É¹ûÓÐÈçÏÂ¼¸¸ö·½Ãæ£º://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlpar

£¨1£© ÑÐ¾¿Cloudera CDH¶ÔHadoopÆ½Ì¨µÄ·â×°£¬´î½¨Íê³É»ùÓÚHadoop

µÄÈÕÖ¾²É¼¯·ÖÎöÆ½Ì¨£¬¹²9¸ö½Úµã¡£

£¨2£© Æ½Ì¨Ìá¹©ÁËÍ³Ò»Êý¾Ý´æ´¢¹æ·¶£¬Ìá¹©ÁËÍ³Ò»µÄÊý¾Ý·ÃÎÊ·½Ê½£¬¼´

±íÊý¾Ý¹ÜÀí²ã£¬¸Ã·½Ê½ÄÜ¹»ÆÁ±Îµ×²ãµÄÊý¾Ý´æ´¢¸ñÊ½£¬Ìá¹©Í³Ò»µÄÊý¾ÝºÍÄ£Ê½·ÃÎÊ½Ó¿Ú£¨¼

´¹ØÏµÊý¾ÝÄ£ÐÍ£©¡£ÒÔHCatInputFormat¡¢HCatOutputFormat·Ö±ð¶ÔÓ¦±íÖÐÊý¾ÝµÄÊäÈëºÍÊä³ö£¬ÒÔHCa

tRecordÃèÊöÒ»Ìõ¼ÇÂ¼£¬ÒÔHCatSchemaÃèÊö¼ÇÂ¼Óë×Ö¶ÎÀàÐÍµÄ¶ÔÓ¦¹ØÏµ¡£ÊµÏÖÁËÊý¾Ý¼ÓÔØ¡¢´æ

´¢ºÍ·ÃÎÊµÄÍ³Ò»¡£

£¨3£© Éè¼Æ²¢ÊµÏÖÁËÖ§³Ö¶àÖÖ¸ñÊ½¶àÖÖÊý¾ÝÔ´µÄÊý¾Ý¼ÓÔØÏµÍ³£¬Íê³ÉÁË

¡¢SMART¡¢CSVµÈ¶àÖÖ¸ñÊ½Êý¾ÝµÄ¿É¿¿½ÓÈë£¬Ö§³Ö½ÓÈë¹ý³ÌÖÐÊý¾ÝµÄÊµÊ±´¦Àí¡£

£¨4£© Ö§³ÖMR¡¢SparkµÈ¼ÆËã¿ò¼Ü£¬Ö§³ÖSpark Streaming¼ÆËãÒýÇæ¡£ £¨5£© Éè¼Æ²

¢ÊµÏÖÁËÔËÎ¬ÈÕÖ¾¹ØÁª·ÖÎöÏµÍ³£¬Íê³ÉÁËSyslogÈÕÖ¾¾ÛÀà¼°Óë

¸æ¾¯ÈÕÖ¾µÄ¹ØÁª¹æÔòÍÚ¾ò¹¦ÄÜ¡£ÑµÁ·Êý¾Ý¹²9000WÌõ£¬¾Û³É902Àà¡£Spark StreamingÊµÊ±

±ê¼ÇSyslogÁ÷ÈÕÖ¾Êý¾Ý£¬Ã¿ÌìÈÕÖ¾Á¿Ô¼200WÌõ£¬ÒÑÕý³£ÔËÐÐ3¸öÔÂ£¬ÒÑ

´¦ÀíÔ¼5.4GÊý¾Ý£¬Ô¼18ÒÚÌõÈÕÖ¾¡£

£¨6£© ¶¨Ê±ÍÚ¾òSyslogÈÕÖ¾Óë¸æ¾¯Êý¾Ý¹ØÁª¹ØÏµ£¬Ö¸¶¨Ê±¼ä·¶Î§Êý¾Ý½øÐÐ

¹ØÁª·ÖÎö¡£

±¾ÎÄ¹¤×÷µÄ²»×ã¼°¶ÔÒÔºóÑÐ¾¿µÄÕ¹Íû£º

ÓÉÓÚÊ±¼äºÍ»·¾³µÄÔ-

Òò£¬±¾ÎÄ¶ÔÓÚÔËÎ¬ÈÕÖ¾µÄ²É¼¯·ÖÎöÆ½Ì¨µÄÑÐ¾¿£¬Ö÷Òª²àÖØÔÚ·½°¸Éè¼ÆºÍ»ù±¾¹¦ÄÜÊµÏÖÉÏ£¬¶Ô

ÓÚÆ½Ì¨µÄÎÈ¶¨ÐÔ¼°ÐÔÄÜ·½Ãæ»¹Î

´×öÏêÏ¸µÄÑÐ¾¿£¬ÕâÊÇ±¾ÎÄµÄÖ÷Òª²»×ã£¬Ò²ÊÇÒÔºó±¾¿ÎÌâÑÐ¾¿µÄÖØµã·½Ïò¡£




²Î¿¼ÎÄÏ×

[1] ¼ÍÏ£Óí£®Êý¾ÝÍÚ¾ò¼¼ÊõÓ¦ÓÃÊµÀý[M]£®±±¾©£º»úÐµ¹¤Òµ³ö°æÉç£¬

.4,47-52

[2] Tom White£®HadoopÈ¨ÍþÖ¸ÄÏ[M]£®Ôø´óµ¢£¬ÖÜ°ÁÓ¢Òë£®±±¾©£ºÇå»ª

´óÑ§³ö°æ£¬2010.5,1-1http://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.html2.

[3] µÔÖÜÎ°. HadoopºËÐÄ¼¼Êõ[M]£®±±¾©£º»úÐµ¹¤Òµ³ö°æÉç£¬2015.3,27-138 [4] Spark homepage:

http://www.wenkuxiazai.com.

[5] ÁÖ²Ô. »ùÓÚFlumeµÄÈÕÖ¾ÊÕ¼¯Í³¼ÆÏµÍ³[D]. ÏÃÃÅ´óÑ§, 2013. [6] Kafka homepage:

http://www.wenkuxiazai.com/

[7] Wadkar S, Siddalingaiah M. HCatalog and Hadoop in the Enterprise[M].

, 2014.

[8] Ñî´«»Ô£®´ó¹æÄ£·Ö²¼Ê½´æ´¢ÏµÍ³£ºÔÀí½âÎöÓë¼Ü¹¹ÊµÕ½[M]£®±±¾©£º

»úÐµ¹¤Òµ³ö°æÉç£®2013.9,265-278£®

[9] Â½¼Îºã£®HadoopÊµÕ½[M]£®µÚ¶þ°æ£®±±¾©£º»úÐµ¹¤Òµ³öÉç£®2012,11:45-86 [10] ¶-

Î÷³É£®Hadoop¼¼ÊõÄÚÄ»£ºÉîÈë½âÎöMapReduce¼Ü¹¹Éè¼ÆÓëÊµÏÖÔ

Àí[M]£®±±¾©£º»úÐµ¹¤Òµ³ö°æÉç£®2013,1:236-240£®

[11] ¶àÑ©ËÉ£¬ÕÅ¾§£¬¸ßÇ¿£®»ùÓÚHadoopº£Á¿Êý¾Ý¹ÜÀíÏµÍ³[J]£®Î¢¼ÆËã»ú

ÐÅÏ¢£¬2010(26)£º202-204£®

[12] ¶Î÷³É. Hadoop¼¼ÊõÄÚÄ»£ºÉîÈë½âÎöHadoop CommonºÍHDFS¼Ü¹¹

Éè¼ÆÓëÊµÏÖÔÀí[M]. ±±¾©£º»úÐµ¹¤Òµ³ö°æÉç£¬2013,4 [13] Aaron Kimball, Andrew Bayer. Flume 1.5.2

Developer Guide.

://www.wenkuxiazai.com/FlumeDeveloperGuide.html 2009/2012 [14] ºÂè¯. »ùÓÚApache



FlumeµÄ·Ö²¼Ê½ÈÕÖ¾ÊÕ¼¯ÏµÍ³Éè¼ÆÓëÊµÏÖ[J]. Èí

¼þµ¼¿¯, 2014

[15] Card S K£¬Pirolli P£¬Van Der Wege M£¬et

a1£®Prhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmloceedings of the SIGCHI

Human factors in computing systems£®ACM£¬2001£º498¡ª505£®

[16] Dean J£¬Ghemawat S£®MapReduce£ºsimplified data processing on large

[J]£®Communications of the ACM£¬2008£¬51(1)£º107¡ª1 13£®


[17] ÕÔÁú. »ùÓÚhadoopµÄº£Á¿ËÑË÷ÈÕÖ¾·ÖÎöÆ½Ì¨µÄÉè¼ÆÓëÊµÏÖ[D].´óÁ¬£º

´óÁ¬Àí¹¤´óÑ§£¬2013.

[18] Leverich J£¬Kozyrakis C£®On the energy(in)efficiency of hadoop

[J]£®ACM

[19] SIGOPS Operating Systems Review£¬2010£¬44(1)£º61¡ª70£® [20] Â½¼Îºã£®HadoopÊµÕ½[M]£®±

±¾©£º»úÐµ¹¤Òµ³ö°æÉç£¬2011£® [21] ÏÄÉñ£®HadoopÆ½Ì¨ÏÂµÄ×÷Òµµ÷¶ÈËã·¨ÑÐ¾¿Óë¸Ä½ø[D]

£®¹ãÖÝ£º»ªÄÏÀí

¹¤´óÑ§¼ÆËã»úÓ¦ÓÃ¼¼Êõ£¬2010£®

[22] ÀîÔÆÌÒ£®»ùÓÚHadoopµÄº£Á¿Êý¾Ý´¦ÀíÏµÍ³µÄÉè¼ÆÓëÊµÏÖ[D]£®ºÚÁú

½£º¹þ¶û±õ¹¤Òµ´óÑ§Èí¼þ¹¤³Ì£¬2009£®

[23] ÍòÖÁÕé£®»ùÓÚMapReduceÄ£ÐÍµÄ²¢ÐÐ¼ÆËãÆ½Ì¨µÄÉè¼ÆÓëÊµÏÖ[D]£®Õã

½£ºÕã½´óÑ§Èí¼þ¹¤³Ì£¬2008£®

[24] ÕÅÎÄ·å£®»ùÓÚMapReduceÄ£ÐÍµÄ·Ö²¼Ê½¼ÆËãÆ½Ì¨µÄÔÀíÓëÉè¼Æ

[D]£®Îäºº£º»ªÖÐ¿Æ¼¼´óÑ§¼ÆËã»úÓ¦ÓÃ¼¼Êõ£¬2010£®



[25] Ã«¹ú¾ý£¬¶ÎÁ¢¾ê£®Êý¾ÝÍÚ¾òÔÀíÓëËã·¨£®±±¾©£ºÇå»ª´óÑ§³ö°æÉç£¬

£®

[26] Zhengshao£®Hive¡ªProgress and

Future£ºOpenSouhttp://www.wenkuxiazai.com/doc/b221583bf90f76c660371ab9.htmlrce Solution for

[J]£®China Hadoop Salon£®2009(9)£º10-16£® [27] ½-

³©£®»ùÓÚHadoopµÄº£Á¿Êý¾ÝÆ½Ì¨µÄÊµÏÖÓëÓÅ»¯[D]£®É½¶«£ºÉ½¶«

´óÑ§¼ÆËã»úÓ¦ÓÃ¼¼Êõ£¬2009¡£


ÖÂ Ð»

±¾ÂÛÎÄµÄÑÐ¾¿¹¤×÷ÊÇÔÚÎÒµÄµ¼Ê¦xxxµÄÏ¤ÐÄÖ¸µ¼ºÍÑÏ¸ñÒªÇóÏÂÍê³ÉµÄ£¬xxxÀÏÊ¦ÈÏÕæÖ¸µ¼ÎÒÍê³ÉÁ

ËÂÛÎÄÑ¡Ìâ¡¢²éÔÄÎÄÏ×¡¢¿ÎÌâ½øÕ¹¼°Õû¸öÂÛÎÄµÄ×«Ð

´¹¤×÷¡£Ê±¹âÈçËó£¬×ªÑÛ¼ä£¬ÈýÄêµÄÑÐ¾¿ÉúÊ±¹â¼

´½«½áÊø¡£»ØÏëÑÐ¾¿Éú½×¶ÎµÄÑ§Ï°ºÍÉú»î£¬ÎÒÓÉÖÔµÄ¸ÐÐ»ÎÒµÄµ¼Ê¦xxxÀÏÊ¦£¬ÎÒµÄÄ¸Ð£É½¶«´óÑ§Ò

Ô¼°ÎÒµÄÇ×ÓÑÍ¬Ñ§¡£xxxÀÏÊ¦ÈÏÕæÑÏ½÷µÄÖÎÑ§Ì¬¶È¡¢ÊµÊÂÇóÊÇµÄ¹¤×÷×÷·çºÍÁ¼ºÃ¿ÆÑ§µÄ¹¤×÷·½·¨¶

ÔÎÒ²úÉúÁË¼«´óµÄÓ°Ïì£¬ÕâÐ©Ò²¶¼ÊÇÎÒ½ñºó¹¤×÷ºÍÑ§Ï°µÄ°ñÑù¡£

ÔÚÕâÀï£¬ÎÒÑ§µ½ÁË·á¸»µÄÖªÊ¶£¬Ñ§»áÁËºÜ¶à

´¦Àí½â¾öÎÊÌâµÄ·½·¨ºÍ¼¼ÇÉ£¬¶ÍÁ¶ÁËÒâÖ¾£¬Ä¥íÂÁË¸öÐÔ¡£ÕâÊÇÒ»¶Î³äÊµµÄ¡¢ÖµµÃÁôÁµµÄÊ±¹â¡£Ô

Ú´Ë£¬Ò»²¢¸ÐÐ»É½¶«´óÑ§¼ÆËã»ú¿ÆÑ§Óë¼¼ÊõÑ§ÔºÀÏÊ¦ÃÇ¶àÄêÀ´¶ÔÎÒµÄ½ÌÓýºÍÅàÑø¡£

ÁíÍâ£¬Òª¸ÐÐ»xxxÊµÑéÊÒµÄÐÖµÜ½ãÃÃÃÇ£¬´ó¼Ò¹²Í¬ÓªÔìÁËÒ»¸öÁ¼ºÃµÄÑ§Ï°·ÕÎ§£¬Ò»Æð·

¢ÏÖºÍ½â¾öÎÊÌâ£¬¹²Í¬´Ù½ø£¬Ïà»¥Ñ§Ï°¡£

ÌØ±ðÒª¸ÐÐ»ÎÒµÄ¸¸Ä¸£¬ÄãÃÇ¸øÓèÎÒÉú»îºÍÑ§Ï°ÉÏµÄ¹Ø°®ºÍ¹ÄÀø£¬ÈÃÎÒÔÚ

Ñ§Ï°µÄµÀÂ·ÉÏÄÜ¹»ÓÐ³ä×ãµÄ¶¯Á¦ºÍ×ÔÐÅÈ¥Ó½ÓÌôÕ½¡£



×îºó£¬ÏòËùÓÐ¹ØÐÄ°ïÖú¹ýÎÒµÄÀÏÊ¦¡¢Í¬Ñ§¡¢Ç×ÓÑ±íÊ¾ÓÉÖÔµÄ¸ÐÐ»£¡

文库下载网是专业的免费文档搜索与下载网站，提供行业资料，考试资料，教学课件，学术论文，技术资料，研究报告，工作范文，资格考试，word 文档，专业文献，应用文书，行业论文等文档搜索与文档下载，是您文档写作和查找参考资料的必备网站。文库下载 https://www.wenkuxiazai.com/上亿文档资料，等你来发现



· rtf filefinalstr = word; // ......

Documents