鄂教〔2001〕2号 - bjtugjcxcy.bjtu.edu.cn/uploadfile/5183002641132545867… · web...

21
附附1 附附附附附附附附附附附附附附附附附 附 附 附 湖湖湖湖湖湖湖湖湖湖湖 附 附 附 附 附附附附附附附附附附附附附附附附 附附 附 附 附 附 □附附附附附附□附附附附附附 附附附附附附 附附 附附附附附 附附附附附附附附 附附附附附附附附 附附附附附附附附 附 附 附 附 附 附附 附 附 附 附 2019 5 10 附附附附附附附 附附附附 1

Upload: others

Post on 20-Aug-2020

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

附 件 1

湖 北 省 大 学 生 创 新 创 业 训 练 计 划申 请 书

推 荐 学 校 湖 北 工 程 学 院 新 技 术 学 院 项 目 名 称 基 于 嵌 入 式 的 有 限 能 耗 高 性 能 计 算

系 统 研 究 项 目 类 型 □ 创 新 训 练 项 目 □ 创 业 训 练 项 目

创 业 实 践 项 目所 属 一 级 学 科 名 称 计 算 机 科 学 与 技 术 所 属 二 级 学 科 名 称 计 算 机 软 件 与 理 论 项 目 负 责 人 刘 鹏 申 报 日 期 2019 年 5 月

10 日

1

Page 2: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

湖北省教育厅制二○一八年四月

2

Page 3: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

项 目 名 称 基 于 嵌 入 式 的 有 限 能 耗 高 性 能 计 算 系 统 研 究

项 目 类 型 ( ) 创 新 训 练 项 目 ( ) 创 业 训 练 项 目 ( √ ) 创 业 实 践 项 目

项 目 实 施时 间

起 始 时 间 : 2019 年 6 月 完 成时 间 : 2020 年 月

申请人或申请团队

姓名

年级 学 校

所 在 院系

/ 专 业

联 系 电话 E-mail

主持人

刘鹏

201

8

湖 北 工程 学 院新 技 术

学 院

信 息 工程 系 /

软 件 工程

15571291

727

209099510@qq

.com

成 员

赵沛霖

201

8

湖 北 工程 学 院新 技 术

学 院

信 息 工程 系 /

软 件 工程

15132969

795

1305241663@q

q.com

马丞谦

201

8

湖 北 工程 学 院新 技 术

学 院

信 息 工程 系 /

软 件 工程

158357

50820

1113404983@q

q.com

3

Page 4: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

指导教师

姓 名 景 啸 研 究 方向 工 控 、 故 障 诊 断

年 龄 33行 政 职 务 / 专

业 技 术 职 务 助 教

主 要成 果

从 2015 年开始带学生参加“西门子杯”中国智能制造挑战赛逻辑控制设计开发赛项,获得了华中赛区特等奖一项,二等奖两项,三等奖两项,获得全国三等奖一项。计算机设计大赛湖北赛区三等奖一项。

作为牵头教师参与了孝感维达纸业和大禹电气的培训工作。

4

Page 5: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

一 、 项 目 实 施 的 目 的 、 意 义

本 项 目 的 申 报 领 域 为 “ 互 联 网 + 大 数 据 与 云 计 算 ” 的 “ 新 型

数 据 挖 据 、 处 理 、 存 储 计 算 系 统 ” 。随 着 互 联 网 的 迅 速 发 展 , 我 们 已 经 提 前 进 入 信 息 化 时 代 , 而

现 在 正 处 于 信 息 爆 炸 的 阶 段 , 随 之 诞 生 的 两 个 事 物 为 当 前 以 及

未 来 很 长 一 段 时 间 将 是 关 注 的 热 点 : 大 数 据 和 云 计 算 。大 数 据 ( Big data ) , 是 指 无 法 在 可 承 受 的 时 间 范 围 内 用 常 规 软

件 工 具 进 行 捕 捉 、 管 理 和 处 理 的 数 据 集 合 。 从 技 术 上 看 , 大 数

据 与 云 计 算 的 关 系 就 像 一 枚 硬 币 的 正 反 面 一 样 密 不 可 分 。 大 数

据 必 然 无 法 用 单 台 的 计 算 机 进 行 处 理 , 必 须 采 用 分 布 式 计 算 架

构 。 它 的 特 色 在 于 对 海 量 数 据 的 挖 掘 , 但 它 必 须 依 托 云 计 算 的

分 布 式 处 理 、 分 布 式 数 据 库 、 云 存 储 和 虚 拟 化 技 术 。大 数 据 主 要 分 为 结 构 化 数 据 和 非 结 构 化 数 据 的 处 理 , 其 中 以

视 频 ( 图 像 ) 为 非 结 构 化 数 据 典 型 , 其 主 要 问 题 在 于 数 据 量

大 、 非 结 构 化 无 法 以 常 规 数 据 挖 掘 方 式 分 析 其 内 容 以 及 数 据 之5

Page 6: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

间 的 关 系 , 在 深 度 应 用 中 涉 及 数 据 融 合 的 时 空 融 合 问 题 , 对 计

算 系 统 要 求 高 , 传 统 系 统 几 乎 无 法 处 理 , 更 不 用 说 做 到 实 时 处

理 , 因 此 互 联 网 及 其 云 计 算 应 用 是 该 类 问 题 解 决 的 根 本 手 段 。本 项 目 着 眼 于 社 会 化 商 务 所 面 临 的 大 数 据 问 题 , 对 大 数 据 存

储 、 管 理 及 后 期 数 据 挖 掘 、 应 用 分 为 两 个 阶 段 展 开 攻 关 。 本 项

目 现 阶 段 已 与 孝 感 市 孝 南 区 公 安 局 达 成 初 步 合 作 , 实 际 应 用 于

孝 感 市 天 网 二 期 工 程 并 得 到 相 应 经 费 资 助 , 主 要 用 于 解 决 以 下

问 题 : 在 前 端 : 解 决 前 端 特 别 是 现 场 数 据 处 理 能 力 不 足 的 问

题 , 通 过 部 署 在 前 端 的 移 动 超 算 系 统 就 地 对 各 类 ( 特 别 是 图

像 数 据 ) 海 量 数 据 进 行 处 理 ; 数 据 链 路 : 通 过 前 端 对 数 据 进 行 处 理 , 可 有 效 降 低 系 统

对 数 据 链 路 带 宽 和 质 量 的 依 赖 , 有 利 于 提 高 现 场 反 应 速 度 ,

提 高 系 统 的 可 靠 性 ; 在 后 端 : 解 决 数 据 存 储 和 管 理 问 题 , 通 过 部 署 固 定 超 算

6

Page 7: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

系 统 有 效 压 缩 数 据 , 提 高 数 据 在 系 统 中 的 生 存 周 期 ; 对 数 据

进 行 深 入 挖 掘 , 形 成 特 征 数 据 , 从 而 为 深 度 学 习 及 其 应 用 提

供 有 力 保 障 。该 项 目 得 到 学 校 和 合 作 单 位 大 力 支 持 , 原 型 机 已 于 2018 年 5

月 完 成 并 通 过 初 期 测 试 , 于 2018 年 12 月 交 付 原 型 机 用 于 中 期 测

试 , 2019 年 6 月 交 付 样 机 并 通 过 第 一 轮 项 目 验 收 。项 目 组 成 员 参 与 了 指 导 教 师 团 队 与 孝 感 市 公 安 局 孝 南 分 局 2015

公 安 部 项 目 申 报 工 作 , 其 中 研 究 课 题 为 《 基 于 “ 天 网 ” 多 Agent

流 动 预 警 分 析 研 判 系 统 》 , 其 核 心 内 容 就 是 在 本 项 目 第 一 阶 段

完 成 的 基 础 上 开 展 视 频 ( 图 像 ) 时 空 关 联 性 内 容 挖 掘 。 此 外 ,

项 目 组 成 员 主 持 并 参 与 了 2016 年 NVIDIA Jetson Tegra K1竞 赛 , 将 该

平 台 用 于 图 像 处 理 和 深 度 用 户 学 习 , 参 赛 作 品 《 基 于 TK1 的 异

常 行 为 分 析 系 统 》 获 得 总 决 赛 二 等 奖 。

二 、 项 目 研 究 内 容 和 拟 解 决 的 关 键 问 题

大 数 据 及 其 应 用 一 直 是 学 术 界 开 放 的 热 点 问 题 , 尽 管 得 持 续7

Page 8: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

获 得 全 世 界 的 高 度 关 注 , 但 由 于 其 3V 特 征 ( Volume 体 量

大 、 Velocity 速 度 快 、 Variety 异 构 性 ) , 给 数 据 的 存 储 、 管 理 和

分 析 等 整 个 流 程 都 带 了 巨 大 的 挑 战 , 特 别 是 在 非 结 构 化 数 据 方

面 这 些 问 题 尤 为 突 出 , 其 中 视 频 及 图 像 数 据 更 是 重 中 之 重 , 因

此 处 理 好 图 像 数 据 对 于 大 数 据 处 理 有 着 相 当 重 要 的 意 义 。 现 阶

段 视 频 及 图 像 数 据 处 理 的 现 状 :1 、 数 据 存 储 密 度 低 , 图 像 压 缩 算 法 适 用 性 低由 于 视 频 ( 图 像 ) 属 于 非 结 构 化 数 据 , 因 此 无 法 像 典 型 的 结

构 化 数 据 那 样 简 单 压 缩 , 特 别 是 视 频 数 据 这 一 带 有 时 间 的 三 维

结 构 以 及 处 于 某 些 应 用 考 虑 必 须 保 证 数 据 有 效 性 , 如 视 频 监 控

数 据 必 须 保 证 足 够 的 清 晰 度 , 以 便 后 期 对 监 控 内 容 特 别 是 其 细

节 ( 如 车 牌 号 、 人 物 特 征 等 ) 进 行 追 踪 挖 掘 。 因 此 如 何 在 保 证

足 够 清 晰 度 及 时 间 维 度 的 前 提 下 高 效 存 储 海 量 视 频 数 据 一 直 是

研 究 的 热 点 , 虽 然 出 现 如 MPEG 等 动 态 图 像 压 缩 算 法 , 但 面 对

如 “ 天 网 ” 工 程 所 涉 及 的 公 共 安 全 视 频 数 据 而 言 , 典 型 的 数 据8

Page 9: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

压 缩 算 法 仍 有 不 足 , 因 此 这 是 本 项 目 首 要 解 决 的 问 题 之 一 。2 、 数 据 运 算 量 巨 大 , 常 规 CPU 计 算 不 足图 像 及 视 频 数 据 量 巨 大 , 而 对 其 进 行 进 一 步 处 理 , 如 图 像 压

缩 就 需 要 更 多 的 运 算 , 更 不 用 说 视 频 数 据 内 容 挖 掘 需 要 的 运 算

量 。 因 此 早 期 的 软 件 压 缩 效 率 极 其 低 下 , 之 后 Intel 改 善 了 其

CPU 处 理 特 性 才 使 得 CPU 对 图 像 数 据 处 理 的 性 能 提 升 到 一 个 新

的 阶 段 。 即 便 如 此 由 于 常 规 CPU 面 向 的 是 通 用 性 任 务 处 理 , 其

在 处 理 图 像 、 视 频 这 样 密 集 性 浮 点 运 算 时 表 现 远 不 如 GPU , 根

据 中 国 计 算 机 学 会 通 讯 刊 登 的 《 CCF 大 数 据 专 家 委 员 会 . 大 数

据 热 点 问 题 与 2013 年 发 展 趋 势 分 析 》 表 明 早 在 2012 年 , GPU 的

计 算 能 力 已 经 达 到 了 3gigaFLOPS次 浮 点 计 算 每 秒 , 远 远 超 出 了

CPU 的 计 算 能 力 , 如 图 1 所 示 。

9

Page 10: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

0

500

1000

1500

2000

2500

3000

3500

2006 2007 2008 2009 2010 2011 2012

CPUGPU

图 1 CPU&&GPU 计 算 能 力 发 展 ( 单 位 : 十 亿 次 浮 点 操 作 每 秒

( gigaflops) )因 此 当 前 及 未 来 图 像 数 据 处 理 的 发 展 向 着 CPU-GPU 混 合 计 算

方 向 快 速 发 展 。3 、 常 规 系 统 建 设 成 本 高 、 功 耗 高 、 低 使 用 率虽 然 如 美 国 橡 树 岭 实 验 室 的 “ 泰 坦 ” 以 及 我 国 的 “ 天 河 二

号 ” 是 世 界 顶 尖 超 级 计 算 机 的 代 表 , 具 有 无 与 伦 比 的 运 算 能 力

能 够 满 足 海 量 数 据 处 理 的 要 求 , 但 是 这 类 超 算 系 统 往 往 建 造 成

本 巨 大 ( 仅 “ 泰 坦 ” 二 期 升 级 就 花 费 了 9000 万 美 元 ) , 而 且 其

10

Page 11: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

运 行 功 耗 巨 大 ( “ 泰 坦 ” 全 速 运 转 功 耗 约 为 900MW ) , 一 般 企

业 及 个 人 用 户 不 太 可 能 承 受 如 此 高 昂 的 建 造 和 运 行 成 本 。 迫 于

这 些 压 力 , 市 场 将 目 光 投 向 了 快 速 发 展 的 嵌 入 式 设 备 及 嵌 入 式

并 行 计 算 领 域 。基 于 上 述 超 算 系 统 的 缺 陷 , 本 项 目 由 指 导 教 师 总 体 设 计 由 本

项 目 申 请 团 队 具 体 研 发 , 设 计 并 实 现 一 套 “ 嵌 入 式 ” 并 行 “ 超

级 计 算 机 ” , 其 中 使 用 MapReduce 框 架 实 现 对 数 据 的 存 储 和 管

理 , 而 利 用 CUDA 技 术 优 化 海 量 视 频 数 据 的 压 缩 过 程 , 以 及 深

度 应 用 的 需 求 , 能 够 有 效 应 对 如 : 天 网 工 程 海 量 视 频 数 据 的 管 理 和 压 缩 存 储 要 求 ; 各 种 安 全 监 控 系 统 的 前 端 ( 现 场 ) 数 据 处 理 要 求 ; 工 业 现 场 图 像 及 数 据 处 理 的 要 求 ;

三 、 项 目 研 究 与 实 施 的 基 础 条 件

2015年 6 月 5 日 举 行 国 务 院 政 策 例 行 吹 风 会 , 介 绍 全 面 推 进

大 众 创 业 万 众 创 新 相 关 政 策 措 施 等 有 关 情 况 。 科 技 部 副 部 长 曹11

Page 12: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

健 林 谈 及 大 学 毕 业 生 创 业 时 表 示 , 科 技 部 和 教 育 部 支 持 大 学 生

创 新 创 业 已 经 进 行 了 几 年 , 各 地 都 有 一 些 好 的 地 方 性 举 措 , 在

很 多 地 方 都 对 大 学 生 毕 业 创 业 有 补 贴 政 策 , 比 如 说 可 以 到 孵 化

器 里 去 , 房 租 、 上 网 费 在 一 定 时 间 都 是 可 以 减 免 的 , 甚 至 包 括

一 定 数 量 的 资 金 支 持 。 同 时 在 2015年 6 月 国 务 院 发 布 了 《 关 于

大 力 推 进 大 众 创 业 万 众 创 新 若 干 政 策 措 施 的 意 见 》 。 《 意 见 》

中 指 出 要 充 分 认 识 推 进 大 众 创 业 、 万 众 创 新 的 重 要 意 义 。 创 新

体 制 机 制 , 实 现 创 业 便 利 化 。 引 导 和 鼓 励 高 校 统 筹 资 源 , 抓 紧

落 实 大 学 生 创 业 指 导 服 务 机 构 、 人 员 、 场 地 、 经 费 等 。 这 既 可

以 扩 大 就 业 、 增 加 居 民 收 入 , 又 有 利 于 促 进 社 会 纵 向 流 动 和 公

平 正 义 。

12

Page 13: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

图 2 大 学 生 自 主 创 业 优 惠 政 策孝 感 市 政 府 支 持 大 学 生 自 主 创 业 及 创 意 产 业 的 发 展 。 例 如 :

2015年 3 月 发 表 《 孝 感 市 大 学 生 创 业 就 业 指 导 站 工 作 章 程 》 。

章 程 表 明 了 放 宽 大 学 生 自 主 创 业 市 场 准 入 条 件 和 经 营 场 所 的 限

制 , 鼓 励 大 学 生 网 上 创 业 , 实 行 零 收 费 创 业 政 策 以 及 指 导 大 学

生 申 请 创 业 项 目 的 政 府 扶 持 资 金 。 湖 北 省 孝 感 是 是 一 座 充 满 创

业 激 情 的 城 市 , 非 常 适 合 人 才 创 业 创 新 , 而 大 学 生 就 是 宝 贵 的

创 业 创 新 人 才 。 2014 年 底 , 孝 感 市 委 、 市 府 作 出 打 造 “ 创 新

13

Page 14: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

人 才 之 都 ” 的 战 略 部 署 , 希 望 用 创 新 的 思 想 发 展 。

四 、 项 目 实 施 方 案4.1软 件 技 术 框 架

系 统 软 件 技 术 框 架 有 两 个 核 心 点 : 宏 观 部 分 的 MapReduce框 架和 微 观 并 行 任 务 处 理 的 CUDA 。

MapReduce , 是 Google 提 出 了 一 种 编 程 模 型 , 主 要 用 于 大 规 模数 据 的 并 行 运 算 , 其 分 为 Map ( 映 射 ) 和 Reduce ( 规 约 ) 两 个过 程 , Map 用 于 将 数 据 和 任 务 ( 粗 粒 度 任 务 ) 分 布 到 集 群 中 的各 个 节 点 , 而 在 数 据 和 任 务 处 理 完 毕 后 使 用 Reduce 将 结 果 汇 总到 主 节 点 上 。 基 于 分 布 式 系 统 的 基 本 要 求 , MapReduce 通 过 把 对数 据 集 的 大 规 模 操 作 分 发 给 网 络 上 的 每 个 节 点 实 现 可 靠 性 , 一旦 检 测 到 节 点 失 效 , 就 会 将 分 配 给 这 个 节 点 的 数 据 发 到 别 的 节点 以 继 续 完 成 任 务 。 由 于 MapReduce 更 多 的 是 一 种 分 布 式 系 统 及编 程 模 型 , 因 此 有 诸 多 研 究 机 构 和 厂 商 在 该 模 型 的 基 础 上 进 行了 具 体 实 现 , 其 中 Nutch 实 现 的 就 是 Hadoop , 并 且 该 平 台 是 开 源的 。

作 为 MapReduce 的 具 体 实 现 , Hadoop 分 别 实 现 了 分 布 式 文 件 管理 系 统 ( HDFS( Hadoop Distributed File System , Hadoop 分 布 式 文 件 管理 系 统 ) 对 应 GFS ( Google File System , Google 文 件 系 统 ) ) 、

14

Page 15: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

映 射 / 规 约 模 型 、 混 合 性 大 数 据 库 系 统 ( Hbase 对 应Bigtable ) 。 Hadoop 的 实 现 得 到 广 大 开 源 用 户 的 支 持 , 因 此 本 项目 也 选 用 了 Hadoop 作 为 MapReduce的 具 体 实 现 。虽 然 Hadoop 实 现 了 MapReduce 并 且 能 够 将 数 据 和 任 务 进 行 分

布 , 但 分 布 后 的 任 务 与 具 体 算 法 实 现 仍 然 需 要 程 序 员 编 写 , 这样 就 需 要 在 “ 微 观 ” 层 面 开 发 具 体 的 数 据 处 理 程 序 。 由 于 典 型的 处 理 程 序 要 么 是 单 线 程 的 、 要 么 利 用 多 线 程 技 术 较 为 充 分 的发 挥 多 核 CPU 的 运 算 能 力 , 但 面 对 如 视 频 这 样 密 集 的 非 结 构 化数 据 处 理 而 言 , CPU 的 处 理 效 率 大 幅 度 降 低 了 。 在 图 像 处 理 领域 NVIDIA 推 出 了 CUDA(Compute Unified Device Architecture , 统 一 计 算设 备 架 构 ) , 这 是 一 种 通 用 并 行 计 算 架 构 , 该 架 构 使 得 GPU 能够 解 决 如 图 像 处 理 等 复 杂 的 计 算 问 题 。 在 CUDA 的 基 础 上 优 化海 量 视 频 数 据 的 压 缩 过 程 , 能 够 有 效 应 对 天 网 工 程 海 量 视 频 数据 的 管 理 和 压 缩 存 储 要 求 , 系 统 文 件 存 储 框 架 图 如 图 3 所 示 :

15

Page 16: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

图 3 基 于 HDFS 的 分 布 式 数 据 存 储 框 架 图

4.2硬 件 技 术 框 架传 统 的 大 数 据 处 理 早 期 主 要 由 CPU 负 担 , 但 由 于 CPU 是 面 向

通 用 计 算 和 任 务 处 理 领 域 , 其 对 视 频 数 据 处 理 的 能 力 受 到 限制 。由 于 GPU 强 劲 的 密 集 任 务 处 理 能 力 , 当 今 高 性 能 计 算 系 统 如

美 国 橡 树 岭 实 验 室 的 “ 泰 坦 ” 超 算 系 统 , 采 用 的 是 基 于 CPU 和GPU 异 构 架 构 , 其 中 CPU 主 要 用 于 任 务 调 度 , 而 GPU 则 重 点 承担 密 集 运 算 。 “ 泰 坦 ” 的 峰 值 运 算 能 力 达 到 了 17petaFLOPS ; 而我 国 的 “ 天 河 二 号 ” 运 算 能 力 更 是 达 到 33petaFLOPS 。虽 然 超 算 系 统 具 有 极 其 强 大 的 运 算 能 力 , 但 其 更 多 用 于 特 定

科 学 领 域 与 专 业 用 户 , 极 力 追 求 高 性 能 所 带 来 高 建 造 成 本 、 高功 耗 以 及 低 使 用 率 , 以 泰 坦 为 例 仅 其 二 期 升 级 就 花 费 了 9000 万美 元 , 全 速 运 转 时 的 功 耗 为 900MW , 初 期 运 转 率 仅 在 6~10% 左右 。 建 造 成 本 及 运 行 成 本 的 压 力 迫 使 市 场 将 目 光 投 向 了 快 速 发展 的 嵌 入 式 及 嵌 入 式 并 行 计 算 领 域 。

为 了 满 足 系 统 设 计 目 标 , 在 系 统 设 计 之 初 进 行 了 平 台 性 测 试与 选 型 。 基 于 常 见 视 频 格 式 , 三 种 代 表 性 加 速 平 台 , 分 别 是Intel 的 Quick Sync Video , ADM 的 APP 和 NVIDIA 的 CUDA 。 在 本 项

16

Page 17: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

目 前 期 可 行 性 研 究 中 对 这 三 个 平 台 进 行 基 础 的 性 能 测 试 :数 据 测 试 : 视 频 源 规 格 : 1080P、 H.263 、 码 率 28Mbps 、 文 件 大

小 3579MB , 目 标 格 式 MP4 、 H.264码 率 4Mbps , 其 中 Intel 解 决 方案 用 时 722 秒 , 压 缩 率 为 7.38 , 折 合 17845MB/h ; NVIDIA 解 决 方案 用 时 约 993 秒 , 压 缩 率 为 7.05 , 折 合 12960MB/h ; AMD解 决 方案 用 时 约 1500 秒 , 压 缩 率 6.8, 折 合 8589MB/h 。

目 前 视 频 监 控 系 统 每 天 产 生 数 据 峰 值 为 33TB , 上 述 三 个 方 案分 别 需 要 77 套 、 106 套 和 160 套 系 统 以 并 行 方 式 处 理 才 能 满 足实 时 处 理 的 要 求 , 而 所 需 建 造 系 统 的 成 本 分 别 为 37 、 30 、 75 万元 ; 总 功 耗 方 面 分 别 为 12Kwh 、 9Kwh和 27Kwh 。 不 难 看 出 Intel

和 NVIDIA具 有 较 明 显 的 优 势 , 而 由 于 实 际 中 Intel 以 服 务 报 价 来看 , 其 建 造 成 本 相 比 TK1 系 统 要 高 出 不 少 , 这 也 是 本 项 目 选 用TK1 构 建 系 统 的 重 要 原 因 。 三 种 测 试 平 台 四 项 指 标 对 比 如 图 4

所 示 :

17

Page 18: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

Intel TK1 AMD0

0.5

1

1.5

2x 10

4

(MB

/h)

吞吐

Intel TK1 AMD0

5

10

15

20

25

30

(kw

/h)

功耗

Intel TK1 AMD0

20

40

60

80

()

成本

万元

Intel TK1 AMD0

50

100

150

200

节点

数量

图 4 三 种 测 试 平 台 四 项 指 标 对 比 图而 且 基 于 嵌 入 式 和 分 布 式 存 储 的 并 行 计 算 系 统 具 有 很 强 的 伸

缩 性 —— 随 着 任 务 规 模 的 增 加 , 可 以 逐 步 增 加 节 点 , 可 以 大 幅度 减 少 一 次 性 投 入 的 成 本 。

因 此 本 项 目 筛 选 了 多 种 嵌 入 式 系 统 架 构 ( 包 括 DSP 、 FGPA

等 同 构 及 混 合 异 构 系 统 ) , 最 终 选 用 了 NVIDIA JETSON

TK1 ( ARM 处 理 器 +NVIDIA GPU的 方 案 ) 解 决 方 案 , 系 统 硬 件 结构 总 体 框 架 图 如 图 5 所 示 :

18

Page 19: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

图 5 系 统 硬 件 结 构 总 体 框 架 图每 个 节 点 的 核 心 TK1 处 理 器 部 分 包 含 四 个 ARM-A15 内 核 , 而

GPU 部 分 则 为 192 个 CUDA , 并 且 使 用 了 与 “ 泰 坦 ” 相 同 的“ Kepler” 超 算 架 构 , 其 结 构 简 图 如 图 6 所 示 :

图 6 NVIDIA TK1结 构 简 图

19

Page 20: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

单 个 TK1 节 点 的 零 售 价 格 仅 为 1600 元 , 功 耗 低 至 10w , 足 以满 足 项 目 设 定 的 视 频 数 据 处 理 与 分 析 的 基 本 要 求 。 多 个 节 点 配合 监 控 主 机 及 网 络 通 讯 设 备 就 可 以 构 成 并 行 计 算 集 群 , 计 划 交付 给 天 网 工 程 的 系 统 由 两 个 子 集 群 构 成 , 每 个 集 群 拥 有 48 个 节点 , 其 部 署 示 意 图 如 图 7 所 示 :

图 7 计 划 交 付 天 网 工 程 双 集 群 系 统 部 署 示 意 图该 系 统 能 够 有 效 的 对 视 频 任 务 进 行 处 理 , 根 据 孝 南 区 公 安 局

具 体 需 求 , 该 项 目 已 于 2018 年 5 月 实 现 原 型 机 系 统 , 系 统 实 物如 图 8 所 示 :

20

Page 21: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

( a ) 完 成 总 装 待 调 试 Medusa 系 统图 8 嵌 入 式 并 行 计 算 系 统 “ Medusa”原 型 机

4.3产 品 技 术 指 标产 品 最 终 是 为 了 实 现 一 种 通 用 的 、 低 建 造 成 本 、 低 运 行 成 本

且 可 移 动 部 署 的 通 用 型 超 算 处 理 平 台 , 不 仅 能 为 特 定 行 业 如 公安 等 还 能 为 其 它 如 经 济 、 城 市 规 划 等 公 共 服 务 领 域 大 数 据 处 理提 供 服 务 支 撑 。 受 限 于 当 前 技 术 实 力 、 资 金 以 及 人 员 等 条 件 因素 , 系 统 当 前 主 要 为 合 作 单 位 进 行 定 制 化 开 发 , 待 完 成 原 型 系统 并 在 实 际 应 用 后 再 逐 步 向 通 用 市 场 发 展 。

合 作 单 位 视 频 监 控 系 统 每 天 产 生 的 数 据 峰 值 约 为 30TB 规 模 ,其 数 据 保 存 周 期 为 1 个 月 即 受 到 现 有 系 统 存 储 空 间 的 限 制 数 据滞 留 系 统 的 时 间 为 30 天 , 之 后 将 会 被 新 数 据 所 覆 盖—— 而 项 目

21

Page 22: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

要 求 将 数 据 保 存 周 期 提 高 至 6 个 月 ( 180 天 ) , 为 此 所 建 立 的数 据 处 理 系 统 必 须 能 够 承 受 30TB/Day 的 数 据 吞 吐 量 , 且 数 据 压缩 比 至 少 为 6 : 1 才 能 满 足 基 本 应 用 的 需 求 。 根 据 以 上 需 求 设定 产 品 技 术 指 标 :

一 是 计 划 交 付 系 统 。 系 统 计 划 使 用 两 个 由 TK1 构 建 的 群 集 组成 , 合 计 拥 有 98 台 前 入 式 系 统 , 其 中 96 台 用 于 计 算 另 外 两 台 则用 于 维 护 和 管 理 , 其 计 算 能 力 能 够 满 足 现 有 数 据 量 的 实 时 处理 , 计 划 交 付 系 统 如 图 所 示 ; 系 统 理 论 数 据 吞 吐 量 为 45TB/

day ; 系 统 总 功 耗 不 大 于 10Kw/h

二 是 原 型 机 系 统 。 原 型 机 系 统 由 1 台 笔 记 本 作 为 主 机 ( 负 责任 务 调 度 ) 、 31 块 A20 系 统 作 从 节 点 ( 负 责 任 务 处 理 ) 构 成 ,计 算 单 元 合 计 124 个 CPU 内 核 、 62GB 内 存 , 总 外 存 空 间 为240GB , 其 中 系 统 及 保 护 区 占 用 了 180GB , 剩 余 用 于 数 据 存 储的 空 间 为 60GB; 原 型 机 理 论 数 据 吞 吐 量 为 3TB/day ; 系 统 总 功 耗不 大 于 300w/h ;

三 是 伸 缩 性 。 系 统 应 具 备 很 强 的 伸 缩 性 , 既 可 以 单 节 点 运 行 ,也 可 以 按 需 求 设 置 任 意 数 量 的 节 点 以 构 成 集 群 并 行 运 行 ( 受 限于 当 前 系 统 框 架 、 网 络 吞 吐 量 及 算 法 , 系 统 目 前 最 大 支 持 4 个集 群 共 200 个 节 点 同 时 运 转 , 超 出 此 范 围 则 需 要 划 分 子 网 分 别进 行 管 理 )

22

Page 23: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

五 、 学 校 可 以 提 供 的 条 件

学 校 响 应 国 家 号 召 , 加 强 创 新 创 业 建 设 , 推 出 一 系 列 创 新 创业 课 程 , 为 我 们 创 业 打 下 了 良 好 的 理 论 基 础 ; 其 次 , 创 业 园 租金 减 免 以 及 水 电 费 优 惠 等 一 系 列 措 施 加 强 了 我 们 进 行 创 新 创 业的 决 心 ; 再 者 , 周 围 的 同 学 都 具 有 很 强 的 创 新 创 业 意 识 , 创 业氛 围 浓 厚 。

六 、 预 期 成 果

嵌 入 式 高 性 能 并 行 计 算 系 统 属 于 第 四 代 到 第 五 代 计 算 机 发 展体 系 , 是 当 前 新 兴 市 场 特 别 是 云 计 算 、 数 据 挖 掘 和 科 学 计 算 领域 所 重 点 关 注 的 领 域 。 传 统 高 性 能 计 算 机 系 统 虽 然 强 大 , 但 其在 功 耗 、 成 本 和 伸 缩 性 等 诸 多 方 面 无 法 和 嵌 入 式 并 行 计 算 系 统相 提 并 论 , 因 而 得 到 诸 多 企 业 、 科 研 院 所 支 持 , 因 此 本 系 统 在该 方 面 的 研 究 处 于 前 沿 位 置 。 本 项 目 预 期 成 果 如 下 :

一 是 嵌 入 式 并 行 计 算 系 统 。 与 一 般 的 高 性 能 并 行 计 算 系 统 能够 直 接 部 署 不 同 , 嵌 入 式 并 行 计 算 系 统 的 部 署 比 较 罕 见 , 目 前能 够 检 索 到 的 实 际 部 署 的 案 列 主 要 为 《 The first Spark/Hadoop ARM

cluster runs atop Cubieboards 》 Chanwit Kaewkasi 运 用 嵌 入 式 系 统 构 建 群集 以 支 持 Spark/Hadoop 进 行 数 据 挖 掘 , 以 及 在 法 国 部 署 的“ Cubiebox” 专 门 为 托 管 解 决 方 案 所 使 用 的 嵌 入 式 系 统 等 。 但 上

23

Page 24: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

述 方 案 使 用 Cortex-A8 架 构 主 要 面 向 的 是 综 合 应 用 平 台 , 能 够 对一 般 性 数 据 进 行 处 理 , 而 对 于 视 频 这 种 图 像 数 据 的 处 理 则 要 弱很 多 , 因 此 系 统 重 点 研 究 CPU-GPU 异 构 系 统 , 能 够 分 别 利 用CPU 对 一 般 数 据 , 而 GPU 针 对 图 形 数 据 处 理 这 种 “ 各 司 其 职 ”的 方 式 提 高 系 统 对 图 形 数 据 处 理 的 要 求 , 选 用 NVIDIA 的 Tegra 嵌入 式 系 统 平 台 是 因 其 具 有 CUDA 通 用 并 行 计 算 架 构 , 能 够 进 一步 使 GPU 解 决 复 杂 的 计 算 问 题 。

二 是 低 建 造 、 低 运 行 、 高 伸 缩 性 。 嵌 入 计 算 系 统 使 用MapReduce 分 布 式 框 架 进 行 集 群 化 管 理 , 具 有 很 强 的 伸 缩 性 , 而其 单 个 计 算 单 元 成 本 低 ( 全 套 模 块 在 2000~4000 元 之 间 ) , 全 负荷 功 耗 低 至 60w ( 处 理 器 + 硬 盘 部 分 仅 需 10~15w 功 耗 ) , 以33PB/ 年 规 模 的 视 频 ( 图 像 ) 数 据 处 理 来 看 , 以 本 项 目 方 式 建 造系 统 花 费 约 30~35万 元 , 峰 值 功 耗 约 为 3~4Kw/h , 是 同 性 能 CPU/

CPU+GPU 计 算 系 统 建 造 成 本 的 1/2, 功 耗 的 1/4, 具 有 很 强 的 市 场竞 争 力 。

三 是 硬 件 级 安 全 性 。 基 于 嵌 入 式 的 并 行 计 算 系 统 而 非 常 规CPU 处 理 系 统 , 能 够 快 速 迁 移 到 国 产 芯 片 上 ( 如 原 型 机 使 用 的A20 就 是 基 于 ARM 架 构 的 、 但 是 国 内 生 产 的 芯 片 ) , 能 够 保 障硬 件 级 的 安 全 性 , 因 此 能 够 应 用 于 国 家 公 共 安 全 领 域 —— 这 也是 项 目 组 团 队 能 够 与 公 安 系 统 合 作 的 重 要 原 因 之 一 。 硬 件 级 安

24

Page 25: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

全 特 别 是 新 兴 的 “ 门 级 信 息 安 全 ” 问 题 依 托 西 北 工 业 大 学 自 动化 学 院 进 行 检 验 与 改 进 ( 项 目 组 指 导 教 师 均 为 西 北 工 业 大 学 自动 化 学 院 博 士 ) , 目 前 国 内 乃 至 国 际 上 极 少 能 够 进 行 门 级 信 息安 全 方 面 的 研 究 乃 至 实 际 应 用 经 验 , 可 以 确 保 本 项 目 具 有 极 强的 专 业 性 价 值 差 异 。

四 是 基 于 视 频 ( 图 像 ) 内 容 的 压 缩 算 法 。 提 出 “ 关 键 区域 ” 、 “ 动 态 目 标 ” 和 “ 差 异 数 据 ” 分 析 的 方 法 , 对 视 频 ( 图像 ) 关 键 区 域 内 的 数 据 进 行 重 点 处 理 , 从 而 达 到 减 少 冗 余 信息 , 减 少 计 算 , 在 尽 力 提 高 压 缩 效 率 的 同 时 尽 量 保 留 重 要 图 像的 细 节 信 息 。 目 前 测 试 的 原 形 系 统 能 够 进 行 动 态 压 缩 中 同 时 进行 简 单 的 目 标 识 别 , 其 压 缩 效 率 比 前 文 中 阐 述 的 提 高 了 约10% , 消 耗 的 时 间 增 长 了 40% , 即 单 节 点 压 缩 速 度 为9269MB/s 。

计 划 在 最 终 的 实 际 应 用 中 , 将 压 缩 效 率 提 高 15~20% , 消 耗 时间 控 制 在 30% 左 右 , 能 够 识 别 并 保 留 不 低 于 70% 的 关 键 区 域 和动 态 信 息 , 并 能 够 将 其 中 一 些 特 征 明 显 的 信 息 ( 如 车 牌 、 颜色 、 运 动 方 向 、 速 率 等 ) 以 结 构 化 数 据 的 方 式 保 存 , 能 够 支 持以 多 种 用 户 交 互 并 以 丰 富 的 效 果 呈 现 给 最 终 用 户 。五 是 内 容 分 析 与 应 用 。 项 目 组 成 员 早 在 2015 年 就 开 始 进 行 大

数 据 及 图 像 数 据 处 理 方 面 的 研 究 , 利 用 Pregel和 Hadoop 在 并 行 计算 系 统 的 基 础 上 构 建 分 布 式 并 行 计 算 系 统 , 并 利 用 如

25

Page 26: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

Processing 、 CVS 这 样 的 数 据 可 视 化 工 具 以 多 种 视 觉 效 果 和 交 互手 段 , 向 用 户 呈 现 数 据 挖 掘 和 分 析 的 结 果 。 与 孝 感 市 公 安 局 孝南 分 局 合 作 科 研 项 目 进 行 舆 情 热 点 分 析 , 部 分 成 果 如 图 9~图 12

所 示 :

图 9 processing显 示 的 舆 情 数 据 关 系 图 和 简 化 图

图 10 一 月 份 的 热 点 访 问 量 图

26

Page 27: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

图 11 二 月 份 的 热 点 访 问 量 图

图 12 舆 情 区 域 热 度 与 关 系 分 布 图

基 于 视 频 ( 图 像 ) 内 容 挖 掘 与 数 据 推 荐 系 统 目 前 前 期 研 发 工

作 已 基 本 完 成 ( 《 基 于 “ 天 网 ” 多 Agent流 动 预 警 分 析 研 判 系

统 》 ) , 因 项 目 未 结 题 等 原 因 这 里 未 公 开 相 关 资 料 。

七 、 经 费 预 算

27

Page 28: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

项 目 原 型 机 的 研 发 资 金 来 源 于 学 校 对 于 学 生 科 研 与 创 业 项 目的 支 持 , 其 中 科 研 基 金 支 持 1.5万 元 , 创 业 项 目 拨 付 0.5万 元 ; 合作 单 位 孝 南 公 安 局 拨 付 科 研 合 作 经 费 1.0万 元 , 项 目 筹 集 资 金 合计 3.0万 元 ; 项 目 原 型 机 研 发 投 入 不 计 人 工 花 费 2.3万 元 , 剩 余 0.7

万 元 , 原 型 机 经 费 开 销 表 如 所 表 1 所 示 :表 1 原 型 机 经 费 开 销 表

项 目 说 明金 额( 万元 )

类 别小 计( 万元 )

设 备 采 购费

TK1 嵌 入 式 系 统 、交 换 机 等 2.0 支 出 -2.0

材 料 、 制作 费

系 统 硬 件 框 架 、 机架 制 作 费 用 0.2 支 出 -0.2

资 料 、 书籍

相 关 书 籍 、 文 献 资料 0.1 支 出 -0.1

学 校 科 研经 费

学 生 科 研 与 创 业 项目 拨 付 资 金 2.0 收 入 2.0

合 作 单 位经 费

孝 南 公 安 局 科 研 基金 拨 付 资 金 1.0 收 入 1.0

合 计 0.7

说 明 : 学 校 提 供 简 易 实 验 场 地 和 基 本 的 办 公 条 件 , 此 部28

Page 29: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

分 费 用 由 团 队 所 在 试 验 室 提 供 支 持 ;项 目 剩 余 0.7万 元 主 要 用 于 系 统 的 后 期 拓 展 性 研 究 和 系 统 维 护

费 用 。1) 财 务 预 算该 项 目 得 到 孝 南 公 安 局 的 支 持 , 第 一 期 洽 谈 的 项 目 , 该 局 总

投 资 为 60 万 。 表 2 中 所 示 , 该 项 目 总 支 出 为 49 万 , 毛 利 为 11

万 。 在 第 一 期 项 目 结 束 之 后 , 孝 南 公 安 局 根 据 省 公 安 厅 科 研 计划 项 目 ( hbst2014yycx03 ) 进 行 产 品 推 广 , 预 计 在 第 二 年 产 品 的发 展 阶 段 , 交 付 6 套 全 尺 寸 系 统 , 毛 利 66 万 元 。

表 2 项 目 第 一 阶 段 财 务 预 算 表

项 目 说 明金 额( 万元 )

类别

小计

系 统 生产 费 用

2 台 主 机 , 98 个 计 算 节点 , 网 络 设 备 等

40.0/

套支出

-

40

.0

技 术 人员 工 资

3 名 技 术 人 员 , 其 中 1 人兼 职 运 维

-2.0/

年支出

-

6.

0

29

Page 30: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

运 营 支出

含 差 旅 / 办 公 / 水 电 等 支出 *

-1.5/

年支出

-

1.

5

运 维 系 统 运 维 费 用 0.1万 元 / 月-0.1/

月支出

-

1.

5

订 单 收入

孝 南 公 安 局 系 统 采 购 支 付费 用 *

60.0收入

60

.0

合 计11.

0

八 、 导 师 推 荐 意 见

签 名 :

年 月 日

30

Page 31: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

九 、 院 系 推 荐 意 见

院 系 负 责 人 签 名 : 学 院 盖 章

年 月 日

十 、 学 校 推 荐 意 见 :

学校负责人签名: 学校盖章 年 月 日

十 一 、 主 管 部 门 评 审 意 见 :

单位盖章31

Page 32: 鄂教〔2001〕2号 - BJTUgjcxcy.bjtu.edu.cn/UpLoadFile/5183002641132545867… · Web viewHadoop的实现得到广大开源用户的支持,因此本项目也选用了 Hadoop 作为

年 月 日注 : 表 格 栏 高 不 够 可 增 加 。

32