skymind's platform - cn
TRANSCRIPT
![Page 1: Skymind's Platform - CN](https://reader031.vdocuments.mx/reader031/viewer/2022020119/586e73be1a28ab99598b5591/html5/thumbnails/1.jpg)
深度学习平台介绍 DEEPLEARNING4J, ND4J, NS4J, CANOVA, ARBITER
Skymind 的合作伙伴:
![Page 2: Skymind's Platform - CN](https://reader031.vdocuments.mx/reader031/viewer/2022020119/586e73be1a28ab99598b5591/html5/thumbnails/2.jpg)
Skymind 的深度学习平台生态系统简介 Skymind的深度学习平台是由4个系统组成:CANOVA, DL4J, ND4J 和 ARBITER
CANOVA - 处理非结构数据 - 将数据简单化 - 将数据转化为机器 学习工具使用矢量 格式
ARBITER - 深度学习程式检 测评估器 - 调整及优化机械 学习模型
DL4J: DEEP LEARNING FOR JAVA - 企业级,开源分布式的商用深度学习框架 - 包含所有的深度学习神经网络
ND4J: N-DIMENSIONAL ARRAYS FOR JAVA - 矩阵操作的科学计算引擎 - 同时也是DL4J主要的科学计算引擎
![Page 3: Skymind's Platform - CN](https://reader031.vdocuments.mx/reader031/viewer/2022020119/586e73be1a28ab99598b5591/html5/thumbnails/3.jpg)
开源分布式深度学习平台 利用世界的力量打造完美平台,同时还可以充分保护用户的权利
Skymind的深度学习框架是开源的:
- 利用世界的力量打造完美平台 - 增快技术产出与技术更新 - 开源软件对用户的权利保护得更充分 - 开源软件让用户数据的隐私受保证
深度学习平台
超过2000位活跃的开发者 开发者来自超过26个世界不同的国家,超过8个不同的时区
开发者来自超过50家不同的企业、集团、公司
兼容于企业大数据系统
![Page 4: Skymind's Platform - CN](https://reader031.vdocuments.mx/reader031/viewer/2022020119/586e73be1a28ab99598b5591/html5/thumbnails/4.jpg)
用户的数据隐私受保证 使用Skymind开源分布式深度学习平台,创立属于你自己的应用程序
一般的深度学习平台 Skymind 的深度学习平台
深度学习公司甲
公司甲 深度学习平台
公司丙
公司丙 数据
数据 分析结果
数据库 应用软件
深度学习平台
公司丙
数据库 应用软件
公司丙 数据
数据 分析结果
通过Skymind平台开发
公司丙
技术 支持
- 公司丙通过API将所数据导入公司甲的深入学习平 台,这些数据将在公司甲的平台上进行分析 - 公司甲把数据分析结果反馈给公司丙 - 数据分析过程可能会缓慢 - 公司丙的数据隐私将不受保证
- 公司丙通过Skymind深度学习平台创立属于自己的 深度学习应用程序 - 公司丙在自己的系统上运行数据分析并得出总结 - 建立在同个系统上,数据分析过程将可迅速完成 - 在公司丙自己的平台上运行,数据隐私将受保证
系统架构 系统架构
![Page 5: Skymind's Platform - CN](https://reader031.vdocuments.mx/reader031/viewer/2022020119/586e73be1a28ab99598b5591/html5/thumbnails/5.jpg)
Skymind深度学习平台:我们的优势 首个使用JAVA和SCALA编写的商业级开源分布式深度学习平台
唯一一个使用Java, Scala 和 Clojure编程的平台
20X速度 运行时间
Skymind平台
一般平台(使用Python、C/C++编辑)
总体运行速度非常快 跨平台 完全兼容于所有企业的大数据系统
![Page 6: Skymind's Platform - CN](https://reader031.vdocuments.mx/reader031/viewer/2022020119/586e73be1a28ab99598b5591/html5/thumbnails/6.jpg)
Skymind深度学习平台架构:HADOOP(供参考) 在HADOOP系统上使用Skymind深度学习平台
- 操作仪表盘 - 基础设施投资 - 客户记分卡 - 带宽分配 - 呼叫数据记录(CDR)分析 - 产品开发 - 主动维护
深度学习平台
EDW
MPP
数据库
分析
传统数据来源 新兴或非传统的数据来源
安全 系统
操作 系统
HDFS (HADOOP DISTRIBUTED FILE SYSTEM) HADOOP分布式文件系统
YARN:数据操作系统
Oth
ers
Scrip
t
SQL
NoS
QL
Stre
am
Sear
ch
Bat
ch
客户关系管理
订阅数据
企业资源计划
产品目录
帐单数据
网络数据
点击流
服务器日志
在线咨询
呼叫细节
传感器数据
商品清单
社会媒体
数据管理
数据 治理 整合
![Page 7: Skymind's Platform - CN](https://reader031.vdocuments.mx/reader031/viewer/2022020119/586e73be1a28ab99598b5591/html5/thumbnails/7.jpg)
Skymind深度学习平台架构:模型训练(供参考) 使用Skymind深度学习平台构建与优化机械学习模型
CANOVA
DL4J
GPU CUDA
CPU MKL
ETL:数据抽取,清洗,转换和装载 从AMAZON S3, CASSANDRA, HDFS和任何NoSQL DB抽取数据并将数据转化为机器 学习工具使用矢量格式。
智能层 在多核的处理器上运行深层神经网络,对数据进行分类,聚类然后做出预测和评估。
分布式运行 数据分析(模型训练)编排系统:SPARK在集群服务器上的CUDA控制主机线程。在云分布式系统上进行数据并行化和参数平均化训练。
硬件加速 标准计算机的本机硬件子系统: CUBLAS ,自定义的CUDA内核。使用轮循方式将其中一个主机线程连接到特定的图形处理器(GPU)。对于CPU ,我们将对自定义的操作和MKL的链接使用SIMD(单指令多数据)指令;或对引用BLAS impl,OpenBlas的链接使用SIMD指令。
![Page 8: Skymind's Platform - CN](https://reader031.vdocuments.mx/reader031/viewer/2022020119/586e73be1a28ab99598b5591/html5/thumbnails/8.jpg)
Skymind深度学习平台架构:实时审核(供参考) 使用Skymind深度学习平台运行机械学习模型
数据源 数据对接
Logs
IoT
RDBMS
DL4J: 训练出来的 机械学习模型
GPU CUDA
CPU MKL
机械学习
模型 机械学习
模型
DROPWIZARD
基于JVM的 应用程式层
Protocol Buffers
1
2
3
- 使用Protocol Buffers (Protobuf) 沟通
- kafka 与 DL4J 之间使用Flat Buffers
- 二进制格式 针对故障使用多种机械学习模型应对多种需求。每个模型将会在一台机上运算。无分布式运行(因此也没有平均化),因为之间的沟通是低效的。
把实时预测连接上图形用户界面(GUI)
![Page 9: Skymind's Platform - CN](https://reader031.vdocuments.mx/reader031/viewer/2022020119/586e73be1a28ab99598b5591/html5/thumbnails/9.jpg)
企业版和社区版 世界首个企业级商用的深度学习平台:快速完成大数据分析与总结
- 开源平台: https://github.com/deeplearning4j - 包含所有的神经网络,如:Convolutional Nets,
Recurrent Nets, Recursive Nets, Deep Autoencoders, Deep-Belief Nets 等。参考 deeplearning4j.org
- 技术支持:通过GITTER开发者实时讨论区获得支持 - https://gitter.im/deeplearning4j
- 拥有社区版所有的功能与特征 - 支持CPU和GPU即时切换和并行 - 支持分布式系统(如:HADOOP大数据系统等),满
足企业对深度学习模型分布式训练的需求 - 支持手机应用、移动应用 - 全天候专业技术支持:电话,邮件,客户支持系统
社区版
企业版
![Page 10: Skymind's Platform - CN](https://reader031.vdocuments.mx/reader031/viewer/2022020119/586e73be1a28ab99598b5591/html5/thumbnails/10.jpg)
联系方式
联系人 :吴书卫(Goh Shu Wei) 邮件 :[email protected] 手机 :+60197259601 微信 :gohshuwei20000 微博 :weibo.com/dl4j 官网 :skymind.io
微信:扫一扫