大数据产品及服务能力

大数据产品及服务能力全面透视大数据的架构、价值与能力1产品体系公司简介2业务价值导向业务价值实现大数据基础平台行业应用提供一站式大数据应用支撑平台产品能力交换汇集挖掘分析可视化存储计算融合治理提供专业服务能力政府金融能源交通军工企业咨询设计算法定制实施运维服务能力3服务成果2016年11月，获得高新技术企业认定2017年3月，通过CMMIL5软件成熟度模型能力认证2017年3月，大数据基础平台SDCHadoop通过中国信通院产品能力认证2017年6月，大数据基础平台SDCHadoop分别通过中国软件评测中心产品能力认证2017年6月，大数据分析平台SDCMiner通过中国软件评测中心分析类产品能力认证2017年6月，大数据可视化平台SDCUE通过中国软件评测中心分析类产品能力认证已授权4项专利目前核心产品相关的还有20项发明专利已取得受理通知书，部分已进入实审阶段。专利权权威认证已取得74项著作权核心产品大数据基础平台、分析平台、可视化平台等均已取得相关著作权著作权产学研联合实验室与国内多家高校、研究机构成立了：大数据可视化应用联合实验室大数据基础架构研究实验室工业大数据应用联合实验室4公司资质武器装备科研生产单位保密资格证二级国军标质量管理体系认证证书二级保密资格单位证书企业信用等级证书A军工涉密咨询服务ISCCC信息安全服务ISO27001信息安全管理ISO9001质量认证计算机信息系统集成2级CMMI–DEV5级国家高新技术企业ITSS服务运维2级软件企业认定证书ISO14001环境认证5产品体系公司简介6大数据产品架构7SDCETL大数据采集平台建立大数据的数据之源8产品定位及产品特色复杂异构数据源实时性传输兼容大数据技术栈多人协作开发核心特色产品定位SDC融合数据ETL以元数据智能驱动，通过流程设计器快速构建数据处理模型，完成数据库、半结构化、非结构化数据之间的ETL工作，支持多人协作，大大节约了开发周期以及开发难度。提供强大的调度能力，使得相关部门全面地了解数据处理模型的运行情况，有助于迅速定位和排除故障。提供高可用集群管理以及HA能力，使得数据处理过程高效稳定。高效稳定操作智能便捷9产品介绍（设计界面）10产品介绍（调度页面）单一业务的任务详情图形化展示任务执行日志任务运行情况变化曲线全方位洞察一项任务执行定义指定任务的报警规则定制指定任务的报警渠道指定报警信息的接收者根据需要控制告警规则的启用与关闭告警帮你随时把握任务异常可视化手段多角度作业监控作业执行状态与成功率监控对作业进行多角度排序任务执行一览无余11SDCHadoop大数据存储计算平台构造大数据运行基石12产品架构SDC企业级一站式大数据基础平台大数据领域---存储计算为核心的基础平台组件融合Hadoop+Spark生态组件融合；MPP+Hadoop混合框架；国内组件支持最多，最丰富。统一存储数据收集及整合萃取能力横向扩展能力数据备份、安全存储能力数据按策略存储能力全文检索基于数据的检索对结构化、半结构化、非结构化数据的全类型检索支持支持按类型分类呈现检索结果，在线播放音视频文件。交互式分析批量数据非实时分析能力秒级实时交互分析能力实时数据查询能力实时流计算亚秒级，低延时的实时流处理高可用的、基于内存计算的流计算引擎性能业界领先运维管理一键式安装可视化运维监控按需部署简单易用全生态安全加固产品功能-运维管理子系统产品功能-日志分析子系统产品功能-设备可视化监控SDC平台技术创新-命令解析工具17产品测试通过了权威机构性能评测2017年6月，四方伟业SDC大数据基础平台参加了中国信息通信研究院大数据性能评测，取得了以下成绩：比规定测试时间提前2天跑出性能结果。与其它参评的企业相比，数据查询性能处于行业第一梯队。性能评测场景30T数据情况下测试：场景1：复杂SQL语句查询。•在30T数据情况5条不同SQL语句5次查询，分别执行时间为：202.7s,258.0s,50.8s,132.7s,53.1s.•最好执行速度为：1.7s/T最坏情况：6.7s/T场景2：简单SQL语句查询。•在30T数据情况5条不同SQL语句5次查询，分别执行时间为：52.9s,34.9s,66.3s,92.5s,79.8s.•最好执行速度为：1.1s/T最坏情况：3s/T18国家版权云项目案例19项目背景难点原数据的种类多样，大小不同，大数据平台存储方式不同，对后续用户检索效率有影响，需要按类型，大小存储到不同的组件，提升检索效率。解决思路1.大文件存放HDFS，建立索引，将索引存入关系型数据库，小文件直接放入NoSQL数据库。2.提前配置好分类存储策略，自动分类存储：Size100M&&Video存储#001，10MSize=100M&&Video||Voice||Picture存储#002，0MSize=10M&&Video||Voice||Picture存储#00320可视化效果快速检索，性能高效可视化，资源使用情况查看500T数据检索速度平均小于5s可视化管理20+节点自动部署能力海量数据智能分发存储集群节点自动伸缩能力业务访问负载均衡能力21SDCGovern数据治理平台大数据治理提升数据管控能力22产品定位智能高效数据驱动价值数据治理SDCGOVERN四方伟业数据治理平台以元数据智能驱动，由数据标准、数据质量、数据服务等端到端的一站式数据服务管理平台，提供统一的用户管理、数据源管理、建模设计、任务管理、数据权限等基础模块，面向“政务、教育、交通、政法、电力、能源、健康、金融”八大重点领域，实现快速、自动、稳定、持续的数据质量提升，保证信息的可用性、一致性及安全性，确保及时、准确的数据支持和服务，加快数据开发人员、数据实施人员、数据分析人员等针对数据采集、数据架构、数据质量、主数据等数据管理项目的开发和部署速度。23数据质量报告24数据资产地图25数据资产目录26四方优势平台优势品牌优势服务优势数据治理产品一般分为两类：一类是单个工具构成，另一类是集成平台，四方伟业基于元数据智能驱动集成平台的设计思路构建大数据治理平台，极大提高了平台的易用性和降低了用户成本。主数据管理工具元数据管理工具数据资产管理工具数据质量管理工具数据标准管理工具SDC大数据治理平台元数据管理资产生命周期主数据管理数据标准管理数据质量管理VS数据服务管理公司5名数据治理专家参与国内首个《数据资产实践管理白皮书》编写参与工信部牵头起草《数据管理平台》技术要求测试方法标准制定数据管理软件第一名大数据治理平台咨询规划服务产品运行保障服务实施服务以治理产品为基础的“铁三角“运行机制；提供咨询规划、项目实施和标准产品服务；27项目案例典型项目项目核心贵州检察院数据治理关注元数据和数据资产可视化能力成都市中院数据治理关注数据采集、数据质量、数据交换能力黔西南公安数据治理关注资源目录、数据质量能力区域政府数据治理关注数据资产目录、数据质量能力国家气象数据治理关注元数据、数据共享服务能力北京信息资源中心数据治理关注政务数据标准、数据共享能力北京国家邮政项目关注邮政数据资产管理能力宁夏石嘴山项目关注数据共享服务能力建设学院数据治理关注教育数据治理能力辽宁盘锦智慧城市关注区域政府数据采集、治理、共享能力截止2017年12月，已完成40多个数据治理项目的实施28国家邮政总局29SDCMiner人工智能平台大数据知识挖掘的核心引擎30产品定位来源于VolkerMarkl.Breakingthechains:Ondeclarativedataanalysisanddataindependenceinthebigdataera.MatlabIBMSPSSRExcelTableauHadoopSparkSDCMiner机器学习+大数据处理+一站式平台•目前还缺少既具有复杂数据分析能力，又具有强大的大数据处理能力的机器学习系统•对于行业大数据分析人员而言，现有的工具还处于“石器时代”ApacheFlink大数据分析系统研究者从数据分析复杂度和数据规模大小的维度，考察了现有的相关研究工作和系统：31产品特色一站式高性能算法丰富可视化安全可靠兼容开放易集成成熟稳定•一站式大数据机器学习平台，降低使用门槛•为不同用户提供多种建模方式•支持分布式计算处理海量数据•支持内存迭代计算和GPU计算•涵盖统计分析、特征工程、文本分析、机器学习、深度学习等类别•共计140余个算法•平台提供多种可视化组件，包括报表、图表、三维数据可视化•提供数据权限、用户权限、模型权限、服务接口权限等多种安全管控功能•平台支持Java、Python、R三种语言自定义算法•支持多种算法混合执行•平台以web服务、表进行对外数据交换和系统集成•易于集成、无入侵性•已获10项专利、多个权威机构认证测试（中国信通院等）•已为数十个客户提供产品和服务32产品页面33SEFONSOFTSOLUTIONSABETTERWAY工商人工智能应用34项目概述企业多维画像企业商群分析企业信用评分主体发展预测消保维权分析人工智能模型监管支撑体系公共服务体系SupervisionandsupportsystemPublicservicesystem消保维权Protectionandprotectionofrights产业布局Industriallayout企业信用Enterprisecredit主体发展Thedevelopmentofthesubject精准监管Precisionsupervision其他Other精准服务Precisionservice紧扣“放管结合、宽进严管、优化服务”的改革目标要求。利用大数据人工智能技术，完善“监管支撑”和“公共服务”两套体系，形成结构科学、弹性扩展，高度集约、强力保障的工商大数据服务监管平台。35可视化效果展现企业商群分析企业多维画像消保维权企业信用监管36SEFONSOFTSOLUTIONSABETTERWAY法院人工智能应用37项目概述1.全案特征识别2.法官审判质效分析3.法官工作荷分析4.审判业绩分析案件线索Competitivepower文书材料Competitivepower人物要素Competitivepower法律条款Competitivepower人工智能有效解决统一裁判标准、推进司法公正。构筑司法智库，能有效促进审判体系和审判能力的建设。38可视化效果展现39SEFONSOFTSOLUTIONSABETTERWAY检验检疫人工智能应用40项目概述根据业务历史数据建立预测模型对进口商品的合格率进行预测过程复杂定位、开箱、抽查、检验、封箱数量巨大效率低下大多数的产品是合格的，对合格概率高的进口产品进行监测，导致工作效率低下种类繁多商品种类繁多每批次几十种准确率不达标人工抽查的实际准确率只能达到60%左右41可视化效果展现科学实现企业信用评分定级完善现有质量信用评估体系较好量化信用监管决策为提高出口商品监管效率提供重要参考优势分析45D评分等级：D（高度风险）评分结论：信用极差出口商品企业质量信用评估质量信用得分区间质量信用类型业务解释=80A+类企业该类企业出口合格率高，出口数量金额较大，较多企业通过了ISO9000认证[77,80）A类企业该类企业在数量、金额、批次上的合格率至少在90%以上，出口量较大[75,77）B类企业部分合格率指标出现低于80%，但企业质量信用综合得分较高[60,75）C类企业该部分企业中，存在至少一项合格率低于60%的企业较多，总体上合格率低，质量信用得分低，因数量较少，归为一类60D类企业黑名单或者封号企业，信用极差熵权法质量信用评估指标体系信用评估指标中文名不合格件数企业代码包装件数合格率企业名称货物总值(美元)企业类型不合格金额(美元)企业性质出口金额合格率检验方式出口批次黑名单标志出口不合格批次封号标志出口批次合格率备案标志二次检验次数是否通过ISO9000二次检验率……42SDCUE大数据可视化