软件研发当前位置: 首页 > 软件研发 > 大数据解决方案

概述
四川创意大数据BI解决方案是能够处理、分析和动态展现大数据的 BI解决方案,区别于传统BI解决方案,大数据BI可以完成对TB级别数据的实时分析。大数据可以概括为4个V, 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值密度低(Veracity)。大数据作为时下最火热的IT行业的词汇,随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,大数据BI也应运而生。
商业智能的挑战
首先,是企业系统分散建设难以实现资源和应用共享。拿运营商来说,因为运营商一些传统组织架构的因素,所以运营商有很多的系统,各个专业系统,比如说 BSS、OSS和内部的管理信息系统往往是分开的,此外从横向上来说也分多级,比如说集团有集团的一级系统,各个省以及地市有各自的系统。这种分散式的建设,一方面浪费了投资,没有办法实现计算和存储资源的共享。
第二,是数据的分散存储,标准化程度比较低。由于各个系统自己定义自己的数据模型,所以系统进行整合、综合分析的时候,会遇到数据标准化的巨大挑战。
第三,以数据仓库为核心的传统架构,难以满足业务发展的要求。原来传统的数据仓库在系统的横向扩展方面存在一些技术上的问题,同时传统的数据仓库基本上是针对结构化数据进行分析的,对于一些非结构化数据,像日志信息、半结构化数据或者是一些网页等等的信息,是属于非结构化数据或者半结构化数据,他没有能力去处理。
第四,企业系统大多只针对内部提供服务,数据没有进行有效的商业利用。实际上各个公司都在探索如何探索数据的商业价值。
大数据BI
当我们还在探讨大数据与传统商业智能之间的关系时候,国外已经有人提出了BI 3.0的概念(见下图), 将大数据也作为商业智能的一个部分。在这一概念体系中,传统商业智能被称为BI 1.0,其与大数据结合后称为BI 2.0,而在结合移动数据后就成为了BI 3.0。


创意大数据BI解决方案包含了以下几个方面的内容,数据采集存储、数据模型层、功能应用层和数据展现层,如下图。

源数据层:大数据BI从文本、机器日志、图片、音视频、人力资源系统、信令、网管、计费等系统获取源数据和明细数据。
数据采集存储层:创意大数据BI解决方案系统通过Troy DI从源数据层获取数据,Troy DI支撑多种数据源,包括:文本文件、 XML 文件、 企业应用程序,比如 SAP、PeopleSoft、Xbase, 几乎所有的数据库系统,比如 DB2、Oracle、SQL Server、Sybase ASE/IQ、Teradata、Informix,mysql等以及可通过ODBC连接的数据库、 Web Services、 SAS等,TROY DI不仅可管理实时存取的数据,还可以处理每天、每周、每个月定期更新的大数据,为数据仓库提供高质量的数据,从而形成了智能大数据处理与传统数据仓库业务的核心数据准备平台。
方法模型层: 创意大数据BI解决方案通过Troy DI和Troy DAPP具备对非/半结构化数据进行分析的能力,包括中文文本数据的分词、分类、全文检索、命名实体识别等多项语义分析相关功能以及常见文本格式文件的解析提取能力,如XML、Apache log、JSON等;系统提供开箱即用的常见数据挖掘算法,包括分类预测、聚类、关联分析等;并支持PMML,可实现其他平台数据挖掘模型的迁移;系统支持用户自定义的序列模式挖掘以及匹配功能,易于使用并可灵活配置;具备高效的交互式分析能力,无需修改程序,仅调整查询参数即可实现不同的分析需求,方便业务分析人员根据查询结果反复修改进行迭代分析;系统既支持业务人员通过传统SQL进行分析和自主取数,又综合了MapReduce的优势,将两种接口结合起来同时提供友好的接口和强大的分析能力,从而实现更大的业务价值。
功能应用层:平台可以提供常规的指标、报表、数据挖掘、即席查询、取数等应用服务;也可以通过向主数据仓库、数据分析中心、报表库、应用平台、数据挖掘平台等其它平台提供数据服务的方式,将大数据平台上的汇总数据模型分发至这些平台上,以支撑部署在上述平台中的数据分析应用。
访问层:大数据平台的应用展现可以接入到系统的统一门户中,通过统一门户展现大数据分析应用;另外,平台上支持移动跨平台移动终端访问。
方案价值
大数据是目前数据分析、数据挖掘领域的热点。大数据平台是数据的挖掘与集成存储平台。对于异构型数据,大数据系统中同样需要对数据进行准备,对异构、异源的数据进行整合、转换、清洗保障数据质量,为大数据挖掘工作做好前期工作。而这样的结构化异构数据的准备工作正是DI系统所负责,因此作为大数据的数据抽取层的重要部分,DI扮演着大数据分析中结构化数据整合的重要角色。


Troy DI产品优势

完全的SOA面向企业服务架构的软件系统架构。

方便的DI开发设计和测试。提供可视化的开发和测试环境,所有功能可通过图形界面来使用,流程化的数据集成过程设计,易于用户理解。用户可以在数小时内完成开发设计。

丰富的数据源支撑与元数据管理。支持多种主流异构数据源的输入与输出,实现端到端元数据管理,支撑对任意数据源以及各种应用软件包的完全连接,提供对Web和WebService的支持。

无限可升级性和扩展的处理能力。采用先进的插件技术,以插件为处理单元,通过无限的挂载新插件来增添新的处理功能和新增数据源,实现了对新数据源和新处理步骤无限的扩展能力。

高性能大数据处理能力。提供弹性的线程级和分布式并行处理能力。采用内置数据集成引擎,支撑多任务线程级流水线并发执行。采用先进的分区处理并行技术和独有的分布式并行技术,支持云计算动态集群技术,提供了无限的计算节点扩展能力。

便利的平台移植性和良好的硬件兼容性。系统构建于java虚拟机之上,同时支撑linux、windows平台,支撑平台间的数据与任务迁移与移植,支持所有硬件配置:X86,SMP,特别是4-64个处理器、大型MPP系统、具有上百个处理器的集群环境。


Troy DAPP特点
一、广泛的数据访问便捷的模型设计
从多个数据源访问数据和合并数据通常是很复杂的事情,需要多个工具。通过TROY DAPP所提供的强大的数据驱动和灵活的访问形式,您可以连接所需要的数据。

  • 1访问任何数据源

通过TROY DAPP所提供的广泛的数据访问特性,您可以通过简单地访问任何企业数据以满足最终用户的信息需求。无论您需要与数据库、文件、日志、企业应用程序还是程序单元建立本地JDBC连接,TROY DAPP都是满足您所有需求的一种工具。TROY DAPP内置了超过12种数据驱动,可以直接访问任何关系型数据库、OLAP、XML或者TROY DI中的数据。此外,使用TROY DAPP也可以很容易地在同一张报表中展现来自多个数据库不同语言的数据。

  • 2便捷的业务模型设计功能
使用DAPP高度灵活性的设计环境,您可以更加快速简便地建立物理模型和业务模型间的关联,创建维度属性、业务立方体模型,满足客户的信息需求。系统提供直观的、交互性用户界面,建立业务模型,构建物理数据表的业务逻辑关联,建立、管理与维护维度表、维度信息、实体表、层级、cube等业务建模中涉及的各项数据。
  • 3方便的模型发布
DAPP提供了直接向创意展示平台的模型发布能力,可以将构建好的业务模型直接发布到该平台实现OLAP数据操作和展示。同时BI Modeling也为开发者提供了xml文件导出功能,可以将构建好的业务模型导出为xml格式文件。
  • 4数据访问控制
TROY DAPP可以让您灵活地控制数据连接。您可以写类SQL命令成查询。此外,业务视图可以消除报表从开发状态向产品状态迁移的繁琐工作。


二、强大的报表设计功能
使用TROY DAPP高度灵活性的设计环境,您可以更加快速简便地设计报表,创建高度格式化的、展现形式丰富的报表,满足客户的信息需求。

  • 1可视化的设计环境

提供直观的、可拖放对象的、交互性用户界面,提供可选的向导工具以简化常见的报表任务,例如连接数据源、选择、分组、排序和汇总。初学者可以设计和应用自定义的报表模板,为数据访问及其展现格式制定标准,以确保报表之间的设计风格一致。您也可以将现有的报表作为模板。

  • 2强大的公式函数库

TROY DAPP提供可扩展的公式函数,内置了超过80种函数和操作符,以控制报表的格式、复杂的逻辑和数据选择。TROY DAPP提供了脚本公式扩充功能。通过使用自定义的函数,您可以在报表之间共享和重用公式逻辑,从而避免冗余的公式创建。您也可以创建数据库中所没有的汇总信息等。

  • 3丰富的数据表现力

您可以创建几乎任何格式的报表,包括汇总/钻取报表、表单、邮件标签、OLAP、子报表等。TROY DAPP提供了完整的布局和设计控制项,在零代码的情况下帮助您设计专业的、像素精确化的报表。通过使用参数可以减少报表的数量;使用分组和排序可以将数据按逻辑进行组织;通过选择合适的地图和图形类型增强报表的表现力,例如柱状图、3维柱状图、饼图、圆环图、曲线图、甘特图、漏斗图、XY散点图、区域地图等。


三、提高生产力
TROY DAPP可帮助您提高报表制作的速度,减少多余的报表维护工作。,因此您可将更多的时间用于关键任务。

  • 1快速开发工具

系统基于B/ S(浏览器/服务器)架构的商务智能和报表展现平台,采用数据仓库技术和商务智能理论,对数据仓库中的主题数据进行分析和展现。在TROY DAPP中,所有的数据展现形式都可以理解为报表,它包括:类似 EXCEL 中的表、统计图、地图、仪表盘、流程图等等,报表除了支持基本的文字样式外,还支持提示、链接、用户自定义文字格式等等。TROY DAPP提供的富文本功能可以制作出 WORD 式报表,如简历式报表、分析报告式报表。提供的绘图功能可以轻易实现杜邦财务分析、四分位图等分析报表。
采用 AJAX 、Jason等技术实现的基于WEB的操作界面,提供类似 C/S 应用的友好操作体验。用户通过拖拽方式轻松实现在线系统定制。用户通过简单的几个步骤就可以得到想要的业务系统,同时提供丰富的参数供用户方便的优化页面使系统更加美观。同时TROY DAPP支持大量深入的数理统计功能,如方差分析、回归分析、时间序列分析等等。数据挖掘是TROY DAPP产品皇冠上的明珠,TROY DAPP含有大量数量统计方法,包括预测、聚类、分布检验……
TROY DAPP支持即席分析和模板分析。既允许用户通过 AJAX 界面直接操作主题数据,生成报表或图形;同时又提供强大的报表设计工具,方便用户快速设计各类复杂报表和图形。


  • 2提高报表设计的效率

您可以在中央存储库中保存公共报表单元、文本对象、定制函数、SQL命令及图像等,单点更新,从而实现在多张报表中共享重用资源。TROY DAPP也有助于确保您所设计的报表在创意BI的web环境和导出文件中格式保持一致。例如,您可以在设计时预览报表,在发布到创意BI 的web环境上之前预览其HTML形式。
减少报表维护量Crystal Reports XI引入了动态级联参数,您可以在轻易地在一张报表中满足多个最终用户的需求,从而减少报表维护量。当数据库内容变化时,参数会自动反应出最新信息,最短用户可以创建最新的、具有特性的报表。
对应用程序开发人员来讲,TROY DAPP有利于最大程度地降低因最终用户规范的不断变化而导致的表示层维护要求。它支持数据访问和报表设计与业务逻辑的分离,因此您可以方便地增加新报表,或修改现有报表,而不会影响核心业务逻辑。Java和.NET开发人员可以利用Crystal Reports中的非绑定区域,并在运行时将应用程序绑定到这些区域,从而充分利用数据绑定的优势。您可以使用相关性查询功能来确定断开的连接、公式错误及相关性问题。这可以显著降低您在质量保证上所花的时间。

  • 3友好的用户交互性

TROY DAPP有助于在报表中增加用户交互性,最终用户可以在没有IT人员介入的情况下优化报表。

  • 4报表查看

有了TROY DAPP将减少最终用户对IT部门的依赖性,为更加明智的决策奠定基础。TROY DAPP让最终用户能够以熟悉的格式在熟悉的环境中浏览数据、和数据进行交互。最终用户还能够向下钻取图表或数据组,无需额外的编码。最终用户也可以选择报表中预定义的参数,只查看部分数据产生的报表。

  • 5报表交互性

TROY DAPP支持大量行业标准的导出格式,包括Excel、 RTF和PDF。而且新的RTF导出功能使用户能够方便地在熟悉的字处理环境下增强和扩展报表。对于移动用户,还提供了离线报表浏览器,因此可以在无需连接网络的情况下浏览信息。

  • 6报表导航

TROY DAPP 提供了报表设计导航功能。通过导航功能,您可以快速的生成和设计指定报表对象之间的链接路径。