— 全国统一电话 —40068-40020

联系我们

电话:(020)82039399

热线:40068-40020

地址:广州科学城科珠路232号

邮编:510663

电邮:services@tipdm.com

目前位置:首页 > 产品&服务

产品&服务

大数据挖掘建模平台

来源: www.tipdm.com作者: 泰迪科技浏览次数: 3122

1. 产品简介
    顶尖大数据挖掘建模平台(TipDM-HB,简称HB)是一套基于Hadoop架构的大数据挖掘基础平台。平台提供完整的Hadoop生态链产品,同时包含HDFS、Yarn、Hive、Hbase、Zookeeper等组件;提供作业调度、作业监控和作业管理等大数据作业调度系统;提供大数据分析平台监控系统,监控大数据分析平台的运行指标,可以实时监控大数据分析平台的运行情况及子节点运行情况;提供数十个基于Mahout、Spark开发的分布式算法;自带数据导入模块,可以导入结构化和非结构化数据进行分析。

 

2. 产品功能

2.1. 总体功能
产品总体功能如下图示:
 
     数据源是进行数据分析数据挖掘的基础,此模块定义了输入输出的数据源及相关配置,包括数据库及连接、目录及路径、文件及路径等;数据源的权限通过共享用户组来实现。
    数据预处理包括异常值处理、离散值处理、空值处理等功能,该部分通过配置的数据源通过接口提取源数据,再通过以上算法对源数据进行处理,提高数据质量。
    数据挖掘基本算法模块包括分类与回归算法,时序模式算法,聚类模式算法和关联分析算法等。使用到的技术主要为数据挖掘中常用的算法。
    模型包括模型管理,数据管理,算法管理,模型是对根据具体问题及原始数据经过训练并经验证有效后得到。
    模板流程配置模块包括图形化显示与配置、模板流程调度算法和发布。使用到的技术包括可视化技术,模板流程调度算法,xml。模板首先从数据源抽取到原始数据,然后经过数据转换最终形成可用数据集。数据集经过挖掘算法的处理生成模型。数据集和模型经过模板流程的配置形成数据挖掘模板。最终供席位进行数据分析使用。
    任务调度是包括任务管理,任务监控,任务结果。该部分利用定时任务对配置的任务进行调度,并监控运行过程,最终将结果保存到指定的地方。

2.2. 应用架构

 

2.3. 产品功能                       

  

 主要界面:


4. 应用举例

    某电网公司在2005年开始大客户负荷管理系统建设,并在此基础上整合厂站电能量计量遥测系统、配变监测计量系统和低压用户集中抄表系统,建立了适应高级计量体系(AMI)的一体化电能计量自动化系统。
    计量自动化系统实现对电厂、变电站、公变、专变、低压用户等电能数据采集与监测功能,具有远程抄表、用电监测、负荷控制、预购电、线损统计分析、供电质量分析、客户节能评估等功能,积累了大量高质量真实数据。为用户有序用电、需求侧管理等业务提供支撑。
而现有计量自动化系统中的多数应用只是局限于单一统计计算,对数据的深入分析还不够。数据挖掘是提升数据含金量的重要方法。

5. 相关资料下载
《顶尖大数据挖掘建模平台(TipDM-HB)产品白皮书.pdf》:

广州泰迪智能科技有限公司

Copyright © Guangzhou TIP DM Software co.,ltd.2014
粤ICP备14098620号

在线咨询 x 时间:9:00-17:00