数据科学与大数据技术(工学)实验室建设方案

2019-07-04 泰迪智能科技 207
分享到:

1  学科建设背景

全球知名咨询公司麦肯锡指出,“数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用预示着新一轮生产率增长和消费者盈余浪潮的到来”。大数据正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。为进一步全面推进我国大数据发展和应用,加快建设数据强国,我国已将大数据发展战略上升到国家层面,先后发布了《关于积极推进“互联网+”行动的指导意见》(国发[2015]40号文)、《关于促进大数据发展的行动纲要》(国发[2015]50号文)等重要文件。明确了未来5-10年我国大数据发展和应用发展目标、主要任务和保障措施。因此,在未来5-10年,我国大数据产业将迎来一个飞速发展时期,对大数据相关专业人才有着巨大的需求。

虽然大数据目前在国内还处于初级阶段,但是其商业价值已经显现出来,特别是有实践经验的大数据分析人才更是各企业争夺的热门。为了满足日益增长的大数据分析人才需求,很多大学开始尝试开设不同程度的大数据分析课程。“大数据分析”作为大数据时代的核心技术,必将成为高校数学与统计学专业的重要课程之一。但目前在高校大数据分析课程教学中大体有如下问题急需解决:

  • 教材内容严重与所学专业脱节,教材中的知识已经满足不了当前行业的需求。

  • 师资力量薄弱,院校教师又无法及时地了解到当前最前沿的网络及数据科学技术。

  • 实践环节不够,学生动手能力明显不足,无法满足用人单位的需求。

因此,大数据课程体系及实验室的建设也成为各个学校必须考虑解决的问题。新型大数据挖掘学科的建立,将会涉及相关课程教学方法与模式的改革,以及虚拟化、云计算和大数据等前沿技术的研究与开发,有力推进教学研究和教学改革工作的开展,促进校企合作、教学研究论文的发表与专利的申请。先进的实验环境也为学生提供了良好的科技创新和学科竞赛的环境与氛围。

2  数据科学专业建设

      2.1  学科建设

泰迪科技从8个方面致力于服务高校大数据学科,分别为人才培养、教材课件、师资培训(支持)、学生实习实训、大数据实验室建设、科技项目合作、以赛促学。

Q}6Q%6Q`}]4P5`Y%~JNYOTX.png

2.2 泰迪“鱼骨教学法”

实践教学是在一定理论指导下,通过引导学习者的实践活动,从而传承实践知识,形成技能,发展实践能力,提高综合素质的教学活动。目前,高校教学体系的设置由于诸多限制因素,偏向过多的理论教学,往往出现课程设置与企业实际应用切合度不高,学生无法把理论转化为实践应用技能。课程内容设置方面看是繁多又各自为“政”,课程冗余、缺漏、体系不健全。

泰迪科技根据高校实践教学中的痛点,首次提出“鱼骨教学法”的概念。以企业真实需求为导向,学生学习技能仅仅围绕企业实际应用需求,将学生掌握的理论知识,通过企业案例的形式进行衔接,达到知行合一,以用促学的目的。

‘工学鱼骨图.jpg

图2‑1鱼骨教学法

2.3数据科学岗位信息

序号岗位

工作要求

核心课程

1

数据采集工程师

1、根据业务规划的要求,对各类数据进行收集、整理、录入;

2、负责采集策略设计与优化,提升网页抓取的效率和质量,解决验证码破解、信息精准抽取等技术难题;

3、负责对抓取数据进行日常跟踪,监控爬虫系统运行状态,保证数据准确性。


Python编程基础

数据采集与网络爬虫(Python)

数据库技术与应用


2

大数据运维工程师

1、负责大数据基础平台的规划、部署、管理和优化,保障平台稳定可靠高效运行;

2、负责Hadoop、HBase、Hive和Spark等集群的维护和优化工作;

3、开发大数据自动化运维、监控、故障处理工具,监控所有基础设施组件、应用程序,提供紧急应急措施。

大数据技术导论

JAVA程序设计

操作系统

计算机网络

Python编程基础

Hadoop大数据开发基础

大数据存储

Spark大数据技术与应用

3

数据分析师

1、基于业务数据,运用数据分析和数据挖掘的理论和方法,建立业务模型;

2、基于所建立的业务模型,分析和挖掘数据和业务背后的规律;

3、建立策略效果评估机制和监控体系,持续对模型和算法做出合理地调整或改进。


Python编程基础

数学实验(Python)

数据挖掘与机器学习(Python)

深度学习技术与应用(Python)

4

算法工程师

1、根据项目、产品和分析、模型需求,完成数据研究、建模工作;

2、应用完备的统计学/数据挖掘/机器学习等理论知识,对海量异构数据进行融合挖掘;

3、跟踪前沿的算法理论,并且将优秀的算法应用到业务场景中,通过技术创新提升业务价值。


Python编程基础

数据挖掘与机器学习(Python)

深度学习技术与应用(Python)

图像处理技术

文本挖掘技术

5

大数据开发工程师

1、 负责大数据平台技术框架的选型与集成,负责搭建hadoop集群;

2、基于大数据平台的数据产品与服务的规划、设计与开发;

3、在线和离线海量数据分析平台的开发。

JAVA程序设计

操作系统

Hadoop大数据开发基础

大数据存储

Spark大数据技术与应用

Storm流式计算与应用

2.4  理论与实践相结合的课程体系

工学方向课程主要基于Hadoop和Python技术,贯穿数据分析与挖掘的整个流程,涵盖基础课程 、数据分析与挖掘课程、项目实战课程等。

image004.png

图2-2课程体系设计

2.5  大数据人才培养系列教材

泰迪科技与机械工业出板社和人民邮电出板社达成战略合作关系,在产品方面形式优势互补,并充分利用出板社覆盖全国的营销服务体系,可以有效解决高校大数据相关专业教材紧缺的困境。

系列图书以企业真实需求为导向,让学生学习技能能够紧紧环绕企业实际应用需求,将学生需掌握的理论知识,通过企业案例的形式进行衔接,达到知行合一,"用以致学"的目的。

画板-4_01.jpg

图2-3大数据系列教材

3  大数据实验室建设

   3.1  建设目标

实验室建设总目标是搭建一站式教学服务平台,一站式教学服务平台概念是在深刻理解高校学科建设及存在的若干问题上提出。围绕着学科建设的各个方面,从专业开设、课程设置、师资培养、教学资源、实验环境、学生实训实习及就业创业等环节,提供完整的产品体系,满足高校学科建设及人才培养不同阶段的需要。

  • 提供教学实训资源,包括教材、PPT、视频、作业库、试卷库、行业数据库、行业案例库、实训指导书、实训数据、实训代码等;

  • 提供教学实训平台,包括数据采集、数据迁移、数据挖掘到数据可视化等;

  • 提供实教学服务,包括实践型师资培养、学生校内实训、校外实训、创新创业辅导等。

    3.2建设内容

本实验室主要是建设一体化教学实训平台,该平台是以云计算资源管理平台和大数据教学管理平台为支撑,以优质的课程资源和项目案例资源为核心,以自主研发的数据挖掘建模平台等为教学实训工具,把课程和软件内容统一结合,满足高校大数据教学与实训的一体化平台。 (详细产品介绍请点击这里

X%$[94~WVBCD2YMI_3Y`G8L.png

图3-1实验室架构图



3.2.1   云计算资源管理平台

云计算资源管理平台底层基于Docker技术实现,是对是实验室云虚拟化资源进行管理及维护,帮助高校搭建一套全新的云计算服务中心。

 

官网组件图3.jpg

                                           

图3‑2容器云资源管理基础架构



3.2.2   大数据教学管理平台

大数据教学管理平台主要为教学、实训、课程资源等提供“一站式”服务,对所有课程和用户进行统一管理,提供管理员、教师、助教、学生共四种角色。

image010.png

图3‑3平台首页

3.2.3   大数据整合平台

大数据整合平台主要实现数据抽取、转换、清洗、集成,满足数据库课、数据整合与预处理等相关课程的实训需求。

image017.png

图3‑4大数据整合平台


3.2.4   Python数据挖掘建模平台

Python数据挖掘建模平台服务于数据挖掘相关课程的实训,采用流程式搭建数据挖掘项目,帮助学生快速建立处理企业问题的工程化思维。

image020.png

图3‑5实训流程图


3.2.5   Python编程实训平台

Python编程实训平台采用虚拟化技术,底层基于Docker搭建完整的Python实训环境,采用实训指导书与实训环境同屏的模式旨在帮助学生提升编程能力。

image022.png

图3‑6Python实训平台

 

3.2.6   大数据分析平台

大数据分析平台集成Apache Hadoop的数据流业务和架构,基于Hadoop分布式集群可较大提升实训效率,学生无需编程即可快速搭建数据挖掘项目。

image024.png

image024.png

图3‑7平台首页


3.2.7   大数据开发实训平台

大数据开发实训平台采用完全分布式搭建Hadoop集群,含Spark、Hive、HBase等大数据开发组件,满足大数据开发相关课程实训需求。


image027.png

图3‑8大数据开发实训平台


3.2.8   大数据分析可视化平台

大数据分析可视化平台是一款适用于高校教学的零门槛可视化工具,平台采用B/S架构,用户只需要通过浏览器即可访问,可在没有EChart编程基础的情况下,通过拖拽的方式进行操作。平台提供丰富的模板,将数据信息的可视化完美呈现,操作方便快捷,功能、视觉内外兼修。

3-7.png

图3‑9丰富的仪表盘主题

3.2.9   大数据教学实训沙盘

大数据/人工智能教学实训沙盘根据企业实际项目建设而成,每个沙盘由硬件装置、教学软件、教学实训资源三部分内容组成。

沙盘的作用主要有四个:

  • 沙盘模拟真实的业务场景,改变传统的教学模式

  • 采集真实数据,解决教学中缺少真实项目数据的困扰

  • 开放API接口供教学拓展与科研使用

  • 形成从数据采集、预处理、挖掘建模、模型应用的业务闭环

板 12_看图王.jpg

图3-10大数据分析教学实训闭环

详细沙盘介绍可点击这里

1)  机智过人教学实训沙盘

image033.png

图3‑11机智过人教学实训沙盘

2)  动态人脸识别教学实训沙盘

image034.png

图3‑12动态人脸识别教学实训沙盘



3)  电力智能分项教学实训沙盘

image036.jpg

图3‑13电力分项计量教学实训沙盘


4)  自动售货机商务数据分析沙盘

image037.jpg

图3-14自动售货机商务数据分析教学实训沙盘



4.  大数据教学服务

泰迪科技提供优质的教学服务,帮助高校解决老师上课难,学生实践少的问题。

画板 16.jpg

图4-1教学服务类型