拓源讲堂（五)大数据技术介绍与应用--基础篇_bob手机登录网址体育app-BOB体育多特

“拓源讲堂”第五讲来了！本期内容的主题是“大数据技术介绍与应用——基础篇”。

随着互联网的发展和云时代的到来，大数据成为了很多人关注的方面。那具体什么是大数据技术呢？小编这就带你一探究竟，让我们共同开启大数据的奥妙之旅吧！

2015年9月，国务院印发《促进大数据发展行动纲要》。《纲要》部署三方面主要任务——

一要加快政府数据开放共享，推动资源整合，提升治理能力。大力推动政府部门数据共享，稳步推动公共数据资源开放，统筹规划大数据基础设施建设，支持宏观调控科学化，推动政府治理精准化，推进商事服务便捷化，促进安全保障高效化，加快民生服务普惠化。

二要推动产业创新发展，培育新兴业态，助力经济转型。发展大数据在工业、新兴起的产业、农业农村等行业领域应用，推动大数据发展与科研创新有机结合，推进基础研究和核心技术攻关，形成大数据产品体系，完善大数据产业链。

三要强化安全保障，提高管理上的水准，促进健康发展。健全大数据安全保障体系，强化安全支撑。

大数据一般具有5V（大量-Volume、高速-Velocity、多样-Variety、低价值密度-Value、真实-Veracity）特征及复杂性和可变性。数据种类可包括结构化、半结构化、非结构化数据，数据量可达到百亿以上及 PB 级别。

大数据技术可分为四个部分（4D），分别是大数据采集(DI)、大数据存储(DS)、大数据计算(DC)以及大数据分析&应用(DA)。

数据采集的来源根据不同的数据类型和场景，可分为关系及非关系型数据库，应用产生的日志，多媒体文档以及消息类型的数据。不同的类型的数据需要采用不一样的数据采集方式。

大数据存储的方式也有多种多样，如文档存储可采用 DFS，关系型数据可采用 Hive 或 Clickhouse，K-V 型数据能够使用HBase。一般会依据数据的类型及使用场景选择一种或多种的存储方式。大数据存储一般也配搭传统关系数据库作为辅助，如存储索引、统计结果等。

大数据计算通常可分为流式计算，内存计算。也可以是基于 SQL 的运算，如 Presto 等。

大数据应用场景很广泛，常见的就是 BI 报表或统计报表、分析报表，也可以直接提供数据服务。

以上就是本期“大数据技术介绍与应用——基础篇”的所有内容，希望能够通过本期内容的分享，可以帮助大家对大数据技术知识体系有简单的了解与认知，便于大家后续对大数据技术有更深层次的学习。

之后，“拓源讲堂”依旧继续推进2022年技术分享交流计划，按照技术热点及公司技术产品进展为大家实时更新更多技术分享。

课程除了通过线下讲堂/线上视频课堂的方式来进行培训，还会不定期通过「恒拓开源」与「恒赢智航」的微信公众号发表技术文章，欢迎各位关注实时动态，并参与进分享学习的大军，一起用领先的技术推动行业进步！

普及 Docker 相关的基础知识及应用场景，Docker 的安装使用等线

容器化技术的高级课程，介绍 K8S 原理及安装使用等实践教学，介绍 K8S 相关的技术

深入介绍大数据的实用技术，如 Hadoop 的安装使用等及应用场景案例等，为实践大数据项目提供经验参考

漫谈前端技术，除了 VUE、React，还有哪些好用的前端技术及 UI 框架

除了 Java、等常见的编程语言，还有哪些新兴编程语言是有比较前景的，希望能够通过本次学习能让大家扩充编程技能提升自身价值

介绍规则与决策技术，我们在项目方案过程可以借鉴哪些规则引擎产品的实施经验

Serverless这个技术随着微服务出现在人们的视野，这里介绍Serverless有哪些有关技术，怎么来实现Serverless

闭园前一天的冰雪大世界：大滑梯依然要排队三个小时有人退了去哈尔滨的高铁票

可怕！硅谷再发生灭门惨案，Meta前亚裔工程师杀妻和4岁双胞胎儿子后自杀

苹果和AliveCor纠纷判决公示：watchOS更新心率算法非反竞争行为

Fliteboard 推出低成本电动冲浪板，价格降至 6995 美元起

可令 AMD GPU 运行英伟达 CUDA 应用，第三方项目 ZLUDA 宣布开源

News