您的位置:新浦京赌场娱乐场 > 互联网技术 > 新浦京赌场娱乐场提升云计算数据分析力,微软

新浦京赌场娱乐场提升云计算数据分析力,微软

2019-05-02 07:10

微软云计算平台Azure最近宣布针对3项数据服务的更新,包含推出正式版的数据湖存储服务Data Lake Storage Gen2和数据完全托管服务Data Explorer,此外,还推出预览版的混合数据集成服务Data Factory,期望提供用户性价比高又安全的云计算数据分析服务。

(此文章同时发表在本人微信公众号“dotNET每日精华文章”,欢迎右边二维码来关注。)

新浦京赌场娱乐场 1

题记:Build2016开完很久了,现在才来回顾下,就说说那些和大数据相关的Session,也因为笔者最近在深入研究这方面的东西。

数据湖存储服务Data Lake Storage Gen2适用于巨量数据分析,结合了Azure非结构化存储服务Blob Storage的可扩展性、安全模型和丰富的功能于一身,再加上为分析所设计的高性能的文件系统,还能与Hadoop分布式文件系统兼容,让用户选择云计算数据湖服务时,不需要在成本和性能中取舍。

3月30日到4月1日的Build2016 微软开发者大会的内容引爆了整个.NET开发社区,大家的热情都被Xamarin免费开源、Bash on Windows等点燃了。不过在这些热点背后,我还是比较关注和自己最近研究的大数据领域相关的Session。下面我就整理一些我个人认为值得关注的:

新浦京赌场娱乐场 2

1,Building Big Data Applications using Spark and Hadoop

Spark现在在大数据方面的应用已经在抢占Hadoop的风头了,国内的互联网公司也已经有很多这方面的案例和分享。或许你正为快速搭建Spark集群伤脑筋,不过我们知道微软很早就在Azure中提供了Hadoop的服务——HDInsight,这不为了让大家也能轻易的使用Spark,HDInsight服务也开始支持Spark了。这个Session就讲述了如何利用Azure的Spark服务来快速搭建自己的大数据应用。

回放地址在:

图片来源:微软

2,Building Analytics for the Modern Business

随着大数据技术的发展,商业智能分析也进入了新阶段:数据实时的创建出来、这些数据由多种类型组成、数据量巨大、用户期望更高、希望硬件和存储成本更低、能够移动化访问。从而如何构建这样的数据解决方案就成为挑战。Azure通过提供数据仓库服务(Data Warehouse as a Service)来帮助大家开发快速和低成本的开发这样的解决方案。

Session回放地址在:

微软指出,自家数据湖存储服务其中一项主要目标,即是要与Apache生态系统统兼容,为了做到这点,微软开发Azure Blob文件系统驱动程序,该驱动程序正式成为Apache Hadoop和Spark的一部分,并且附于许多Hadoop的商业版本中。

3,U-SQL: 0-60 for Big Data with .NET

U-SQL是微软在Azure Data Lake(数据湖)中引入的一种基于SQL的新语言,它可以使用C#语言的语法来扩展大家熟悉的SQL语法,从而让大数据处理更加容易和有意思。这个Session会讲述U-SQL背后的概念,并通过一些例子来展示如何使用它查询非结构化、半结构化和结构化数据。

回放地址在:

为了进一步提升Data Lake Storage Gen2的分析性能,微软用阶层式命名空间,收集文件集整合整理成阶层式目录和嵌套子目录,此种命名空间对巨量资量分析架构相当重要,由于Hive或是Spark等工具经常将输出写入暂时位置,并在作业结束时重命名该位置,若没有阶层式命名空间,重命名所花费的时间通常会比分析流程本身更长,因此,阶层式命名空间因为需要较少的运算执行,能够加速job执行并减低成本。

4,Azure Data Lake and Azure Data Warehouse: Applying Modern Practices to Your App

这个Session是关于Azure新数据服务Azure Data Lake和Azure Data Warehouse的概览介绍。两个服务都可用来存储、处理和分析巨量数据。本Session会深入讲解每个服务,并带领大家了解集成大规模数据分析服务到应用的常见模式。

回放地址在:

本文由新浦京赌场娱乐场发布于互联网技术,转载请注明出处:新浦京赌场娱乐场提升云计算数据分析力,微软

关键词: