亚洲星娱乐平台➷亚洲星娱乐手机➷亚洲星娱乐客户端下载【官方网址】

亚洲星主页 > 应用案例 >

实例详解对Serverless SQL大数据分析技术的应用

2020-05-15 12:04

  2019至2026年AI市场CAGR增加估计达30.1%,大数据急剧增加鞭策AI成长

  (2)使命处置周期长,若呈现新的需求变动或阐发成果未达预期的环境,必要从头走一遍处置流程;

  爱普新媒对营业改善的诉求即是:可支撑数百TB规模的数据阐发、营业阐发师可独立完成不固定需求阐发事情、拥有较强的Ad-Hoc威力、可缩短每次需求处置时长、可低落计较本钱投入和运维投入。

  相较于爱普新媒此刻每月破费在保守数据堆栈(用于姑且存放数据)的数千元,处置同样的数据,USQL可将本钱节制在每月几十元,由于USQL依照现实阐发数据量计费,每GB数据阐发价钱极低,且晦气用时不计费。

  针对以上问题,UCloud利用USQL产物协助爱普新媒对现有营业数据处置架构做出了改善。UCloud发觉,爱普新媒现有架构入彀算与存储是分手的形态,其原始数据并未与GreenPlum强耦合,这为改换阐发引擎的方案实施供给了便当。

  近年来, Serverless作为一种新型的互联网架构间接或直接鞭策了云计较的成长,同时基于Serverless的轻量计较也成为了新的手艺热点,而Serverless SQL大数据阐发产物就在此布景下应运而生。

  目前,国内云计较厂商UCloud推出的一款基于Serverless的SQL阐发计较引擎USQL,可轻松完成面向海量数据的数据建模事情,SQL即可完成数据查询和阐发,极大低落利用大数据的门槛,且无需数据库办理员和运维职员,大幅度改善企业对大数据工程师的依赖。

  (1)营业部分每月的不固定命据阐发需求很是多,数据部分无限的手艺人力资本难以支持;

  爱普新媒所有实在营业SQL均已落地,此中最耗时的SQL阐发时间可从600秒降至118秒,全体较着提高SQL阐发效率。

  下面通过实例来对Serverless SQL大数据阐发手艺的使用做出详解:

  别的,数据对接中发觉,爱普新媒的数据格局为JSON并通过GZIP格局压缩,UCloud领会后一周内完成USQL产物升级,得以支撑这两种数据格局,削减对接上的妨碍,并帮助爱普新媒从头结构其现无数据,目前爱普新媒现实营业SQL已全数落地,同时完成产物培训以及现场演示。

  声明:本文内容及配图由入驻作者撰写或者入驻竞争网站授权转载。文章概念仅代表作者自己,不代表电子发热友网态度。文章及其配图仅供工程师进修之用,若有内容图片侵权或者其他问题,请接洽本站作侵删。侵权赞扬

  目前爱普新媒告白营业数据规模到达数百TB,日增加量为1TB摆布,营业一样平常不固定的阐发需求很是多。在现有的大数据处置方案下,数据部分每月需投入大数据工程师20小我/日,均匀每次需求处置时长为1.8天,别的还需分外破费数千元维持一个数据堆栈集群。基于已有架构,数据部分将告白天记数据压缩后存放于对象存储UFile中,领受到营业阐发师不固定的数据需求后,再将用于阐发的原始数据,姑且加载到数据堆栈UDW中,完成SQL阐发后实施断根操作。

  爱普新媒是一家专一于挪动互联网产物研发和新媒体整合营销的高新手艺型公司,旗下具有100余款精品软件,内容涵盖一样平常糊口、效率东西、文章资讯等多个方面,主营以气候预告、快游平分析自媒体矩阵为载体的推广营业和以云魔方DSP挪动互联网告白散发平台为根本的告白投放营业。

  爱普新媒CTO牛德恒总结道:“利用USQL产物,用户在原有的数据文件根本长进行数据建模,即可利用SQL进行营业数据的倏地查询,此种体例对原无数据文件改动较小,用户不消关心大数据漫衍式处置的历程,营业迁徙便利。比拟咱们现有的大数据处置方案,节流80%的办事器本钱,提拔50%数据阐发速率,同时也缩短了新营业的开辟周期,值得保举。”

  (3)跟着数据日增加量的不竭提拔,用于姑且存放不固定需求数据的GreenPlum本钱不竭在添加。

  爱普新媒现有架构下,处置不固定的数据需求,数据导入与阐发均匀处置时长为1.8天,而USQL可省去数据导入的步调,削减运维事情量,大幅度缩短每次使命完成时间。

  目前每月需投入大数据工程师20小我日,利用USQL产物,营业阐发师可间接通过SQL在对象存储UFile中完成数据阐发,极大削减对工程师的依赖,无限的人力资本可获得更好的操纵。

  起首在新架构中利用USQL替代原先用于姑且加载数据的GreenPlum,省去数据从UFile导入到GreenPlum的历程,使得营业阐发师可以大概间接通过SQL阐发UFile中海量数据,全程无需大数据工程师的参与。

  (1)因为数据规模较大,营业阐发师无奈自主完成阐发,必需极洪流平依赖大数据工程师;

0755-83999429

广东省深圳市龙华新区大浪街道华辉路百富利工业园A栋

Copyright ©2015-2019 亚洲星娱乐平台,亚洲星娱乐手机,亚洲星娱乐客户端下载 版权所有 苏ICP备16031904号-2  网站地图  

亚洲星 亚洲星 亚洲星