青云QingCloud 大数据课堂 第一课




  • Word天呐,这是真的吗?这真的是真的吗?

    竟然这么多小伙伴跟小编一起学习,泪牛满面(因为超了小编送见面礼的预算…哈哈哈)

    但是,社区就是我的地盘,只要你来,我就送,以下小伙伴请收好小编送的见面礼哦~

    0_1481112081055_见面礼.jpg

    为了方便各位钢蹦之间交流学习经验,大家可以进入我们首页,加入【QingCloud钢蹦社区】微信群

    0_1483973639562_二维码.jpg

    joyzhao liuxiaobang dh wangylclarence huan-lu jingyuan guanguan mengfanchun1981 wqzte %E5%AD%A6%E5%91%980318

    表扬 @joyzhao @liuxiaobang @DH 3位同学哈,笔记很棒,希望你们坚持下来,39集之后来QingCloud的大house,小编请你吃好吃的,顺便聊聊大数据。

    @学员0318 很认真哦,都看了大家的笔记,还纠正了错误,赞!

    今天小编做主,给每一位小伙伴都送见面礼,希望能鼓励大家多多坚持,第二节课希望还能看到你们的身影,以上小伙伴请把你们的青云账号以及回帖链接私信给我们的首席搬瓦工2号@Arron 。邮箱: arron#yunify.com

    欢迎各位成为一名合格的司机,带你身边想学习大数据的朋友上车~

    大数据课堂第二课链接链接文本

    第一课讲义PPT

    0_1481107558540_1.png
    0_1481107579386_2.png
    0_1481107593419_3.png
    0_1481107607839_4.png
    0_1481107632959_5.png



  • 第一节课的内容比想象中少,应该是预热的关系吧,不过功夫在诗外,期待后续的精彩内容。
    做个笔记,便于后期串联记忆。相关书籍的话近期打算系统性的看下《数据之巅》,对于大数据的历史发展、演进和未来后很清晰的描绘,会更深入理解大数据对整个时代的意义。

    一.大数据的基础知识
    Agenda:
    大数据简介及应用场景介绍
    数据格式
    大数据主流产品简介
    大数据与因计算
    Spark快速入门
    Redis快速入门指南
    ZooKeeper快速入门指南
    Kafka快速入门指南

    基础知识:
    1.大数据起源
    2.大数据特点:4个V

    *    规模性:volume、
    *    高速性:velocity、
    *    多样性:variety、
    *    价值性:value
    

    3.定义:常用软件获取、管理和处理数据所耗时间超过可容忍时间的数据集。因为基于数据量和平台的要求较高,需要平台系统有诸如分布式等功能。
    维基百科的定义:https://en.wikipedia.org/wiki/Big_data

    应用场景:
    1.推荐系统:人脸识别、人物画像、舆情分析、医疗、风险预测、系统运维等
    在银行业的征信是大有可为的领域,目前的国内银行还存在很大程度上的不足。
    2.互联网+的概念:制造业、航空
    i.g 在机器上设计的采集器定期传输大量数据到系统后,可检测机器的运行和健康状况并进行系统分析评估,可提前预知元器件的健康状况,提前安排修订及更新工作。核心:提高人工的效率,提前预测和部署



  • 不错不错,期待后续的课程



  • 期待干货啊,大数据时代



  • @joyzhao 笔记好评



  • @joyzhao 好评加1



  • 很好,学习了!期待干货呀~


  • 青云

    @joyzhao 赞笔记!



  • 签到笔记:

    大数据解决的问题场景:
    MySQL数据库在 单机达到500G存储量情况下,运行效率会急剧降低

    大数据使用场景:
    (1)推荐系统:京东举办过推荐算法大赛奖金丰厚,
    目的就是能精准的推荐商品给用户,提高销量
    基于海量数据分析,用到了协同过滤等很多算法

    (2)还有老师没有讲到的:
    搜索引擎:
    见过单机90G内存的搜索索引数据,这时候单台物理服务器已经不能满足需求了
    这是时候也需要大数据技术,分布式计算,来支撑日益增长的数据等趋势,
    保证搜索引擎能准确,高效的完成功能



  • @joyzhao @liuxiaobang 笔记赞!



  • 想知道青云现在的大数据平台所用的技术框架,以及该如何从Hadoop生态圈中找到最合适数据环境搭建?以及每种组合的性能比较和优缺点。期待在后面的课程能够有相关知识的介绍。



  • 打卡#1
    内容比较热身。笔记已经有很详细的了。



  • 问题:系统推荐是用到用户画像吧,用户画像用到大数据?
    大数据技术包括:spark ridis hadoop kafka…



  • @joyzhao 赞笔记



  • 不错,对大数据有个初步印象了



  • 大数据

    定义

    Big data is a term for data sets that are so large or complex that traditional data processing applications are inadequate to deal with them.

    大数据是指用常用软件获取、管理和处理数据所耗时间超过可容忍时间的数据集

    特征(5V):

    • 规模性 Volume
    • 高速性 Velocity
    • 多样性 Variety
    • 价值性 Value
    • 真实性 Veracity

    0_1481084601058_big-data2.png

    应用场景

    • 推荐系统、人物画像、舆情分析、医疗、信用评估、风险预测、系统运维
    • 互联网+(制造业、航空…)
    • TataUFO - 高校学生的社交平台
    • 彩云天气 - 预测某区域未来一小时左右天气预报


  • @joyzhao 是大数据与云计算哦 打错了哈



  • @学员0318 多谢提醒,笔误~



  • @DH 这个图不错哦



  • 小编送见面礼啦~快来看看这里面有没有你?

    第二节课也已经开播喽,还没看的钢蹦们(任性的给我们社区的小伙伴起了这样一个清新脱俗额名字,哈哈哈,不要打我)回想曾经跟小编一起发过的誓言~说好一起到白头,你可不能偷偷去焗油啊~

    第二节课里偷偷放了小编的微信哦~


登录后回复
 

与 青云QingCloud 社区 的连接断开,我们正在尝试重连,请耐心等待