注册登录
提 问
English中文版
银行大数据平台报表即席查询快速分析快速查询

寻求大数据平台下的即席查询报表工具及架构搭建的解决方案？

目前我行在用的是华为的FusionInsight大数据平台C8.0版本，想基于此平台之上，构建一个即席查询应用，主要为满足行内业务人员对数据的快速查询和快速分析，目前苦于架构的设计（还缺少加速引擎），考虑过MPP，希望业界的大佬们，能给出意见，谢谢！

关注3
评论
参与11

2同行回答
|
按赞同排序
按时间排序

王奇王奇项目经理阜新银行
我们银行目前也在用FusionInsight大数据平台C8.0版本，实时数据可以放到HBASE里面，用HIVE ON HBASE的方式去处理实时的数据，SPARK SQL处理轻量级别的数据没有问题，大量的数据SPARK SQL 不合适，SPAKR 的计算单元RDD每一个动作都会有一个RDD产生对内存要求很高。...显示全部

我们银行目前也在用FusionInsight大数据平台C8.0版本，实时数据可以放到HBASE里面，用HIVE ON HBASE的方式去处理实时的数据，SPARK SQL处理轻量级别的数据没有问题，大量的数据SPARK SQL 不合适，SPAKR 的计算单元RDD每一个动作都会有一个RDD产生对内存要求很高。

收起
银行 · 2019-09-05
浏览2655
查看赞同的人
twt社区管理员 邀答
评论
YuzhenweiYuzhenwei软件开发工程师Ibm
可以简单说明一下您的大数据平台对数据存储的数据库和其他组件么，比如sparksq impala等。有的企业通过这两个组件使用cognos跟大数据平台结合。我们刚在某行实施了sparks q l显示全部

可以简单说明一下您的大数据平台对数据存储的数据库和其他组件么，比如sparksq impala等。有的企业通过这两个组件使用cognos跟大数据平台结合。我们刚在某行实施了sparks q l

收起
IT分销/经销 · 2019-09-04
浏览2868
评论3
  • aduanqq  aduanqq
    我们现在，批量处理基本都是HIVE来处理，SPARK SQL 也在用，单单通过SPARK来实现，对内存是不是有很大的要求，例如有1T的数据，都需要常驻内存吗？
    2019-09-04
    赞同
    评论
  • Yuzhenwei  Yuzhenwei
    对内存肯定是有很大消耗，至少理论上是这样的。你们有多维分析的需求么？impala理论上对内存要求没有那么高。如果有多维分析的需求，cognos 动态立方体也是可以加速查询，效果也很好
    2019-09-04
    赞同
    评论
  • aduanqq  aduanqq
    非常感谢您的分享
    2019-09-04
    赞同
    评论

提问者

aduanqq
aduanqq
软件开发工程师成都农商银行
擅长领域： 大数据
关注3
回答58
评论255

相关问题

  • 传统金融数据如何转大数据平台？
  • 互联网医院的建设中，如何规划大数据平台的架构？
  • 由于医院数据存在大量患者相关的数据，如何进行整个大数据平台的网络安全体系设计和数据安全设计？
  • 大数据中数据采集有哪几种方式？
  • 如何同步各个业务系统的数据？

    • 相关资料

  • 大数据湖体系规划与建设方案
  • Ansible运维管理平台部署、维护与调优
  • 大数据平台数据治理与建设方案
  • 杨浦区大数据资源平台(一期)项目可研方案
  • 云计算资源池建设方案

    • 相关文章

  • 大数据平台技术选型及架构设计
  • 中小银行大数据平台建设实践分享
  • 北京某股份制商业银行总行招聘 大数据平台运维岗 地域：北京
  • 大数据平台中的元数据库-MYSQL异常故障解决
  • 黑龙江省征信有限责任公司招聘公告

    • 问题状态

  • 发布时间：2019-09-04
  • 关注会员：3 人
  • 问题浏览：5219
  • 最近回答：2019-09-05

    • 关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
    © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30

    X社区推广