分布式计算环境并没有直接改变结构化数据或者非结构化数据的存储和管理方式。只是给海量非结构化数据的管理提供了基础,区别于传统的方案,分布式计算要对结构化和非结构化数据的索引的选择、多索引创建的方式不同,分布式
两种解决思路:1、使用数据平台现有的身份认证模块,如Hadoop的Hive框架可直接使用Kerberos的身份认证机制做用户认证和管理,但是该机制实现的功能较为有限。2、可以在数据处理平台中自行开发基于角色的权限管理模型或动态
在活动主题中,已经列举了几种常见的针对非结构化数据的管理方式:1、NAS存储所提供的基于文件或者块的存储方式,适合存放如您提到的影像文件。2、分布式文件系统DFS,适合存放海量非结构化交易日志,如您提到的del/ixf。3、对
对于非结构化数据数据的安全性问题,个人认为,应该着重关注两个方面:1、所使用数据平台的隐私保护。2、数据访问模型1、隐私保护方面,可以借助如Hive中的Kerberos身份 认证机制来实现如角色的认证、LDAP等安全策略等。2、
1、存储选择时的成本比较,还是要从实际业务入手,如果是对数据扩展性要求高、需求变化快的应用,使用分布式存储方式肯定会节省一定的成本。而如果业务追求稳定和性能,且变化不大,从长远上看,使用集中式存储比较合适。 2、是
非结构化数据的整体架构规划和传统数据平台的几个层次大致相同,但在每个层次的规划过程中,需要特别考虑非结构化数据的功能特性,具体来说:数据存储层:针对海量非结构化数据,要使用的的分布式文件系统或存储设备集群来满足数
没错,在做好非结构化数据的管理和存储后,接下来就是考虑如何能够充分利用非结构化数据实现数据挖掘价值。个人认为,对于非结构化数据的挖掘利用,着重关注以下两个方面:1、非结构化数据的清洗:非结构化数据本身就很难被彻底
赞同,对待不同的数据类型,要实现分而治之,才能充分发挥硬件平台的优势。针对各业务系统所产生的不同数据类型,采用分布式或集中式的存储方式,解决数据存储中存在的性能瓶颈。
目前在业内使用非结构化数据的应用场景已经越来越多,如您所提到的银行和社保行业中,客户的影像资料保存等等。实际上从用户需求上来说,传统的关系型数据库在一些对一致性要求较高的场景下或者OLTP类交易中,仍然是主流的选
这两者的结合,大多发生在要通过关系型数据库对非结构化数据进行统一管理和检索的过程中,这个过程就涉及到将非结构化数据转化为结构化数据。比较常见的转换方式,大多是以半结构化XML为桥梁,即采用“非结构化数据->半结
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024 talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30