《架构世界》2020数据刊:打通企业数据应用的最后一公里
上QQ阅读APP看书,第一时间看更新

四、新型存储架构的应用

关键应用一:

HBase数据库存储元数据对象Hbase元数据实例表的设计,要注意两点:

• 一是要区分元数据不变属性和可变属性的区分。不变属性是指每一类元数据都固有属性。例如codenamepath可变属性:是根据元数据类型的不同而发生变化的属性。例如表类型的元数据和字段类型的元数据,可变属性是不一样的。例如字段含有的属性例如字段类型、字段长度等这些属性在表类型的元数据中是没有的。

• 二是:rowkey的设计,在这里我们选择将元数据code+元数据类型+元数据路径这三项数据进行MD5加密生成的字符串作为元数据的ID,而不是随机生成的字符串作为元数据ID,是为了保证进入到元数据存储库的元数据ID都是唯一的,不会出现重复的问题。而这个ID将作为元数据rowkey

正是因为不同类型的元数据属性差异很大,而Hbase数据库字段是可以扩展的,为实现不同元数据的统一一张表提供了可操作性。

1.1 在HBase插入元数据示例:

1.2 元数据的修改,也是通过Put操作完成。这里不展开说明。

1.3 元数据的删除

为了能够快速的检索到符合条件的记录。我们这里还会涉及一张索引表,通过元数据code、元数据名称、元数据类型、元数据路径,索引到相应的RowID,来快速查询元数据详情信息。

关键应用二:

用图数据库来存储关联关系,图数据库中的节点、属性、关系和label四类基本概念,而元数据的图形展现出来也是节点、关系、节点基本属性和关系的基本属性。我在这里把Node4j和元数据关系的存储做了示例。没有把node4j集成到项目中,当然网上有Spring Data Neo4jNode4j数据库集成的示例,可以轻松的把Node4jjava项目结合在一起。由于时间的问题,我没有做测试。只是使用单独的Node4j数据库做了元数据关系存储的验证。

2.1、元数据节点示例:

2.2 在图数据库上操作