39健康网,reply,陆雨棠-u赢苹果官网_uwin588_u赢电竞手机

体育世界 · 2019-12-11

沈教师,你好,想讨教一个数据库查询日志,前台页面显现的问题。

需求

(1)依照某些特定检索条件查询日志;

(2韦昭尤悉数风水视频)经过前台Web页面查询并显现相关日志信息;

(3)检索需求包39健康网,reply,陆雨棠-u赢苹果官网_uwin588_u赢电竞手机含用户,时间段区间,类型等特定字段;



期望做到

(1)查询速度尽或许快;

(2)支撑分页查询;

现在计划

日志信息存储在Oracle中,依据日期对Oracle做了分区处理,每天生成一个分区表,每个分区表中的数据总量大概在1000W左右。在相关查询字段例如用户,类型上树立索引,来满意不同维度的查询需求。

潜在问题

跨分区的查询裸女油画,求记载总数(核算分页时的查询),耗时要3-4分钟,请问有什么优化办法么?

==问题描绘完==

这个需求仍是十分反常的,一般日志会进行过滤/结构化/汇总,放入数据仓库,树立事务宽表,宽表上的查询,一般不会具体查一行一行的记载。

假如要支撑检索,并一行一行在Web后台进行展杨立青与林娥的结局示,至少要方咏咏处理几个方面的问题

(1)存储问题;

(2)检索问题安秀哲;

(3)扩展性问题(数据量扩展,检索字段扩展);

一、存储问文怀沙5任妻子题

是否能够用联系型数据库存储日志?

假如日志格局固定,检索条件固定,是能够的。

例如:

2019-08-11 蝴蝶rozena23:19:20 uid=123 action=pay type=wechat money=12

能够转化为表:

t_log(date, time, uid, action, type, money)

然后在相关字段上树立索引,以满意后台查询与展现的需求。

数据量太大,怎样处理?

依照标题描绘,日数据量大概在超级信使商务版1000W等级,1年的数据量大概在36Y等级。

假如用Oracle存储,1000W39健康网,reply,陆雨棠-u赢苹果官网_uwin588_u赢电竞手机为一个分区表:

一年需求365个分区,跨分区的查询功能较低,蹂不太适宜。

改为1个月一个分区:

单分区3Y记载,大部分分区无写操作(刺进,修正,删去),只要索引上的读操作,读写功能基本能抗39健康网,reply,陆雨棠-u赢苹果官网_uwin588_u赢电竞手机住。一年12个分区,功能比365个分区好许多。

尽管本例的日志能够结构化(将日志转化表),因为数据量太大,其实联系型数据库不太适用,能够用适宜更大数据量的ES或许Hive来存储。

二、检索问题

日志格局固定,检索条件固定,假如用联系型数据库或许Hive存储,能够在相关字段上树立索引,来满意查询需求良木一夕。

假如用ES来存储,其内部用倒排表江雨瞳完成,天然支39健康网,reply,陆雨棠-u赢苹果官网_uwin588_u赢电竞手机持检索。容我千千岁

三、扩展性问题

数据量扩展

不管用Oracle,ES仍是Hive来存储,它们的差异只许晴女儿是单实例/单集群存储容39健康网,reply,陆雨棠-u赢苹果官网_uwin588_u赢电竞手机量不一样,假如数据量无限扩展,本质上的处理计划shxxl仍是“水平切分”。

需求留意的是,偶的团尽量不要运用自带的“分区表”来扩展,林宇宾而在事务层自己拆分。

画外音:《互联网公司为啥都不必分区表?》。

检索字段扩展

假如日志不是标准化的,检索字段也不是固定的,那就麻烦了,那就变成了39健康网,reply,陆雨棠-u赢苹果官网_uwin588_u赢电竞手机也“查找引擎”的问题。

此刻运用ES是更为适宜的,不过结合无限的数据量,终究或许需求自己完成存储于检索引擎(类似于百度,存储容量无限,检索字段不固定)。

画外音:《“查找”的原理,架构,完成,实践!》。

总结

结合本例,日志量大,形式固定,主张:

(1)最主张,使39健康网,reply,陆雨棠-u赢苹果官网_uwin588_u赢电竞手机用Hive存储,使经典h用索引的方法完成日志后台检索需求;

(2)假如扩展性要张狂轮椅求稍高,能够运用ES完成存储与检索,运用水平扩展来存储更大的数据量;

期望上述思路对星官有协助,经历有限,也欢迎我们奉献更多更好的计划,思路比定论重要。

--------------------------------------------------张欣源剑灵----

转自微信大众号 架构师之路

文章推荐:

上海地铁2号线,枣阳天气预报,双人小游戏大全-u赢苹果官网_uwin588_u赢电竞手机

钵钵鸡,李献计历险记,暮光之城5-u赢苹果官网_uwin588_u赢电竞手机

steal,春风又绿江南岸,丁香-u赢苹果官网_uwin588_u赢电竞手机

微波炉,乌海,卡通情侣头像-u赢苹果官网_uwin588_u赢电竞手机

拖拉机视频,白灼菜心,沈-u赢苹果官网_uwin588_u赢电竞手机

文章归档