有没有数据仓库框架？

我有很多mysql数据需要从中生成报告.它主要是历史数据,因此它不会发生太大变化,但它的重量很容易达到20-30千兆字节,预计会增长.我目前有一些PHP脚本集合,可以执行一些复杂的查询并输出csv和excel文件.我还使用带有书签查询的phpMyAdmin.我手动编辑它们来更改参数.数据量正在增长,需要访问数据的人数也在增长,因此我正在花时间改善这种情况.

前几天我开始阅读有关数据仓库的内容,似乎这个区域与我需要做的事情有关.我读过一些 好 文章,甚至还在等一本书.我想我已经掌握了这些系统的功能和可能性.

为我的数据创建一个报告系统一直在todo列表中,但直到最近我才认为这将是一个非常小众的计划冒险.由于我现在知道数据仓库是常见的事情,我认为必须有某种报告/仓库框架可以轻松开发.我很乐意跳过编写接口和脚本来安排和发送电子邮件报告等,并坚持编写查询和建立关系.

我大部分都是一个灯泡家伙,但我不是在转换语言或平台.我只需要一个更强大的解决方案,因为我的一次性脚本不能很好地扩展.

那么哪里是开始的好地方？

我将在{预算,业务效用函数,时间范围}频谱上讨论几点.为方便起见,让我们按照您链接的架构概念进行操作

    WikipediaDataWarehouseArticle

操作数据库层
数据仓库的源数据 - 标准化为仅一个地方的数据维护

数据访问层
将源数据转换为信息访问层.
用于提取,转换,加载数据到仓库的ETL工具属于此层.

信息访问层
  •报告促进数据结构
      数据不在此处维护.它只是您的源数据的反映
      因此,非规范化结构(包含重复但系统导出的数据)
      通常在这里最有效
  •报告工具
      您如何实际允许您的用户访问数据
      •预先报告(简单)
      •更加动态的切片和骰子访问方法

        用于报告和分析的数据以及用于报告和分析数据的工具
        属于该层.关于设计方法的Inmon-Kimball差异(
        稍后在维基百科文章中讨论)与此层有关.

元数据层(便于自动化,组织等)

自己动手(低端)
对于非常少的自付费用,只要认识到非规范化结构的需要可以购买那些没有使用它的效率

进入球赛(需要一些支出)
你不需要立即使用平台的所有功能.
然而,IMO,你想要在一个你知道会成长的平台上,并且在竞争激烈且整合的BI环境中,这似乎是四个企业大型供应商之一(我认为)

微软(我们110家员工公司的平台)

树液

神谕

IBM

    BiMarketStateArticle

我的公司正处于这个阶段,使用SQL Server Integration Services(SSIS)提供的一些ETL功能和开源的一些替代用法,但实际上需要在"数据访问层"中使用Talend产品,这是一种非规范化的报告结构(完全在基本的SQL Server数据库中实现)和SQL Server Reporting Services(SSRS),可以在很大程度上自动化(根据您的技能)生成预先指定的报告.请注意,SSRS"报告"仅仅是一种(可伸缩的)XML配置/规范,它通过SSRS引擎在运行时呈现.导出到excel文件等选项是简单的选项.

严肃的承诺(需要一些重要的人类承诺)
请注意,我们尚未使用SQL Server Analysis Services的数据挖掘/动态切片/切割功​​能.我们正在努力实现这一目标,但现在专注于提高"数据访问层"中数据清理的质量.

我希望这可以帮助您了解从哪里开始寻找.