在我的职业生涯中,我一直致力于数据分析,BI工具等.我工作的大多数应用程序都是主要的只读应用程序.虽然我也曾在简单的CRUD应用程序上工作,但没有什么特别的交易.作为一名软件工程师,我觉得如果我不知道如何设计高度交易系统和数据库,如亚马逊,航空公司系统等的工作方式,我的学习中就会出现空白.我想请社区人士就这个问题提出一些资源,书籍或简单项目.在教授必要的理论的同时可以采用实践方法的东西.我知道这是一个主观问题,但我可以将最有用的答案标记为绿色.期待您的建议并感谢您的期待.
我将把答案分为四大类,即
理论和学术背景,
热门消息来源
软件和工具,以及
练习.
这是该领域的基础 - 如何从0到相当不错,专业水平,但大多数在理论上.
交易处理:概念和技术(数据管理系统中的Morgan Kaufmann系列),Jim Gray
后面章节中的Silberschatz书(数据库系统概念)介绍了高级事务系统的内部工作,有一些资源等.
H-store论文 - 描述了内存设计对高事务负载的好处.H-store工作激发了VoltDB的发展.
Calvin paper - 分区数据库系统的快速分布式事务.提供非常好的背景,相关工作,并深入了解最新技术.
Hellerstein,Stonebraker和Hamilton 的数据库系统架构涵盖了许多方面.
关于高可用性交易的优点和局限性的优秀论文.
CAP定理论文 - 关于大规模系统一致性,可用性和分区的设计权衡.很重要.
并行处理和并行数据库
高可伸缩性是您正在寻找的完美博客.例如,这是关于亚马逊架构演变的一个很好的条目.非常接近你一直在寻找的东西.
Facebook,LinkedIn和Twitter工程博客都是很好的资源.我还会查看Google Research网站及其Google+.Netflix也不错.
VLDB和SIGMOD会议(包括SIGMOD 博客)是研究人员/学术界和公司提供大多数最先进数据系统的地方.
HPTS是一个有趣的会议/研讨会,有很好的议程和出版物.
我甚至会检查USENIX系列的尖端系统.
VoltDB是一个超级事务的内存数据库,由ACM研究员Mike Stonebraker和最现代数据库概念的"父亲"设计.
IBM 大型机在高容量事务处理领域仍然占有非常突出的地位.在撰写此答案时,他们正在宣传他们的Z13系统,以获得极端的加密交易处理量.
如果您有兴趣进行"大数据"交易,那么有很多选择,但HBase可能是最有趣的.以下是HBase的一些建议读取源:Yahoo的Omid基于HBase上的HBase 事务构建
另一个有趣的架构是Twitter,现在是Apache Storm. 和Apache Kafka用于流媒体和实时处理.
如果您想尝试一些事情,请查看TPC系列基准测试.有事务,ETL,BI和决策支持/混合负载分析基准.这些都是以关系为导向的.
您可以使用这些基准测试并针对开源SMP(例如postgres,MySQL)和MPP数据库(例如Greenplum)进行练习(链接到关于查询,性能,一些示例设置以及MPP数据库如何处理查询的优秀且全面的文档) .
我为面向HBase的事务系统推荐了这些实际场景和体系结构.
对于最先进的消息和面向演员的交易系统,您可能需要购买一两本书.对于Akka(作为Spark的内部),您可以使用Akka in Action并在每章结尾处完成练习.也有从培训课程中一些练习这里.
对于流处理,这里有一些Apache Kafka的好练习(第1部分和http://www.confluent.io/blog/stream-data-platform-2/).Cloudera有一个很好的"入门" 指南.
为了实践面向消息的最先进的系统,我建议使用Storm入门,也许还要进行这些练习.有许多真实拓扑.
对于优秀的旧JMS,您可以使用此在线参考练习,或者使用这些Active MQ练习更复杂.
如果你想用大型机折磨自己,试试这个模拟器.它模仿IBM的OS/370-390.
京公网安备 11010802040832号 | 京ICP备19059560号-6 