前段时间有个项目,在数据汇总这一步每天都要处理大量数据,为了考虑扩展,上了hadoop,虽然花了不少时间做预研,内部也测试了好久,但因为是初次使用,在上线使用后还是碰到了非常多的问题,系统问题,性能问题,hive bug......
我们马不停蹄的救火解决问题,在救火的过程中逐渐应用了另一套更轻量级的处理架构,并且在数据暂时没有进一步增长的情况下,替代了hadoop的处理方式。而原定的hadoop变为了备用。虽然现在用的扩展性没有hadoop好,但在一定数据量的情况下,处理能力还是非常高的,并且由于逻辑简单,维护方便,成本反而更低。
很多时候我们想架构做的很完美,特别是要扩展性通用性要做到很好,但在快速发展的市场上却往往一开始表现还不如稍差一点的架构。虽然在持久战中好的架构会有优势,但如果你一开始就被灭了,那就根本没有机会等到以后展现优势了。最好的产品不一定笑到最后,这点已经被无数次证明了。首先我们要做一个不错的产品抢占市场,等站稳脚跟有了稳定的收入后,再不断完善优化。
理想是美好的,现实是残酷的。产品做出来是为市场服务的,最终目的是转化为公司的收入。所以要做好架构,不能只考虑技术,还要综合考虑团队、市场、竞争对手等多方面的因素。否则叫好不叫座就只能哭了。
如何把握好这个度,就要靠经验,特别是失败经验的积累了。
分享到:
相关推荐
本书通过.NET的架构来剖析架构设计,既具有代表性,也具有实用性。 2.上一版是同类书中的畅销品,累计印刷9553,译者陈黎夫在微软技术圈中具有一定知名度。 3.本书全面修订更新,涵盖了软件架构师的核心实践,...
汽车电子电气架构设计与评估
应用软件 架构设计 设计规范 4.2.1 定义主题域 对业务过程模型、业务能力模型、系统用例等作出分析,参照全局数据模型,定义数据主题域及概 念数据实体,主题域的数据实体应高度相关,每项业务能力至少包含一个...
主要包括的技巧: −架构原则 −利益相关者管理技巧 −架构模式 −业务情景 −差距分析 −迁移规划 −互操作需求 −业务转型准备度评估 −风险管理 −基于能力的规划
第七部分 软件架构设计 7.1 软件架构的概念 7.2 软件架构风格 7.3 面向服务的架构 7.4 特定领域软件架构 7.5 基于架构的软件开发方法 7.6 软件架构评估 7.7 软件产品线 第八部分 基于构件的开发 8.1 中间件技术 ...
本文将探讨企业迫切需要的IT设计技术,然后为CIO设计基础架构时提供了五个关键设计原则。最后,本文论述了广域数据服务(Wide-area Data Service,简称WDS)解决方案的重要性,并解释了它们如何帮助高度分散和机动的...
微服务是一个软件架构形式。在这个架构中,复杂的应用程序是由多个小而独立的进程组成,每一个 进程通过独立于语言的接口进行相互交流。这些服务较小、高度解耦且专注于完成一个小任务,使得 用模块化方法建设系统...
利用PUF技术为双核安全架构提供可信根(PUF-based Root of Trust,PRoT),设计了以PRoT为信任锚点的信任链和密钥更新协议,保证了在SoC系统上可信关系的逐级扩展以及安全启动的可靠性和安全性。通过测试实验表明,...
随着大数据时代的来临,对数据的重视提到了前所未有的高度,“数据即资产”已被广泛认可,数据就像企业或组织尚待发掘的财富,即将被广泛应用。移动互联网和物联网发展突飞猛进,促使各...资产管理服务平台总体架构设计设想
该网站是由 html+js+css架构设计,里面部门功能介绍: 图片滚动(HTML技术实现) ;多图片自动滚动,可自行设计图片数量(js+hmtl实现);多图片内容左右滚动,可自行设计图片张数,显示图片张数(js+hmtl实现);...
基于Linux架构的温度监测数据传输系统的ZigBee通信设计.pdf
DDD是一种处理高度复杂领域的设计思想,是一种架构设计方法论,通过边界划分将复杂业务领域简单化,帮我们设计出清晰的领域和应用边界,更容易的实现架构演进。
为解决这个问题,本文提出Eyeriss,一种用于DNN处理的软硬件架构联合设计,针对性能、能源效率和灵活性进行了优化。Eyeriss具有一种新颖的RowStationary (RS)数据流,可在处理DNN时最小化数据移动,这是性能和能效的...
基于ARM架构温室大棚温度监控设备的设计.pdf
餐厅系统的架构设计 前言 随着Internet的快速发展,网络已经改变和正在改变我们的生活,通过网络交易的方式 已经成为一种时尚,各个企业也将网络营销当成一种重要手段。餐饮行业也得益于网络 的发展,通过网络更高效...
在三层架构下,采用传统系统缺少独立专网,无法实时监测馈线终端运行情况,导致故障定位精准度较低的问题,针对该问题,设计了配电网故障智能定位系统。根据智能配电网故障定位系统总框架,结合面向服务体系结构技术...
4、注重的是架构的思路 1.2、课程特色 提升架构高度,仅仅寄希望于代码层级是远远不够的。 代码解决的的执行力的问题 ,架构更多的是依赖 业务的洞察能力 和 技术视野 课程重点 架构解决方案 技术解决...
在当今信息化社会,网页设计与后端架构开发已成为互联网行业的两大核心技能。本次课程设计旨在通过系统的教学与实践,帮助学生掌握HTML、CSS、JavaScript等前端网页设计技术,以及深入了解J2EE后端架构与应用开发,...