
云计算、数据与智能三者如今高度热议,彼此之间关系紧密、相互促进。为非技术人员解释清楚三者的联系,能帮助更好地把握未来趋势。
一、云计算的初衷与演进
- 资源三要素:计算、网络、存储。把数据中心看作一个超大“家用工作站”,其中的服务器像计算资源,网络设备像网络资源,存储设备像存储资源。mile米乐
- 追求的两大灵活性:空间灵活性和时间灵活性。把需要多少资源、在何时得到资源,变得像按需点单一样方便。
- 演进阶段
1) 物理设备阶段:直接购买台式机、服务器等硬件,资源扩展受限且成本高。
2) 虚拟化阶段:在同一个物理设备上划分出若干虚拟资源,形成隔离的虚拟机,提升利用率与灵活性。
3) 池化与云化阶段:通过调度中心把成千上万台物理机归并成一个资源池,自动分配给用户,达到真正的云计算门槛。
- 云的形态与商业模式:私有云强调自有资源、公有云通过对外提供服务实现规模化盈利,混合云则结合二者优势。
- 开源与产业格局:早期虚拟化由商业软件主导,随后出现大量开源方案与大型云平台。一个重要里程碑是基于开源技术构建的云平台的发展,使更多企业能够自建或组合成公有云、私有云的解决方案。
- IaaS 的核心:基础设施即服务,提供对计算、网络、存储等底层资源的弹性管理。
二、资源之上:应用弹性与容器化
- 仅有底层资源的弹性并不足以解决真实应用的灵活性问题。需要在 IaaS 之上再构建一层,来管理应用层面的弹性,这就是 PaaS。
- PaaS 的要点:实现应用的自动部署与运行时管理,减少用户在应用层面的运维成本。
- 容器化的崛起:容器把软件及其运行环境打包成可移植、标准化的“集装箱”,实现快速、可重复的交付。
- 技术要点:通过隔离和资源控制(Namespaces、Cgroups 等)实现应用运行的独立性与高密度部署。
- 镜像与运行:将应用状态定格在镜像里,运行时再从镜像启动,部署与扩容变得快速而稳定。
- 容器化带来的优势:在 PaaS 层实现快速、优雅的应用自动化部署,降低环境差异带来的问题。
三、大数据与云计算的相互拥抱
- 大数据的阶段性认知:数据分为结构化、非结构化和半结构化三类。数据本身是原始材料,信息、知识、智慧是通过处理逐步提炼出的价值层次。
- 数据处理的路径:数据采集、传输、存储、清洗与分析、检索与挖掘。通过不断加工,数据变成信息、信息转化为知识、知识逐步形成智慧,驱动实际决策和行动。
- 数据规模的挑战与解决之道:小数据可用单机解决,数据量急剧放大时需要分布式处理、分布式存储和分布式计算。典型现象包括海量采集设备、网页抓取、分布式队列、分布式文件系统和并行计算框架。
- 云计算对大数据的支撑:大规模数据处理需要大量计算资源的灵活调度与弹性供给。云计算提供按需扩展的算力、存储与网络能力,使大数据平台在公有云上部署成为常态。
- 大数据在云上的应用:云平台提供通用的数据分析、数据仓库、机器学习等能力,企业无需自建庞大基础设施即可快速开展数据驱动的应用。
四、人工智能与大数据的深度融合
- 从“懂人心”的需求出发:用户希望机器能够理解人类意图,而不是仅靠检索来回答问题。这需要从数据中学习、从经验中推理,形成更贴近人类的智能体验。
- 推理与知识的挑战:早期的专家系统依赖大量人为提炼的规则,难以覆盖语言表达的多样性与场景复杂性。语言理解、情境推理等仍然是难题。
- 统计学习与神经网络:让机器通过大量数据和多层神经网络来学习表达规律,逐步实现从输入到输出的映射。神经网络通过大量权重与连接,能在训练后近似复杂函数,具备强大的泛化能力。
- 大数据驱动的人工智能:神经网络模型往往需要海量数据进行训练,云端的大数据平台提供了必要的计算与数据资源支撑,使 AI 服务成为可能的规模化应用。
- AI 的云端形态:随着数据与算力的积累,越来越多的智能能力以软件即服务(SaaS)的形式对外提供,企业和个人均可按需使用智能服务,而不必自建庞大 AI 基础设施。
五、三者的合力:美好生活的云端场景
- 以 IaaS、PaaS、SaaS 为框架,云计算、大数据、人工智能实现相互支撑、协同成长:
- 企业在云端积累数据、构建大数据与 AI 能力,同时通过 SaaS 服务快速获取智能能力。
- 大数据平台在云上提供强大数据处理与分析能力,为 AI 训练与应用提供数据底座。
- AI 能力又通过云端服务落地,帮助企业提升业务决策、提升用户体验、优化运营效率。
- 总结:云计算提供资源弹性,帮助大数据平台实现规模化处理;大数据为人工智能提供训练与应用的丰富数据源;人工智能则把云上数据与计算能力转化为贴近用户需求的智能服务。三者的深度融合,正在推动各行业实现更高效的数字化转型。