京挑客网站怎么做,商务网站建设的一般流程是什么,China wordpress,网站平台建设所需开发工具自2023年后#xff0c;人工智能技术进入了一个更为成熟和广泛应用的阶段#xff0c;人工通用智能#xff08;AGI#xff09;这一概念也成为了科技界和产业界热议的焦点。本文将结合 AGI 时代背景#xff0c;从架构设计到落地实践#xff0c;详细介绍拓数派云原生数据计算… 自2023年后人工智能技术进入了一个更为成熟和广泛应用的阶段人工通用智能AGI这一概念也成为了科技界和产业界热议的焦点。本文将结合 AGI 时代背景从架构设计到落地实践详细介绍拓数派云原生数据计算系统 PieDataCS。 1 中国 AGI 发展现状与趋势
1.1 AGI 市场与技术发展趋势
2023年被称为是 AGI 元年大模型在人工智能领域掀起了一场风暴。尽管⼤模型在模仿⼈类认知⽅⾯取得了显著进步但距离真正的通⽤智能还有很长的一段路。由于底层模型和算力离企业市场较远我们相信 AGI 的发展将由应用占主导。 中国 AGI 市场将长期保持快速增长态势InfoQ 研究中心
而 AI Agent 可以简化用户与大模型的互动允许用户只需指定目标即可驱动大模型完成任务。由于 AI Agent 实现应用的优势主要集中于高度的环境适应性企业环境的特定场景为 AI Agent 提供了理想的应用背景垂直行业成为 AI Agent 最先实现应用的领域。
1.2 国内 AGI 市场分层
中国 AGI 市场技术框架自下向上可分为基础设施层、模型层、中间层和应用层四层
➢ 基础设施层 是实现 AGI 的基⽯提供算力支撑是保证模型训练、推理部署能⼒的基础。例如云厂商等。
➢ 模型层 是 AGI 的核⼼其能⼒直接影响最终 AGI 应⽤效率业界相关产品可分为自研模型和基于开源模型的变种两种实现方案。
➢ 中间层 提供了 AGI 实际应⽤所需的核⼼功能和服务是将用户应用场景和模型结合起来的桥梁作为⼤模型应⽤落地能⼒补充的重要层级。这也是拓数派在 AGI 市场所扮演的角色。
➢ 应用层 是⽤户/客户直接使⽤ AGI 技术的界⾯以提供特定服务和解决具体业务问题作为出发点。例如手机端和电脑端的 SaaS 服务软件。 中国 AGI 市场分层
2 云原生数据计算系统 PieDataCS
为了顺应 AGI 时代的发展拓数派打造了云原生数据计算系统 PieDataCS 围绕数据组织云原生计算系统重构数据存储和计算让 AI 数学模型、数据和计算三者互为增强。PieDataCS 实现「一份存储多引擎数据计算」全面升级大数据系统至大模型时代赋能行业 AI 场景应用。
2.1 PieDataCS 整体架构
作为国内数仓虚拟化技术的提出者拓数派旗下的云原生数据计算系统 PieDataCS 围绕数据构建计算采用首创的云原生 eMPPelastic Massive Parallel Processing架构实现元数据、数据和计算全分离云上存储资源与计算资源可独立管理数据计算资源可按需扩缩容实现计算资源配置最优化。 PieDataCS 系统架构
PieDataCS 自下而上可分为数据存储层、硬件加速层、数据存储引擎层以及数据计算引擎层
➢ 数据存储层 PieDataCS 采用存算分离架构元数据、数据资源和计算“三权分立”通过存储引擎简墨实现数据的统一管理充分利用云存储等存储系统所带来的优势
➢ 硬件加速层 采用 FPGA 异构技术专注极致性能优化。在 SQL 计算引擎层面对数据过滤、排序等方面进行优化在存储引擎层面对存储的加解密、解压缩等方面进行加速在模型层集成 GEMM通用矩阵乘法、GEMV通用矩阵-向量乘法等多种算法针对一些算子进行加速
➢ 数据存储引擎层 PieDataCS 结合云存储能力打造的简墨存储系统兼容 S3 对象存储、HDFS 及其他分布式文件系统并可打通多种存储技术实现数据的统一管理
➢ 数据计算引擎层 目前支持 SQL 计算引擎 PieCloudDB Database向量计算引擎 PieCloudVector 以及机器学习引擎 PieCloudML所有计算引擎共享一份底层数据。
2.2 PieDataCS 的设计
云原生数据计算系统 PieDataCS 的目标是为行业 AI 大模型赋能从设计理念上主要考虑五个方面
➢ 数据准备
数据是大模型的基石数据质量直接决定了模型训练的效果也是大模型能力涌现的关键。PieDataCS 可通过对实际业务数据结构化、非结构化、半结构化数据进行清洗、分类、去重、标注和增强等一系列处理提升数据准确性、完整性、一致性构建出高质量的行业数据集 为后续的模型训练和应用提供可靠的基础提升模型的性能和适用性。
➢ 数据共享
PieDataCS 打造的存储底座简墨所有计算引擎共享一份数据资源可将日常业务中跨领域、跨业务的多样化数据进行统一存储通过 data sharing 技术方便直观的共享给大模型针对特定的问题领域进行模型的微调和优化。
➢ 数据安全
数据的安全性和隐私性一直是用户最关注的话题之一数据计算系统的打造必须解决数据保护和数据访问权限管理的难题。PieDataCS 提供了企业级透明数据加密TDE 通过实时加密、高级加密算法、多级密钥等多种技术保证所有数据在落盘前完成加密并提供细粒度的角色与权限控制实现私域隐私数据可控不出域充分保证数据安全。
➢ 推理加速
在推理过程中PieDataCS 为 AI 大模型提供 RAG 架构可将先前计算得到的结果保存下来并与当前的输入进行匹配。当发现相似的问题输入时系统可以直接返回已经计算过的结果而无需再次执行大模型的推理过程避免了大量重复计算大大提高了响应速度和推理的效率。
➢ 提升准确度
大模型通常会基于已经训练过的数据生成结果但这也带来了专业知识缺乏和数据时效性的问题限制了它在处理新问题上的表现。PieDataCS 利用 RAG 技术通过引入外部知识库突破预训练带来的知识时间限制有效提高检索准确度避免大模型出现幻觉和因模型更新或数据变化而引起的结果不一致问题进而增加用户信任度。 PieDataCS 为行业大模型赋能
2.3 PieDataCS 虚拟数仓引擎
PieDataCS 首款数据计算引擎 PieCloudDB 采用了领先的数仓虚拟化技术可将多个物理数仓统一整合到一个高可用的虚拟数仓基于用户不同的业务场景对资源进行池化 支持根据数据授权动态创建虚拟数仓打破数据孤岛解决数据多副本问题。 虚拟数仓引擎 PieCloudDB
架构与主要模块设计
在 PieCloudDB 中数据可以保存在本地也可以选择保存在 S3、HDFS 等共享存储上PieCloudDB 拥有灵活的架构除了支持存算分离之外也可以支持存算一体架构。
对于元数据PieCloudDB 将其抽离并存储于自研的分布式 KV 系统基于键的自然排序实现索引以及基于 watcher 机制实现了高效的分布式锁管理具备更高的性能可进一步释放 PieCloudDB 存算分离架构的优势。当数据量较小时也可以采用集中化的方式部署轻量集群从而快速支撑业务场景。
针对计算性能优化PieCloudDB 打造了 SIMD 向量化执行器 充分利用 CPU 并行计算等硬件资源实现更高效的数据处理。此外PieCloudDB 还提供了管控服务可帮助用户快速进行集群自动化安装部署可实现资源的统一监控和管理确保系统的稳定性和可靠性。通过可视化的界面用户可以轻松地进行故障排查、权限管理、安全审计等运维工作降低运维成本。
分布式优化器设计
针对云原生和分布式场景PieDataCS 对查询优化器同样进行了大量改造实现聚集下推优化。经过测试对比不使用聚集下推在开启聚集下推后性能提升了大约 300 倍。此外PieDataCS 还实现了多阶段聚集、分区表裁剪、递归 CTE 优化以及多表连接的最优顺序搜索等多种优化手段大幅提升了查询性能。
结构化和半结构化数据同步
PieDataCS 兼容多种文件格式除了自研的janm格式还兼容主流的Parquet、ORC、CSV、JSON 等文件格式具备对这些类型的文件进行 SQL 查询无需数据导入或转换。
此外为了满足实时数据分析的需求PieDataCS 打造了 DataFlow 同步工具支持将多种数据源的数据实时抽取并写入 PieDataCS并支持通过云原生平台进行可视化操作如果原始数据过大也可以选择先将文件中转到 S3 对象存储中并采用不同的算法进行压缩节约存储空间的开销。 DataFlow 支撑实时数据同步场景
2.4 PieDataCS 向量计算引擎
云原生向量计算引擎 PieCloudVector作为 PieDataCS 的第二款计算引擎是大模型时代的分析型数据库升维助力多模态大模型 AI 应用进一步实现海量向量数据存储与高效查询。 向量计算引擎 PieCloudVector
PieCloudVector 集成了市面上主流的 Embedding 算法以及模型ChatGLM、LLaMA、通义千问等用户可以直接调用内置算法或者通过封装好的 API 接口也可以根据自身需求选择本地或是公有云模型的 API来进行数据的 Embedding。
对于向量数据库索引算法可以加速向量数据的搜索是其高效检索能力的关键。PieCloudVector 支持主流的向量索引算法如 IVF_FLAT、HNSW 以及混合索引等同时实现了索引加速缓存机制进一步提高了检索速度缩短了响应时间。此外PieCloudVector 还提供了 L2 距离、内积以及余弦相似度等多种向量检索算法。
在数据应用层面PieCloudVector 对主流的大语言模型应用开发框架LangChain、FinGPT 等进行了适配提供了对应的 sdk用户无需进行二次开发可以直接使用现成的框架调用 Embedding 算法然后将数据存储到 PieCloudVector 中进行 RAG 检索增强生成或者语义推理及检索等方面的应用。
与大部分传统计算引擎不同的是PieCloudVector 除了支持 CPU 以外还支持在 GPU 计算节点上进行部署可充分利用其强大的并行计算能力并且还可以利用 SIMD 等硬件加速技术进一步提升向量计算和数据处理的速度和效率为大规模向量计算提供了必要的性能支持。
2.5 PieDataCS 机器学习引擎
PieDataCS 的第三款计算引擎 PieCloudML旨在整合企业多模态数据资源为多模态大型模型提供强大的数据计算支持以满足数据科学家的需求和使用。 机器学习引擎 PieCloudML
PieCloudML 设计了灵活的计算和存储架构以支持不同规模和需求的机器学习任务。可以全面兼容主流的机器学习生态系统支持使用 Python、R 等语言满足不同数据科学家的偏好。PieCloudML 集成了 TensorFlow、PyTorch、Keras、Scikit-Learn 等流行的深度/机器学习框架并提供了基于 Jupyter Notebook 的交互式开发环境方便用户通过可视化管理界面快速调用各种开发库进行模型开发和训练。
PieCloudML 借助容器编排技术 Kubernetes 实现自动化容器的部署、升级和回滚利用 Kubernetes 的弹性伸缩功能PieCloudML 能够根据实时负载动态调整 Pod 的资源请求和限制应对不同的负载压力。Kubernetes 的自我修复能力确保了 PieCloudML 服务的高可用性。在出现故障时能够自动重启失败的容器或替换不健康的 Pod。
另外PieCloudML 还提供了 Spark Connector、JDBC、ODBC 等多种数据访问接口方便与各种数据源和业务系统的连接简化数据的接入和使用。
2.6 多模态数据共享
简墨JANM作为 PieDataCS 的云存储底座目标是打造成满足多云场景下高性能计算引擎的数据存储底座基于云原生的设计和现代化的硬件设施致力于简化大数据处理过程中的数据加载、读取和计算的整个流程以完成各种场景下的数据计算和分析任务。 简墨JANM存储引擎
简墨支持多模态数据共享可打通企业内部各个地方的数据将结构化数据、半结构化数据以及非结构化数据统一的进行管理具备高度抽象的数据访问协议采用全自研的 Table Format 技术可无缝对接 Apache Iceberg、Apache Hudi、Delta Lake 等多种存储构建统一数据湖管理并可通过统一的接口将数据共享给 SQL、流批一体、大模型等多种数据计算引擎一份数据多引擎计算实现数据在不同服务之间的真正互通。
3 基于 PieDataCS 的用户案例实践
拓数派自成立以来专注于数据计算领域PieDataCS 以云原生技术重构数据存储和计算让大模型技术全面赋能行业 AI 场景应用为企业创造更大的商业价值成为AI的基础科技底座的同时开启 AI 技术的新范式。
目前 PieDataCS 面向国内市场提供公有云版、社区版、企业版及一体机多个版本满足企业不同业务场景需求并已为金融、制造、医疗及教育等行业用户构建了 AI 数据底座。
3.1 某大型央企的数据底座项目
在数字化转型的需求下某大型央企通过采用 PieDataCS 作为新一代的数字底座完成原有数据平台的替换对接企业内部的 OA、CRM、ERP 等应用系统将企业内部办公数据、业务应用数据以及外部数据统一整合到 PieDataCS 的简墨数据湖中再根据不同的数据格式去采用 PieDataCS 数据计算系统的不同的计算引擎进行处理。
结构化和半结构化数据采用了虚拟数仓引擎 PieCloudDB 实时数据分析也可以对接 Flink 进行流式计算进行数据的加工。通过数据分层来形成主题数据从而对外形成标准的 API 接口。
而对于设计辅助增强需求包括 3D/2D 图纸等数据通过模型做 Embedding利用向量化引擎进行相似内容的近似检索。而通过机器学习引擎 PieCloudML 可以做到对传统的机器学习算法进行通用管理来实现研制一体化的增强。 基于 PieDataCS 的数据底座案例实践
3.2 某金融客户的 AIGC 应用实践
在某金融客户案例中由于其内部投资经理在日常工作中有编写大量投资材料的需求需要对法律法规、政策文件以及投研报告进行快速检索形成对应的分析报告为客户提供投资相关的数据支持。
为了提高检索工作的效率和准确性该金融客户采用 PieDataCS 打造了基于向量计算引擎的 AIGC 应用解决方案通过自研大模型东吴秀财 GPT结合 LangChain 开发框架以及 PieCloudVector 构建了 AIGC 应用平台。将把传统文本类数据做成 Embedding导入 PieCloudVector 中从而实现根据需求对内容进行精准搜索或全文检索。满足了该客户基于 GPT 构建投研分析、量化交易、智能顾问、情绪分析等多个场景的 AI 应用的需求。 基于 PieCloudVector 的 AIGC 应用实践
4 展望与期待
在 AGI 时代数据的价值越来越凸显。拓数派致力于成为客户在数据计算领域的可靠伙伴为客户提供更强大、可靠的数据服务和行业领先的数据技术支持。我们将持续进行产品的创新不断优化产品功能和性能以满足客户日益增长的数据需求。
