+
DevOps研发效能
媒体矩阵
开源中国APP
有新文章,点击查看

Alluxio + Anyscale Ray框架,实现跨区域训练数据读取速度20倍提升

当 AI 训练数据存储在某个云区域,而 GPU 集群部署在另一个云区域时,每一轮 epoch 训练迭代都会给跨区域网络传输带来可观开销。于是,我们利用算力侧的 NVMe 盘来构建 Alluxio 分布式缓存层,通过对接 Anyscale 平台的 Ray 框架,对 1TB 数据集开展 Ray Data 基准测试,结果显示:缓存预热后,数据读取耗时从 4241 秒降至 208 秒,整体提速 20 倍。 🔗 Anyscale 平台的 Ray 框架:https://www.anyscale.com/platform 现存痛点...

0 人点赞
收藏 0

平行云全球发布 ImmerShare:全栈式 3D XR 分发基础软件设施

Paraverse平行云作为全球领先的云XR软件基础设施开创者,今日正式宣布全球发布 ImmerShare。这是一款 3D XR 应用原生共享推流工具,旨在帮助创作者、开发者和企业团队实现即时、互动的3D应用共享——提供全原生画质,支持任何GPU环境,无需安装即可在任意浏览器中流畅运行,实现真正的零阻力分享。 3D XR 创作提速十倍,但分发依然困难重重 生成式AI彻底改变了3D内容的创作节奏,曾经需要数月的开发工作现在几天即可完成。然而,...

0 人点赞
收藏 0

Apache DolphinScheduler “僵尸任务”怎么处理?新旧版本安全清理方案

问题概述 在DolphinScheduler运行过程中,有时会出现任务界面显示"运行中"状态,但实际进程已经死亡的情况。这种状态不一致会导致工作流无法正常推进,需要手动干预。本文将针对不同版本提供安全清理方案。 问题原因分析 任务卡在"运行中"状态通常由以下原因造成: 数据库延迟:当数据库出现延迟时,任务状态更新可能失败,导致界面显示与实际状态不一致 Worker节点异常:Worker服务意外停止,但Master未及时感知 网络抖动:Zoo...

0 人点赞
收藏 0

告别重复手动同步!用 SeaTunnel+ DolphinScheduler,让增量数据自动“飞”起来

摘要: 还在为每天手动同步新增数据而烦恼?试试这个开源黄金组合,一键搞定定时增量同步,解放你的生产力! 你是否也有这样的困扰:数据库里的数据每天都在增长,你需要把前一天的新数据同步到另一个地方进行分析。手动执行?太麻烦还容易忘。写个定时脚本?维护起来又不方便。 今天,就给大家分享一个 "懒人"必备的解决方案:用 SeaTunnel 做数据同步引擎,用 DolphinScheduler 做智能调度管家,强强联合,实现每日增量数据的...

0 人点赞
收藏 0

生产级 Agent 落地实战:通过 AgentTeams 构建“身份可信、运行可控”的开源社区协作底座

作者:张乎兴(望陶)、邵丹(营火) 这是「AgentTeams 多 Agent 落地实践」系列的第一篇,记录从单 Agent 巡检到多 Agent 协作的演进过程。 凌晨 2 点,一个来自纽约的开发者提交了他在 LoongSuite 的第一个 PR。不到 1 小时,他收到了详细的代码审查意见------每条评论锚定在具体代码行上,附带修改建议。同时,一条钉钉消息 @ 了我:"首次贡献者 PR 已审查,CI 通过,建议 merge。" 没有人在熬夜。做这件事的是一个运行在 AgentT...

0 人点赞
收藏 0

从 Python Script 地狱到标准化数据集成框架

每个数据团队,最后都会拥有一堆 Python Script 几乎所有企业的数据平台都有着相似的成长轨迹。 项目初期,数据接入需求并不复杂。业务系统需要将 MySQL 数据同步到数据仓库,运营部门希望定时调用第三方 REST API 获取营销数据,日志系统需要消费 Kafka 中的实时消息,再写入 ClickHouse 或 Elasticsearch。对于这些需求而言,Python 凭借丰富的生态和较低的开发成本,几乎成为所有数据工程师的首选语言。几十行甚至几百行代码...

0 人点赞
收藏 0

AI编码实战 | 0 行手写代码,2 天重构 2 万行 Vue 项目

作者:vivo AI 技术团队- Liu Shudong 在不手写一行代码的情况下,用自然语言指挥 BlueCode AI 编程助手,在 2 个工作日内完成了一个 4 年历史、2 万行 Vue 项目的全面重构——157+ 个文件变更、108 个单元测试从零建立、包体积下降 30%、Element Plus 完全移除。 文章的核心观点是:AI 辅助开发的关键不在 AI 本身的能力,而在于人为 AI 建立的约束体系——通过 Skills 技能包注入领域知识、AGENTS.md 沉淀项目规范、飞轮效应让...

0 人点赞
收藏 0

一套替代四套!同程旅行用 Apache SeaTunnel 搭建多模态统一数据通道

同程旅行数据通道服务历经多年演进,形成了数据搬运、数据集成、Sqoop、SeaTunnel 四套并存的格局,功能重叠、引擎割裂、整体运维成本居高不下。 本文将分享同程旅行以 Apache SeaTunnel Zeta 引擎为统一底座,在"业务零感知"前提下将数万个存量任务平滑迁移至批流一体化通道的完整实践------从 Sqoop/FlinkSQL 的零改造自动翻译、到基于 LLM 的自然语言建表建任务(Data Copilot),再到数据一致性校验架构,最终实现平台化整合...

0 人点赞
收藏 0

从"机械应答"到"服务伙伴":得物高可控智能客服的 Agent 工程实践|AICon 演讲整理

一、智能客服当下的痛点 听不懂人话、自作聪明: 无法准确理解用户意图,频繁答非所问。人工成本高、排队严重: 高并发场景下人力无法覆盖。问题解决能力弱: 只能处理简单 FAQ,复杂多轮问题无能为力。 二、智能客服 Agent 落地的必然性与挑战 Agent 智能客服的必然性 传统结构存在上限:意图分类 + NER + 对话管理 + FAQ 召回 + 重排的流水线架构,无法处理多步骤任务,上下文衔接不畅。 SOP 人工维护成本高:场景问法无法穷举...

0 人点赞
收藏 0
发表了博客

支撑亿级文件规模:途虎养车 JuiceFS + Ceph RADOS 存储优化实践

途虎养车是一家线上线下一体化汽车服务平台。截至 2025 年底,平台注册用户达 1.623 亿,工场店达到 8008 家。随着业务规模持续扩大,途虎养车的底层基础设施需要支撑更复杂的数据管理和计算场景。此前,平台长期并存 NFS、Alluxio、MinIO、SeaweedFS 等多套存储系统,存在架构割裂、数据流动成本高、运维复杂度高等问题。 在统一存储底座的选型过程中,途虎养车参考了盘古在大规模 AI 存储场景中的架构思路,并结合自身私有云环...

0 人点赞
收藏 0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
返回顶部
顶部