>本文整理自 2023 年 9 月 3 日 QCon 全球软件开发大会 2023 · 北京站 —— 从 MLOps 到 LMOps 分论坛的同名主题演讲。 本次分享的内容结构如下： * 从 MLOps 到 LMOps； * MLOps 概述、挑战与解决方案； * LMOps 实施挑战与关键技术（大模型推理性能优化、Prompt 构建和自动优化、上下文长度扩展）； * 未来展望。 # **1 从 MLOps 到 LM...

本文分享自华为云社区《大语言模型底层架构你了解多少？LLM大底层架构之LLM模型结构介绍》，作者： 码上开花_Lancer 。 大语言模型结构当前绝大多数大语言模型结构都采用了类似GPT 架构，使用基于Transformer 架构构造的仅由解码器组成的网络结构，采用自回归的方式构建语言模型。但是在位置编码、层归一化位置以及激活函数等细节上各有不同。上篇文章 介绍了GPT-3 模型的训练过程，包括模型架构、训练数据组成、训练过程以及评...

大家好，我是白鲸开源的联合创始人代立冬，同时担任 Apache DolphinScheduler 的 PMC chair 和 SeaTunnel 的 PMC。作为 Apache Foundation 的成员和孵化器导师，我积极参与推动多个开源项目的发展，帮助它们通过孵化器成长为 Apache 的顶级项目。 今天的分享的主题其实还是从开源到商业，Apache SeaTunnel 本身就是做数据同步软件，也经历过 Apache 孵化器的孵化，目前已经毕业成为顶级项目，也会跟大家分享一下它的核心特性。包...

> 本文深入探讨了机器学习中的决策树算法，从基础概念到高级研究进展，再到实战案例应用，全面解析了决策树的理论及其在现实世界问题中的实际效能。通过技术细节和案例实践，揭示了决策树在提供可解释预测中的独特价值。 > 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发...

> 编者按：近年来，强化学习在游戏和机器人控制等领域取得了较大的进步。如何设计一种强化学习算法，使机器人或 Agent 能够在复杂环境中学习最优策略（Optimal Policy ）并作出最优的决策，这成为一个重要课题。 > > 我们今天为大家带来的这篇文章，作者指出可以通过设计并训练 Q-learning 算法来解决强化学习中的决策问题。 > > 作者首先以 Frozen Lake 游戏为例导入问题。然后详细介绍 Q-learning 的设计思路，包括构建 Q-ta...

一、统计流程  所有流计算统计的流程都是： 1、接入数据源 2、进行多次数据转换操作(过滤、拆分、聚合计算等) 3、计算结果的存储 其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据 Flink程序构建的基本单元是stream和transformation（DataSet实质上也是stream）。stream是一个中间结果数据，transformation对数据的加工和操作，该操作以一个或多个stream为输入，计算输出一个或多...

本文分析了机器学习硬件性能的最新趋势，重点关注不同GPU和加速器的计算性能、内存、互连带宽、性价比和能效等指标。这篇分析旨在提供关于ML硬件能力及其瓶颈的全面视图。本文作者来自调研机构Epoch，致力于研究AI发展轨迹与治理的关键问题和趋势。 （本文由OneFlow编译发布，转载请联系授权。原文：https://epochai.org/blog/trends-in-machine-learning-hardware#computational-price-performance 作者 | Marius Hobbhahn、L...

本文分享自华为云社区《大语言模型底层原理你都知道吗？大语言模型底层架构之二GPT实现》，作者：码上开花_Lancer 。 受到计算机视觉领域采用ImageNet对模型进行一次预训练，使得模型可以通过海量图像充分学习如何提取特征，然后再根据任务目标进行模型微调的范式影响，自然语言处理领域基于预训练语言模型的方法也逐渐成为主流。以ELMo为代表的动态词向量模型开启了语言模型预训练的大门，此后以GPT 和BERT为代表的基于Transfo...

在当今数据快速增长的时代，实时、高效地同步和处理来自各种数据源的信息成为了企业和开发者面临的重要挑战。  MySQL作为广泛使用的数据库之一，其变更数据捕获（CDC）功能对于实现这一目标至关重要。在这篇文章中，我们将深入探讨MySQL CDC源连接器在SeaTunnel框架下的应用，涵盖从基础设置到高级配置的各个方面。 > MySQL CDC源连接器...

近日，阿里云人工智能平台PAI与华东师范大学张伟教授团队合作在自然语言处理顶级会议EMNLP2023上发表了基于认知理论所衍生的CogTree认知树生成式语言模型。通过两个系统：直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设，反思系统对直觉系统产生的假设进行验证，并选择更有可能的假设进行后续生成，直到达到最终结果。通过上述双系统的迭代式生成，可以提升大模型的解题准确度。 论文： ...

近日，阿里云人工智能平台PAI与华南理工大学朱金辉教授团队、达摩院自然语言处理团队合作在自然语言处理顶级会议EMNLP2023上发表基于机器翻译增加的跨语言机器阅读理解算法X-STA。通过利用一个注意力机制的教师来将源语言的答案转移到目标语言的答案输出空间，从而进行深度级别的辅助以增强跨语言传输能力。同时，提出了一种改进的交叉注意力块，称为梯度解缠知识共享技术。此外，通过多个层次学习语义对齐，并利用教师指导来校...

数据作为新时代重要的生产要素之一，[数据资产化](https://www.dtstack.com/dtinsight/dataassets?src=szsm)的相关工作正在提速。自今年10月1日起，中国资产评估协会制定的《数据资产评估指导意见》正式施行。同时，《企业数据资源相关会计处理暂行规定》近期转为正式稿，也将于明年1月1日起施行。 《暂行规定》规定：企业使用的[数据资源](https://www.dtstack.com/dtinsight/dataassets?src=szsm)，符合《企业会计准则第6号—...

本文分享自华为云社区《大语言模型底层架构你了解多少？大语言模型底层架构之一Transfomer的介绍和python代码实现》，作者： 码上开花_Lancer 。 语言模型目标是建模自然语言的概率分布，在自然语言处理研究中具有重要的作用，是自然语言处理基础任务之一。大量的研究从n 元语言模型（n-gram Language Models）、神经语言模型（Neural Language Models，NLM）以及预训练语言模型（Pre-trained Language Models，PLM）等不同角度...

> 在本篇文章中，我们对逻辑回归这一经典的机器学习算法进行了全面而深入的探讨。从基础概念、数学原理，到使用Python和PyTorch进行的实战应用，本文旨在从多个角度展示逻辑回归的内在机制和实用性。 > 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人。 ![file](...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 DataTester，火山引擎推出的 AB 测试与智能优化平台，近日宣布对其 MAB（Multi-armed Bandit）功能进行了升级，以更好地满足企业营销决策的需求。MAB 是一种通过不断尝试不同的选择来找到最优决策的算法，广泛应用于营销领域。DataTester 的 MAB 功能已经在内部和外部得到了成功的验证。此次升级后，该功能将更加符合业务使用场景，帮助企...

本文分享自华为云社区《风靡万千软件开发者：揭秘华为研发代码大模型是如何实现的？》，作者： DevAI 。 秉持“自己的降落伞，自己先跳”的原则，由公司装备部门牵头，携手华为云PaaS作为基础能力提供方，与公司各产品线共同研发面向产业的代码大模型。在研发过程中，我们已取得初步成果，为了巩固各产品线的代码生成探索经验，我们将产品线研发成果迅速投入业务应用。在此基础上，我们总结了前期的方法和经验，期待更多产业的加...

随着业务飞速发展，某汽车制造企业业务系统数量、复杂度和数据量都在呈几何级数的上涨，这就对于企业IT能力和IT架构模式的要求越来越高。加之企业大力发展[数字化营销](https://www.dtstack.com/?src=szsm)、新能源车等业务，希望通过持续优化客户体验，创造可持续发展的数字化转型之路。 为更好应对数字化变革所带来的挑战，现有的竖井架构的数据体系难以满足越来越多、越来越快的系统和数据交互、敏捷创新应用、数据共享、新业...

随着 AI 技术的飞速发展，特别是大模型的出现，传统的程序员角色正在经历深刻的变革，我们不得不重新对自己进行审视和思考。 通用领域大模型的“泛化能力” 在过去的二十年内，AI 领域的大部分研究和应用都集中在完成一项特定的任务中，例如：分类图片、总结文章、多语言翻译等，然而随着模型参数的增加， ChatGPT 的出现体现了“大模型”在通用领域内令人惊叹的能力，一些不存在于模型内的泛化能力突然出现了，AI 突然从大型的...

本文分享自华为云社区《从HumanEval到CoderEval: 你的代码生成模型真的work吗？》，作者：华为云PaaS服务小智 。 本文主要介绍了一个名为CoderEval的代码生成大模型评估基准，并对三个代码生成模型（CodeGen、PanGu-Coder和ChatGPT）在该基准上的表现进行了评估和比较。研究人员从真实的开源项目中的选取了代码生成任务来构建CoderEval，并根据对外部依赖的程度为标准将这些任务分为6个等级、根据生成的目标分为3类生成任务，以...

> 编者按：近年来，深度学习应用日益广泛，其需求也在快速增长。那么，我们该如何选择合适的 GPU 来获得最优的训练和推理性能呢？ > > 今天，我们为大家带来的这篇文章，作者的核心观点是：Tensor Core、内存带宽和内存层次结构是影响 GPU 深度学习性能的几个最关键因素。 > > 作者详细解析了矩阵乘法运算在深度学习中的重要性，以及 Tensor Core 如何通过特有的矩阵乘法计算单元极大地提升计算性能。同时，作者还分析了内存带宽...