本文将从两个常见的大模型翻车问题入手解析这些问题背后体现的大模型技术原理（Tokenization与预测下一个Token），并解释了为什么会导致这些问题，接着我们利用CoT（思维链）方法解决这些问题...

自营直播应用技术团队负责的业务中，淘宝买菜的直播业务起步较晚，业务发展压力较大，业务上也就有了期望能够对一些二方的标杆直播间进行学习，并将其优点应用到自己直播间的需求。 最初 - ...

本文根据字节跳动服务框架团队研发工程师高文举在 CloudWeGo 技术沙龙暨三周年庆典中演讲内容《ABCoder 在大模型编程领域的探索》整理。 前言 大语言模型（以下简称大模型或 LLM） 真正意义上...

Gall 定律 一个有效的复杂系统通常是从一个有效的简单系统演化而来的 —— John Gall 本文将带你一步步探究 Transformer 模型中先进的位置编码技术。我们将通过迭代改进编码位置的方法，最终...

一、背景 OLAP引擎在得物的客服、风控、供应链、投放、运营、ab实验等大量业务场景发挥重要作用，在报表、日志、实时数仓等应用场景都有广泛的应用。 得物引入和使用OLAP引擎的过程中，每个业...

背景 又到一年的11.11大促日，最近很多团队邮件上下游确认SLA，你是不是还没搞明白服务质量SLA、SLO等概念？本文通过理论知识以及基于SLO告警治理的实践经验分享。详细介绍如何设置SLO、有效...

这是一篇搭建业务优化的心路历程，也是写给搭建业务的性能优化指南。 前言 直到今天，淘内的页面大多都迁移到了 SSR，从我们终端平台 - 搭建研发团队的视角看，业务大致可以分为两类 —— 搭...

编者按： 如今，AI模型的上下文窗口正以惊人的速度扩大——从2018年的区区512个token到现在的200万token。这种跨越式发展不仅仅是数字的变化，更代表着全新的应用机会：律师可以让AI快速分析...

一、Redis热key介绍 Redis热key问题是指单位时间内，某个特定key的访问量特别高，占用大量的CPU资源，影响其他请求并导致整体性能降低。而且，如果访问热key的命令是时间复杂度较高的命令，会...

编者按： 面对 Llama 模型家族的持续更新，您是否想要了解它们之间的关键区别和实际性能表现？本文将探讨 Llama 系列模型的架构演变，梳理了 Llama 模型从 1.0 到 3.1 的完整演进历程，深入剖...

软件系统是通过软件开发来解决某一个业务领域或问题单元而产生的一个交付物。而通过软件设计可以帮助我们开发出更加健壮的软件系统。因此，软件设计是从业务领域到软件开发之间的桥梁。而DDD...

美团到店研发平台质量工程部与复旦大学计算机学院周扬帆教授团队展开了大前端智能化测试领域的科研合作，从UI界面内容一致性校验入手，并实现了一套自动化智能检测流程，相关论文被软件工程领...

导读 近似最近邻（ANN）向量检索的CPU方案已被广泛地应用于在线检索等多种场景中并取得了不错的效果。GPU相比CPU拥有更强大的并行计算能力，如何将GPU引入ANN检索获取更大收益，成为了业界重...

导读 本文介绍了优化大数据计算中多维度用户数统计的方法，通过数据打标的方式避免数据膨胀，提高性能并减少计算成本。首先分析了大数据计算中遇到的多维度数据统计问题，然后提出了利用数据...

文 / 得物技术-新一 一、前言 一年一更的彩虹桥系列又来了，在前面两期我们分享了在稳定性和性能2个层面的一些演进&优化思路。近期我们针对彩虹桥 Proxy 负载均衡层面的架构做了一次升级，目...

因为业务需要，笔者有幸参与设计和开发了涉及数十亿量级的图片素材调度、处理和索引使用的平台-产业AI素材库，在平台的建设落地过程中，踩了许多坑，也有了一些工程落地上的实践总结，希望分...

本文从原理、模型演进到代码工程实践，全面探讨了人工智能领域的核心内容。通过深入浅出的讲解，笔者不仅介绍了神经网络的基本原理，还详细阐述了Transformer模型的实现机制及其在自然语言处...

作者：耿蕾蕾（如葑） 唯一不变的是变化，在现代复杂的商业环境中，企业的业务形态与规模往往处于不断变化和扩大之中。这种动态发展对企业的信息系统提出了更高的要求，特别是在软件架构方面...

本文将分析大语言模型训练的GPU内存需求，主要包括三个方面：训练数十亿参数基于Transformer的LLM时，每个GPU设备需要多少GPU内存；估算内存需求的公式是什么；如果模型无法匹配内存，在实践...

一、前言 在Go语言中，切片是一个非常常用的数据结构，很多开发者在编写代码时都会频繁使用它。尽管切片很方便，但有一个问题常常让人感到困惑：当我们把切片作为参数传递给函数时，为什么有...