欢迎来到Llama中文社区!我们是一个专注于Llama模型在中文方面的优化和上层建设的高级技术社区。社区由中关村智用人工智能研究院指导,原子回声主办,合肥综合性国家科学中心数据空间研究院支持。基于大规模中文数据,从预训练开始对Llama模型进行中文能力的持续迭代升级。我们热忱欢迎对大模型充满热情的开发者和研究者加入我们的行列。社区官网:https://llama.family

加载中
置顶
发表了博客
昨天 14:16

【直播预告】程序员逆袭CEO分几步?

2024年,是充满未知和挑战的一年。AI 的发展日新月异,已经有人用它来写代码了,啥时候会替代程序员,可真不好说。另一方面,程序员扎堆的 IT 互联网行业却进入了平台期甚至下行期,降本增效成为行业主流,裁员缩招的声音不绝于耳。在这种前有狼后有虎的年头,作为程序员,又该何去何从? 程序员的职业生涯,真的只能走到35岁吗?我们该如何做,才能夯实自身,提高替代难度?又该如何学习,才能不断进步,勇立潮头?对于有创业梦... 展开更多

收藏 0
0
置顶
发表了博客
01/30 15:50

AI 版权第一案:我用 AI 做的图,版权归我吗?

最近,一个跟 AI 相关的案子引起了全国同行的围观,原因是一个百家号作者在网上写文章时,用了一张网上的 AI 图片当配图,结果被图片的生产者告侵权。这不禁让人紧张:以后 AI 产的图片,还能随便用吗?会不会侵权? 事情是这样的—— 2023年2月,李昀锴使用 Stable Diffusion 模型,通过在模型上输入数十个提示词,设置相关迭代步数、图片高度、提示词引导系数以及随机数种子等,生成了数张人像图片。随后,李昀锴以 “春风送来... 展开更多

收藏 4
2
置顶
发表了博客
01/10 15:25

Sealos:在公有云和私有云之间,我选择第三条路

【创造者说】 Created in the name of FOSS. 前段时间,上云和下云的争议如火如荼,公有云的价格、安全和透明度备受拷问,私有云的服务、维护成本又深受质疑。就在双方互掐不分上下的时候,一个新项目引起了我们的注意——Sealos,一个云操作系统,在公有云和私有云之间,他选择了第三条路——把公有云私有云抽象到一起。 Sealos 的作者方海涛,曾在讯飞担任容器平台负责人,后来在阿里云负责云原生集成平台,主导了 sealer 项目... 展开更多

收藏 11
1
置顶
发表了博客
02/05 19:45

LoRA:语言模型微调的计算资源优化策略

> **编者按**:随着数据量和计算能力的增加,大模型的参数量也在不断增加,同时进行大模型微调的成本也变得越来越高。全参数微调需要大量的计算资源和时间,且在进行切换下游任务时代价高昂。 > > 本文作者介绍了一种新方法 LoRA,可以在保持模型性能的同时大幅减少微调的参数量和所需资源。 > > LoRA通过引入两个低秩适配矩阵,用矩阵乘法的方法替换大部分参数。实验证明,LoRA 在多项 NLP 任务上的表现与许多微调方法(如Ada... 展开更多

收藏 0
0
置顶
发表了博客
01/31 14:33

LLM 推理优化探微 (1) :Transformer 解码器的推理过程详解

> **编者按**:随着 LLM 赋能越来越多需要实时决策和响应的应用场景,以及用户体验不佳、成本过高、资源受限等问题的出现,大模型高效推理已成为一个重要的研究课题。为此,Baihai IDP 推出 Pierre Lienhart 的系列文章,从多个维度全面剖析 Transformer 大语言模型的推理过程,以期帮助读者对这个技术难点建立系统的理解,并在实践中做出正确的模型服务部署决策。 > > **本文是该系列文章的第一篇,作者的核心观点是:透彻理解... 展开更多

收藏 0
0
置顶
发表了博客
01/22 11:45

如何写好大模型提示词?来自大赛冠军的经验分享(进阶篇)

> **编者按**:近期,如何通过 Prompt Engineering 最大程度发挥大模型的潜力已成为一个热点话题。人们越来越关注如何通过 Prompt Engineering 技术低成本地用好大模型。 > > 今天我们推荐的这篇文章,作者认为 Prompt Engineering 需要结合艺术与科学,需要在理解技术背景的同时,发挥创造力和战略思维。 > > 本系列文章详细介绍了作者在新加坡首届 GPT-4 Prompt Engineering 大赛中使用的策略技巧,包括:[使用 CO-STAR 框架构... 展开更多

收藏 14
0
置顶
发表了博客
01/10 16:30

MoE模型性能还能更上一层楼?一次QLoRA微调实践

# Fine-Tuning Mixtral 8x7B with QLoRA:Enhancing Model Performance 🚀 > 编者按:最近,混合专家(Mixture of Experts,MoE)这种模型设计策略展现出了卓越的语言理解能力,如何在此基础上进一步提升 MoE 模型的性能成为业界热点。 > > 本文作者使用一种名为 QLoRA 的方法,通过量化和 LoRA 技术对 MoE 模型 Mixtral-8x7B 进行微调,以期大幅提高其性能。 > > 作者详细阐明这种方法的诸多优势,包括显著增强 MoE 模型的理解生... 展开更多

收藏 0
0
置顶
发表了博客
01/08 09:44

大模型Chatbots评估新视角:结合定性与程序方法的实践经验

> **编者按:** 随着大语言模型(LLM)在 Chatbots 领域的广泛应用,如何有效评估这些基于 LLM 的 Chatbots 的质量变得日益重要,这也是一个极具挑战性的问题。 > > 本文作者认为可以从质性评估(qualitative)和通过程序评估(programmatic)这两个维度对基于 LLM 的 Chatbots 进行评估。 > > 作者详细探讨了以下几个方面的内容:(1) 质性评估可以通过主观判断和用户打分反馈两种方式进行;(2) 通过程序进行评估现市面上存在多种... 展开更多

收藏 0
0
置顶
发表了博客
01/03 11:22

不是 GPT4 用不起,而是本地运行 Mixtral-8x7B 更有性价比

当 GPT4 刚问世时,社区猜测它用了“多少亿个参数”才实现的如此惊人的性能。 但事实证明,GPT4 的创新不仅仅是“更多参数”。 它本质上是 8 个 GPT 3.5 模型一起工作。 这些模型中的每一个都针对不同的任务(即“专家”)进行了调整。 这称为“专家组合”(Mixture of Experts,缩写为 MoE)。 输入文本根据内容和所需任务会被分派给 8 个专家模型中的一个。 然后,小组中的其他专家模型会评估结果,从而改进未来的问题的分配。 ... 展开更多

收藏 1
0
置顶
发表了博客
2023/12/27 16:20

写给工程师的 MacBook 商用级大模型知识库部署方案

本文介绍了如何在自己的 MacBook 上部署一套知识库方案辅助自己的知识管理工作,希望能给每位计划自己搭建大模型知识库应用的工程师一点参考。 背景 历史的车轮滚滚向前,大模型技术发展日新月异,每天都有新鲜的技术出炉,让人目不暇接,同时具备可玩性和想象空间的各种应用和开源库,仿佛让自己回到了第一次设置 JAVA_HOME 的日子,作为一枚古典工程师,我专门挑了个可能对手上工作有帮助的方向小试一把,尝试在自己的 MacBoo... 展开更多

收藏 25
1
置顶
发表了博客
2023/12/25 16:53

run-llm.sh,一键在本地跨平台运行大语言模型

由 Second State 开发的 [`run-llm.sh`](https://github.com/second-state/llama-utils#quick-start) 脚本是一个命令行工具,用于让你快速在本地设备使用 CLI 和与 OpenAI 兼容的 API 服务器运行开源大型语言模型(LLMs)。这个命令行应用程序会自动下载并安装 WasmEdge runtime、模型文件以及用于推理的可移植 Wasm 应用程序。用户只需按照命令行提示选择所需的选项即可。 ## 运行 run-llm.sh ``` bash <(curl -sSfL 'https://... 展开更多

收藏 0
0
置顶
发表了博客
2023/12/25 10:41

生成式 AI 的下一阶段将走向何方?

> **编者按:** 最近,随着 ChatGPT 的出现,很多人认为人工智能领域进入了大探索时代。然而这仅仅只是生成式 AI 发展的第一幕。 > > 我们今天要给大家带来的这篇文章认为,生成式 AI 已经进入第二幕,即整合时代,不同系统和企业之间将出现广泛合作,以定制解决方案将 AI 能力深度嵌入各行各业。 > > 文章详细阐述了第二幕的几个特征:(1)科技巨头纷纷与 AI 初创公司建立合作伙伴关系;(2)将生成式 AI 无缝嵌入已有产品成为主流... 展开更多

收藏 2
0
置顶
发表了博客
2023/12/21 15:43

大模型微调方法总结:LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning

随着深度学习技术的不断发展,大型预训练模型已成为许多任务的重要工具。然而,微调(finetuning)这些大[模型](https://cloud.baidu.com/product/wenxinworkshop?track=zwdl "模型")以适应特定任务是一个复杂且计算密集型的过程。本文将重点介绍五种不同的微调方法:LoRA、Adapter、Prefix-tuning、P-tuning和Prompt-tuning,并对它们进行总结。 LoRA (Learned Representations for Finetuning) LoRA是一种新型的微调方法,旨在... 展开更多

收藏 9
0
置顶
发表了博客
今天 17:37

量化交易策略系统软件开发

  算法交易属于量化投资的一个分支,但是确十分重要。算法交易的本质在于用各种方法,减少自己的交易行为对自己的干扰以及合规合法的运用规则交易。量化交易机器人开发搭建   回归和分类是量化交易的全部吗?   我们从算法的角度来讲,比如机器学习,那么必然给定输入数据给出的无外乎是回归或者分类,在量化投资中,我们仍然看这些显然是有点苍白的,还需要涉及到行业背景,历史上,很多公司都对行业知识做了专家系统,或者对历史... 展开更多

收藏 0
0
置顶
发表了博客
今天 11:50

有道QAnything背后的故事---关于RAG的一点经验分享

近日,我们开源了有道自研的RAG(Retrieval Augmented Generation) 引擎QAnything。该引擎允许用户上传PDF、图片、Word、Excel、PowerPoint等多种格式的文档,并实现类似于ChatGPT的互动问答功能,其中每个答案都能精确追溯到相应的文档段落来源。QAnything 支持纯本地部署,上传文档数量无上限,问答准确率高。 QAnything自开源以来,迅速吸引了开发者社区的广泛关注,并很快登上了GitHub trending榜单。短短一个月内,下载次数... 展开更多

收藏 0
0
置顶
发表了博客
今天 11:10

entity、bo、vo、po、dto、pojo如何理解和区分?

1.entity entity是实体的意思,是领域对象,用于领域层,包含了 DO大部分属性。相同的属性,在entity中,与在 DO中不一定相同。例如DO的字段StringisSend(y/n),在entity中可以设计成 Boolean。entity是领域模型,它的的属性设计高度自由。可以脱离其他模型的形象,定义出自己独有的属性 2.BO(business object) BO在业务层 代表业务对象的意思,Bo就是把业务逻辑封装为一个对象(注意是逻辑,业务逻辑) 比如这个收藏业务,在点... 展开更多

收藏 0
0
置顶
发表了博客
前天 15:31

Maven

Maven是专门用于管理和构建Java项目的工具,它的主要功能有: 提供了一套标准化的项目结构 提供了一套标准化的构建流程(编译,测试,打包,发布……) 提供了一套依赖管理机制 Maven 使用标准的坐标配置来管理各种依赖 只需要简单的配置就可以完成依赖管理 1.Maven安装配置 1.解压 apache-maven-3.6.1.rar 既安装完成(官网中下载) 2.配置本地仓库:修改 conf/settings.xml 中的 <localRepository> 为一个指定目录 3.配置阿里... 展开更多

收藏 0
0
置顶
发表了博客
02/27 15:01

程序员感情生活大揭秘,想脱单的进......

2024程序员脱单直播来啦,如果你想要遇见心动的另一半,那就点击链接开启预约吧:预约通道 程序员在大家的印象里是什么样的?码农、格子衬衫还有单身?不知道从什么时候开始,单身成为了大多程序员的标签,程序员也被称为中国最“孤独”的职业。 其实,这并不是无稽之谈,珍爱网和智联招聘曾联合发布过一份报告《2017职场单身人群婚恋需求报告》,这份报告是针对职场单身人群进行的线上抽样调查,报告中提到了单身率最高的几大岗... 展开更多

收藏 0
0
置顶
发表了博客
02/26 16:56

面对ddos攻击有哪些措施

网络攻击随处可见,如果我们的服务器没有防御性能,就像是一只任人宰割的羔羊,很容易受到攻击者的恶意袭击,为了防止我们的网站遭受攻击,保证网站业务稳定运行,我们可以采取以下措施。 一、DDoS攻击概述 Dos拒绝服务攻击是通过各种手段消耗网络带宽和系统CPU、内存、连接数等资源,直接造成网络带宽耗尽或系统资源耗尽,使得该目标系统无法为正常用户提供业务服务,从而导致拒绝服务。 二、DDOS攻击手段 1、IP协议攻击 攻击者... 展开更多

收藏 0
0
置顶
发表了博客
02/21 11:38

过年期间好用的手机软件推荐,能提高生活质量的手机APP

随着智能手机的普及,我们几乎可以在手机上完成所有的日常任务,包括工作、学习、娱乐等。过年期间我们通常会有更多的时间玩手机,因此,选择几款好用的手机软件是非常重要的。下面分享几款过年期间可以玩的手机软件。 1、可立拍 这是苹果iOS自带的一个摄影APP,强烈推荐它的滤镜、即时字幕和海报模板功能。所有滤镜都可以免费使用,其中两个我特别喜欢,一个是漫画书,另外一个是水墨滤镜。漫画书滤镜,可以拍摄出高饱和度的漫... 展开更多

收藏 0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
返回顶部
顶部