非结构化数据 - 开源博客 - OSCHINA - 中文开源技术交流社区

大淘宝技术

vivo互联网技术

大淘宝技术

✏️ 作者介绍：Mia Li，Zilliz 数据工程师本文将介绍如何使用 KubeSphere 容器平台可视化部署 Milvus 向量数据库以及 Milvus 在云原生场景下的基本使用。下面，让我们先来简单了解一下 Milvus 和 KubeSphere 吧！ Milvus 是什么？ Milvus 是一款开源的向量数据库，支持针对 TB 级向量的增删改操作和近实时查询，具有高度灵活、稳定可靠以及高速查询等特点。Milvus 集成 FAISS、NMSLIB、Annoy 等常见的向量索引库，提供一整套简...

LFAPAC

2021/06/18 10:36

654

✏️ 作者：栾小凡， Zilliz 研发总监 2018 年 10 月，我们写下了向量数据库 Milvus 的第一行代码；在历经了 29 个月、19 个版本的迭代与全球 1000 家用户的实践验证后，终于在 2021 年 3月迎来了 Milvus 1.0 版本。Milvus 解决了对向量数据进行增删改查（CRUD）操作和数据持久化的问题，但随着新需求的出现，更多问题也逐渐浮现出来。本文旨在总结过去三年的经验，聊聊 Milvus 2.0 期待解决的问题，以及为什么 Milvus 2.0 是解...

LFAPAC

2021/06/29 11:00

381

AI 正在引领人类的下一次工业革命，成为支撑数字经济的基本工具组件。 7月9-10日，由开放原子开源基金会与 Linux 基金会联合开源中国社区共同发起的首届“GOTC 全球开源技术峰会”在上海世博中心举行，Zilliz 合伙人、系统架构师郭人通受邀出席“AI、大数据与数字经济专题论坛”，与 LF AI & Data 基金会执行董事 Ibrahim Haddad、中兴通讯 AI 研发总工韩炳涛、英特尔 OpenVINO 边缘人工智能软件首席布道师 Raymond Lo 等同场共...

LFAPAC

2021/07/16 11:00

694

中国 KubeCon + CloudNativeCon + Open Source Summit 虚拟大会 12 月 9 日至 10 日 https://www.lfasiallc.com/kubecon-cloudnativecon-open-source-summit-china/ 诚意邀您成为赞助商新数据库时代，数据库领域有哪些新技术、新应用？谁将改变数据库的游戏规则？酷爱阅读科技杂志的 Z 宝，刚刚收到了刊登了 Zilliz 长篇署名文章的《新程序员》！顺手一翻，Z 宝不禁感叹 CSDN 策划出品的这期杂志简直是众星云集：2020 年图灵...

LFAPAC

2021/09/15 12:30

302

首先PCL定义了搜索的基类pcl::search::Search<PointInT> template<typename PointT> class Search 其子类包括：KD树，八叉树，FLANN快速搜索，暴力搜索（brute force），有序点云搜索。 The pcl_search library provides methods for searching for nearest neighbors using different data structures, including: kd-trees (via libpcl_kdtree); octrees (via libpcl_octree); brute force; specialized search for org...

osc_yyhakgol

2018/11/20 16:57

1. kdtree概念 kd树（k-dimensional树的简称），是一种分割k维数据空间的数据结构，主要应用于多维空间关键数据的搜索，如范围搜索和最近邻搜索。如下图所示，在既定的分割维度上，每一个根节点的值均大于其左子树，并小于其右子树。这样的二叉树，对于搜索某个点的最临近点或k近邻点，是十分高效快速的。 2. 建立kdtree 建立kdtree，主要有两步操作：选择合适的分割维度，选择中值节点作为分割节点。分割维度的选择遵循的原则...

osc_ns98eqmw

2018/09/23 18:33

结构化数据:具有既定格式的实体化数据，如常用的XML文档半结构化数据:格式松散，即使有格式也常被忽略，结构只能作为数据结构的一般性指导,如电子表格非结构化数据:没结构数据,如图像、纯文本.

勤奋的蚂蚁

2017/10/30 09:57

509

一：简单了解SparkSQL。 Spark SQL 是结构化的数据处理一个Spark模块。与基本的Spark RDD API不同，Spark SQL 所提供的接口为Spark 提供有关数据和正在执行的计算的结构的详细信息。Spark SQL内部使用这些额外的信息来执行额外的优化。有几种方法与Spark SQL 包括 SQL、 DataFrames API 和数据集 API 进行交互。计算结果相同的执行引擎在使用时，独立的 API/语言使用的表达计算。这种统一意味着开发人员很容易可以提供最自然的方...

berg-dm

2016/06/05 14:11

3.1K

SequoiaDB 巨杉数据库，是一款面向企业级的分布式 NewSQL 数据库，自主研发并拥有完全自主知识产权，没有基于任何其他外部的开源数据库源代码。上周，在开源中国源创会厦门站活动中，巨杉数据库技术总监郝大为和大家分享分布式数据库对非结构化数据管理和应用。OSC【开源访谈】则在活动后邀请嘉宾分享更多有关于技术和行业的见解。巨杉数据库对于非结构化数据存储管理有什么独到之处？作为国内第一款完全自主研发，后又选择开...

巨杉数据库

2017/05/15 10:30

139

摘要： MaxCompute作为阿里巴巴集团内部绝大多数大数据处理需求的核心计算组件，拥有强大的计算能力，随着集团内外大数据业务的不断扩展，新的数据使用场景也在不断产生。在这样的背景下，MaxCompute（ODPS）计算框架持续演化，而原来主要面对内部特殊格式数据的强大计算能力，也正在一步步的通过新增的非结构化数据处理框架，开放给不同的外部数据。前言 MaxCompute作为阿里巴巴集团内部绝大多数大数据处理需求的核心计算组件...

阿里云云栖号

2018/03/30 11:42

574

摘要：随着MaxCompute（ODPS）2.0的上线，新增的非结构化数据处理框架也推出一系列的介绍文章，包括 MaxCompute上如何访问OSS数据, 基本功能用法和整体介绍，侧重介绍读取OSS数据进行计算处理；本文：MaxCompute(ODPS)上处理非结构化数据的Best Practice。随着MaxCompute（ODPS）2.0的上线，新增的非结构化数据处理框架也推出一系列的介绍文章，包括 1、MaxCompute上如何访问OSS数据, 基本功能用法和整体介绍，侧重介绍读取O...

阿里云云栖号

2018/05/14 19:51

633

摘要：本文背景很多行业的信息系统中，例如金融行业的信息系统，相当多的数据交互工作是通过传统的文本文件进行交互的。此外，很多系统的业务日志和系统日志由于各种原因并没有进入ELK之类的日志分析系统，也是以文本文件的形式存在的。 1. 本文背景很多行业的信息系统中，例如金融行业的信息系统，相当多的数据交互工作是通过传统的文本文件进行交互的。此外，很多系统的业务日志和系统日志由于各种原因并没有进入ELK之类的...

阿里云云栖号

2018/06/20 15:12

606

阿里妹导读：非结构化数据的内容占据了当前数据海洋的80%。换句话来说，就是我们都被“非结构化数据”包围了。由于非结构化数据的信息量和信息的重要程度很难被界定，因此对非结构化数据的使用成为了难点。如果说结构化数据用详实的方式记录了企业的生产交易活动，那么非结构化数据则是掌握企业命脉的关键内容，所反映的信息蕴含着诸多企业效益提高的机会。而对大部分组织而言，掌握先进的非结构化数据分析能力仍是从“大数据”...

阿里云技术博客

2019/09/09 10:44

461

版权声明：本文为博主原创文章。未经博主同意不得转载。 https://blog.csdn.net/cqboy1991/article/details/25888741 当今信息化时代充斥着大量的数据。海量数据存储是一个必定的趋势。然而数据怎样的存储和查询，尤其是当今非结构化数据的高速增长。对其数据的存储。处理，查询。使得现在的关系数据库存储带来了巨大的挑战。分布存储技术是云计算的基础,主要研究怎样存储、组织和管理数据中心上的大规模海量数据.由于面临的数...

osc_9u2q2glu

2018/11/13 19:00

712

1、官网下载安装包　　1) 首先在Redis官网下载安装包：　　　　http://redis.io/download(redis-4.0.9.tar.gz) 2、在/usr/local/创建一个redis文件夹，redis下分别创建bin和conf,logs 3、解压redis安装包至指定目录下 tar zxvf redis- 4.0.9.tar.gz /usr/local/ 4、在/usr/local/redis-4.0.9下执行编译命令:make 出现以上信息说明成功 5、在/usr/local/redis-4.0.9/src下执行安装命令：make install 6、文件拷贝将redis-4...

osc_zw45xe2r

2018/10/26 11:07

456

<div class="markdown_views"> <p>结构化数据、半结构化数据和非结构化数据</p> <h1 id="结构化数据"><a name="t0"></a>结构化数据</h1> <p>结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。举一个例子：</p> <pre class="prettyprint" name="code"><code class="hljs applescript has-numbering"><span class="h...

osc_i0u8a4l0

2018/07/20 10:09

258

没有更多内容

加载失败，请刷新页面

没有更多内容

编者按：当你面对需要高质量逆向推理能力的应用场景时，传统大语言模型是否让你感到力不从心？在诗歌逆向补全、逻辑逆向推导等任务中，为什么即使是 GPT-4o 这样的强大模型也会表现失常？ ...

Baihai_IDP

04/17 11:15

作者：vivo 互联网大数据团队- Qin Yehai 在离线混部可以提高整体的资源利用率，不过离线Spark任务部署到混部容器集群需要做一定的改造，本文将从在离线混部中的离线任务的角度，讲述离线任务...

vivo互联网技术

04/17 11:10

3.8K

一、前言 DGraph是得物自主研发的新一代推荐系统核心引擎，基于C++语言构建，自2021年启动以来，经过持续迭代已全面支撑得物社区内容分发、电商交易等核心业务的推荐场景。DGraph在推荐链路中...

得物技术

04/17 09:38

4.4K

一、DPP整体架构 DPP依赖于算法平台的引擎服务（FeatureServer，召回引擎, 精排打分），提供“开箱即用”的召回，粗排，精排服务。采用“热加载技术”解决算法平台的工程和算法同学策略迭代效...

得物技术

04/10 09:56

5.9K

本文围绕淘宝特价版的主动预警建设展开，详细阐述了在业务质量保障中主动预警的重要性及其具体实施策略。文章首先分析了预警范围，包括活动/资源位配置过期、权益类问题、开发常用配置平台、...

大淘宝技术

04/09 16:27

5.1K

作者：京东零售徐开廷本文大约1.7万字，阅读需要13分钟。导读：近几年，除AIGC外，软件领域相关比较大的变化，就是各相关业务领域开始如火如荼地建设中台和去中台化了。本文不探讨中台对公...

京东云开发者

04/08 11:36

7.4K

一、引言继《万字长文，带你读懂Anthropic MCP》和《MCP框架解读之mark3labs/mcp-go》之后，我们继续来解读golang的另一个MCP框架metoro-io/mcp-golang。老规矩，继续通过实践和源码的方式先...

梦朝思夕

04/08 08:44

7.1K

作为一种新的商品表现形态，内容几乎存在于手淘用户动线全流程，例如信息流种草内容、搜索消费决策内容、详情页种草内容等。过去一年，我们通过在视频生成、图文联合生成等核心技术上的持续攻...

大淘宝技术

04/07 16:20

2.7K

作者：vivo 互联网服务器团队- Zhang Mengtao 活动中台系统作为中台项目非常注重系统性能和用户体验，数据库系统性能问题会对应用程序的性能和用户体验产生负面影响。慢查询可能导致应用程序...

vivo互联网技术

04/03 10:24

8.4K

本文探讨了虚拟线程（有栈协程）对Java的重要意义，从传统同步线程模型到异步响应式编程模型，再到用户线程模式和协程的实现原理，全面分析了Java在高并发场景下的演进历程。文章首先介绍了传...

大淘宝技术

04/02 16:44

1.2W

作者：京东零售王光前情提要：最近新接了一个需求，需要去创建两张表，其中有一张表需要根据业务id和业务类型建立唯一索引，对数据唯一性进行约束。因为涉及到业务嘛，表结构就进行缩略了...

京东云开发者

03/31 15:07

作者：京东物流尹昊喆一、复杂度综述 1、什么是复杂度软件设计的核心在于降低复杂性。 --《软件设计的哲学》业界对于复杂度并没有统一的定义，斯坦福教授John Ousterhout从认知负担和工作...

京东云开发者

03/31 15:07

4.3K

一、引言从2022年12月份OpenAI发布ChatGPT产品至今已有2年多的时间，当大家已经习惯于在对话框中与AI交互，习惯于通过各种Prompt技巧让AI更好的理解并回答我们的问题，似乎默认这就是一种比...

得物技术

03/27 11:27

5.1K

作者：vivo 互联网大数据团队 - Zheng Xiaofeng 本文介绍了StarRocks数据库如何读取ORC加密文件，包括基础概念以及具体实现方案。深入探讨了利用ORC文件的四层结构和三层索引机制，实现高效查...

vivo互联网技术

03/27 10:56

3.4K

getIfPresent 现在我们对 put 方法有了基本了解，现在我们继续深入 getIfPresent 方法： public class TestReadSourceCode { @Test public void doRead() { // read constructor ......

京东云开发者

03/27 10:31

5.9K

随着人工智能技术的快速发展，检索增强生成（RAG）作为一种结合检索与生成的创新技术，正在重新定义信息检索的方式。本文深入探讨了RAG的核心原理及其在实际应用中的挑战与解决方案。文章首先...

大淘宝技术

03/26 15:30

8.8K

搜索 Python Web 框架时，Django、Flask 和 FastAPI 这三个名字总会出现。我们最新的Python 开发者调查结果证实，这三个框架仍然是开发者使用 Python 进行后端 Web 开发的首选。三个框架都是...

JetBrains中国

03/21 10:24

1.2W

编者按：为什么说 DeepSeekMoE 的“共享专家隔离”设计，既能保留通用知识又能减少冗余？传统 MoE 的专家真的“专精”吗？传统 MoE 专家易“崩溃”，DeepSeekMoE 如何通过“更细粒度的专家分...

Baihai_IDP

03/21 10:04

6.5K

一、引言在得物技术生态的核心地带，算法作为核心技术力量的中流砥柱，承担着推荐系统、搜索算法、AI 查验鉴别和图像识别等多个前沿且关键领域的研发重任。随着业务的快速扩展和技术的不断...

得物技术

03/20 09:56

3.2K

大淘宝技术

03/19 15:58

4.9K

没有更多内容

加载失败，请刷新页面

LFAPAC

2021/09/15 12:30

302

LFAPAC

2021/07/16 11:00

694

LFAPAC

2021/06/29 11:00

381

LFAPAC

2021/06/18 10:36

654

5 月 22 日至 5 月 23 日，为期两天的第 20 届中国计算机系统研讨会（ ChinaSys 研讨会）在杭州举办。在 23 日上午的报告分享环节，Zilliz 合伙人及系统架构师郭人通在现场从数据系统、工业界的进展以及关键挑战三个方向，做了面向人工智能的数据框架在基础软件层面发展的精彩分享。据了解，ChinaSys 组织由清华大学、复旦大学、北京大学、华中科技大学、中国科学技术大学五所高校的老师以及来自微软亚洲研究院、中科院计算所的...

LFAPAC

2021/05/28 12:40

335

作者：Daniel Kang, Edward Gan, Peter Bailis, Tatsunori Hashimoto, and Matei Zaharia 翻译：殷之涵校对：方星轩本文约2800字，建议阅读8分钟本文以作者第一人称的方式向读者介绍了在2020年8月底对非结构化数据进行具有统计保证的近似选择查询方面所开展的工作，包含查询语义及查询背后的具体算法——如何在实现统计保证的同时提升查询结果的质量。这篇文章介绍了我们最近在对具有统计保证的近似选择查询方面所开展的工作...

osc_k4am9e6e

2020/12/17 13:39

142

osc_uxjivoss

2020/12/05 16:19

通过前面几个小节的学习，我们现在已经学会了如何获取文本预料，然后分词，在分词之后的结果上，我们可以提取文本的关键词查看文本核心思想，进而可以通过可视化技术把文档从视觉的角度表达出来。下面，我们来看看，文本数据如何转换成计算机能够计算的数据。这里介绍两种常用的模型：词袋和词向量模型。词袋模型（Bag of Words Model）词袋模型的概念先来看张图，从视觉上感受一下词袋模型的样子。词袋模型看起来好像一个...

osc_vpogdtu8

2020/09/23 10:18

231

随着大数据和AI业务的不断融合，大数据分析和处理过程中，通过深度学习技术对非结构化数据（如图片、音频、文本）进行大数据处理的业务场景越来越多。本文会介绍Spark如何与深度学习框架进行协同工作，在大数据的处理过程利用深度学习框架对非结构化数据进行处理。 Spark介绍 Spark是大规模数据处理的事实标准，包括机器学习的操作，希望把大数据处理和机器学习管道整合。 Spark使用函数式编程范式扩展了MapReduce模型以支持更多...

华为云开发者联盟

2020/06/18 12:00

7.6K

阿里云技术博客

2019/09/09 10:44

461

一、操作说明 1、JAVA版迁移工具说明 Java版S3Transfer工具目前为公测阶段，此迁移工具支持从AWS S3、阿里云、腾讯云、百度云等存储迁移文件到京东云对象存储；同时也支持本地文件列表迁移。大概逻辑为先获取文件的地址或外链，然后根据外链读取数据，然后进行迁移，这个工具是listObject，transfer，md5check 三个工具的集成： listObject工具的目的是列出用户配置bucket下的所有文件的列表。如配置prefix，则列出该prefix下的...

京东云开发者

2019/07/17 11:40

116