ES-Fastloader 离线数据索引生成方案

收藏2

ES-Fastloader 正在参加 2021 年度 OSC 中国开源项目评选，请投票支持！

ES-Fastloader 在 2021 年度 OSC 中国开源项目评选中已获得 {{ projectVoteCount }} 票，请投票支持！

2021 年度 OSC 中国开源项目评选正在火热进行中，快来投票支持你喜欢的开源项目！

2021 年度 OSC 中国开源项目评选 >>> 中场回顾

ES-Fastloader 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !

授权协议 Apache 2.0

开发语言 Java

操作系统跨平台

软件类型开源软件

所属分类大数据、数据查询

开源组织无

地区国产

投递者罗奇奇

适用人群未知

收录时间 2023-06-30

概览
资讯
博客
问答
安全信息

软件简介

ES-Fastloader 是一种能够快速地为海量离线数据生成索引的方案，采用了一种 Build & Push 的机制，利用 Hadoop 强大的并行计算能力，可在 1-2 小时内极快速构建几十 TB 级的数据。解决了海量数据构建 ES 时，索引文件构建时效低的问题。

特征

支持批量构建ES索引，可在1-2小时内快速处理数十TB数据，解决构建海量ES索引文件时效率低下的问题。
支持算力横向扩展，扩展方便。通过增加机器资源，可以进一步提高索引构建速度和处理数据量。

要求

JDK：8或更高
ElasticSearch：6.6.X 或更高版本

开发者指南

API 文档维基
开发文档wiki
阅读核心库源码
阅读主类
阅读发行说明

展开阅读全文

代码

的 Gitee 指数为

超过的项目

评论

点击引领话题📣 发布并加入讨论🔥

暂无内容

{{o.author.name}}

发表了博客

{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}

{{parseInt(o.viewCount) | bigNumberTransform}}

没有更多内容

暂无内容

{{o.author.name}}

发表了问答

{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}

{{parseInt(o.viewCount) | bigNumberTransform}}

没有更多内容

暂无内容

暂无内容

Awesome 软件

换一换

Axmol - 跨平台游戏引擎

Fooltrader - 量化分析交易系统

jsqrgen - 酷炫二维码生成工具

Focalboard - 项目管理工具

datart - 数据可视化开放平台

NewsBlur - 新闻阅读器

Apktool

QLExpress - java表达式计算

AcademiX - 基于 Debian 的 Linux 发行版

Waydroid - 在 Linux 上运行 Android 应用

Bitwarden - 支持全平台的开源密码管理器

FileCodeBox - 文件快递柜

TinyOS - 无线传感器网络操作系统

CodeFuse-13B - 代码大语言模型

Neutralinojs - 轻量级桌面应用开发框架

aria2 - 下载工具

Texmaker - 跨平台的 LaTeX 编辑器

wachy - 用于 Linux 的动态跟踪分析器

SysmonForLinux - 监视和记录系统活动

CovScript - 跨平台脚本编程语言

Chinese-BERT-wwm - 中文 BERT-wwm 系列模型

ubermix - 基于 Ubuntu 的 Linux 发行版

GhostText - 即时显示文本编辑器的输入内容到浏览器

Tesseract.js - 识别图片语言的 JS 库

ImplicitCAD - 可编程的 CAD 软件

Chinese BERT - 中文预训练语言模型

iced - 跨平台的 Rust GUI 库

git-bug - 内嵌于 Git 的分布式 bug 跟踪器

RQAlphaPlus - 股票和期货回测引擎

ModMail - 功能丰富的 Discord 机器人

热门评论

魔力猫 2023-12-04 09:28

按274条，数额特别巨大或者有其他特别严重情节的，处10年以上有期徒刑，并处罚金。这个数够了，就是认定麻烦。

麦格 2023-12-08 18:07

应用数学其实是数学的应用，Math Application, NOT Math Self

Ai东 2023-12-08 16:53

为了微，为了高大上而微，我觉得大部分都不需要微服务

zhuzhua 2023-12-04 14:57

对的，坐船到河中间，开始收费了，和TM劫道的有啥区别？学水浒传呢？

qianmoQ 2023-12-07 16:52

你可别扯什么值得其他开源项目团队 “择其善者而从之、其不善者而改之” 其他开源团队没有这么无底线，不尊重协议的，自己丢人就行了，别拉上别的团队

Rwing 2023-12-08 18:39

哈哈，你是不是高级黑啊？作者的MVP自己编造的，冒充微软MVP都被石锤了

lanceadd 2023-12-08 16:29

直接创造了新项目增加了就业

枯藤KT 2023-12-07 16:17

忠实火狐用户，relay插件、multi-container插件很棒。自建同步服务，数据保存到自己的服务器上，帐号服务使用国际火狐帐号，几个电脑的历史记录互相同步，太爽了

呼呼南风 2023-12-08 19:35

还好吧，虽然你们这般说这个不好，其实你们没有发现他的美而已。工具优化好了，比其他工具都好，一句话就是熟而已。之前用过vscode，这个定位对我来说不上不下，当做IDE吧，太弱，当做文本软件吧，太重。jetbrains全家桶没用过，但是用过每一款也没有你们说的差，为啥这么说，用idea就是项目代码重构或者快速链式查找。如果你只是写个单词或者词语，用什么都显的。

cczywyc 2023-12-04 11:12

不要混淆概念，大家从来都不是反对收费，所以别在这扯什么人生价值、情商智商乱七八糟的。本质上这是违反 MIT 协议的问题，别在这又当又立的。

monkey_cici 2023-12-05 08:54

老板: 快速弄出一个可用版本来，后面再优化迭代....市场不等人....

sevk 2023-12-08 19:36

给AI一个目标：完善和维护linux内核，应该可以实现。

UOSCN 2023-12-03 20:34

对话百小僧，首先你这肯定是不犯法，但是违背行业规则，破坏行业规则；破坏的是技术圈开源精神，违背行业规则。如果行业人员多数认为不合理。那就用脚投票，过度完这波就换架构吧。毕竟一个人的诚信还是很重要的。本来互联网技术圈基于信任使用了你的框架，但是现在中途收费，这算什么，在绝大多数人认知里都认为是割韭菜吧；记得作者号称千万star吗？看看最近购买文档、VIP数量，实际转化率不足1%，这些转化率是否包含了采用框架去开发后不得不购买的原因，所以大家都是用脚投票，但是有些人不得不屈服；

yh2216 2023-12-05 10:07

许久未见如此厚颜无耻的文章了

Francesca 2023-12-07 19:12

web3就是个炒作啊，谁能说明白web3是什么东西？你如果不懂web3说明你懂web3，如果你懂web3说明你不懂web3

木有龙井茶 2023-12-08 17:16

哈哈哈哈～

zb98793141 2023-12-08 15:59

要求：建议罢免百小僧dotnetchina管理员理由： 1 dotnetchina不是一个公司性质的组织，也不是私人性质的。 2 百小僧德不配位。 2.1 mit在一定程度上，是微软发明并维护的。百小僧的Furion项目在一定程度上违反了这个协议。 2.2 百小僧处理【我的kasini3000项目加入dotnetchina】,【没有采用标准流程，而是根据他自己喜好，像粗暴的暴君】因为【他自己不喜欢“kasini3000”这名字，阻止我项目加入dotnetchina】。标准流程应该是：遇事公正，公开处理争议，写一个帖子，倾听大家意见。结论：百小僧人品不行，德行缺失。 dotnetchina让他管理，必然被他绑架，为其私利，损害.net组织的利益。一定程度上损害了所有国产开源软件的信誉度。非.net社区之福。 dotnet china 组织管理员，公然违反mit协议。为了利益，他名声已经臭了，他绝对不是.net社区好的带头大哥。

我是MN 2023-12-08 19:38

等win12出来跳过11

liming0101 2023-12-08 18:25

py还有兼容性，真搞笑

phper08 2023-12-04 13:14

https://www.oschina.net/comment/news/202968#rpl_296263844 这是他一年前说的“补充说明：没有任何商业行为，无需任何形式授权，完全开源免费。 ”

phper08 2023-12-04 13:15

https://gitee.com/dotnetchina/Furion/commit/66eec96da18c7f69ae30c608ec4e8f14e21f9718 把版权所有者从“百小僧, 百签科技（广东）有限公司和所有贡献者”改成了“百小僧, 百签科技（广东）有限公司”

Marshmallow 2023-12-08 16:39

现在是为了微而去微

monkey_cici 2023-12-04 10:01

各大厂，干活的老程序员都被炒鱿鱼了，新人便宜又勤奋，但是上来接手就懵逼，到处都是坑，维护起来处处是坑.....这些就是开猿节流,降本增笑的影响了....

easymbol 2023-12-05 09:06

当下这个环境还考虑个锤子的可读性，又不是自己的私有项目，你得要有不可替代性的写法，最好是核心仅仅只能自己看得懂改的动

奋斗到天明 2023-12-08 18:09

问题是，拼多多也是 java，中台，微服务。怎么 java 打败 java，中台干翻中台，微服务否定微服务？为喷而喷，用商业模式的失败否定技术架构，也够虾扯的。

Elric黄 2023-12-06 10:22

华为这请要求就是想请数学好一点的码农而不是请真正的数学家

顾真牛 2023-12-03 14:00

之前在知乎，因为有个人发表了一点自己对框架的看法，就跑去人家github下面威胁人家的好像就是这位吧？所以，这有啥好奇怪的？？

iman123 2023-12-08 16:30

哈哈，什么时候给我的线缆OTA升级一下，从青铜变成白银，再升级为黄金、铂金、钻石、至尊星耀和王者

chancejiang 2023-12-08 19:22

Firefox 的价值主张其实在 LLM 时代是有机会重塑的：1. 结合本地部署、默认下云的 LLM 引擎提供前端平台；2. 结合之前的隐私保护能力升级账号体系为 Web3 方式，类似 Brave 的玩法。

winnyrain 2023-12-05 10:12

这不是商业化，这是赤裸裸的割韭菜，违反MIT协议，毫无信用，人品崩塌，看到大家都在骂，我就放心了

冰霜之卅ya 2023-12-08 16:57

没有微服务，多少程序员都没工作了、

桐乡张学友 2023-12-05 10:46

根本就不是钱的事，是他自己说永久免费，无商业行为，然后自己说话不算数，男人都不是，谁还敢相信他！谁还敢相信zg开源

浪尖的旋律 2023-12-07 08:05

营销水平比华为低了一大截，华为的营销能针对有钱有势对电子产品不太懂的人，很多中老年人对华为极高评价，他们对价格不敏感、不缺钱。

hythzx 2023-12-08 16:20

名字可否正经点。。。

小侠猫猫球 2023-12-08 17:27

为了赶新朝，造概念，刷kpi，更加迎合了资本的口味，挖屎山的同时堆出新的屎山。而中国的资本在凶残无耻方面比老外更甚，要开猿节流，猿们为求自保只好搞出防御性编程，一声叹息

当幸福来敲门ol 2023-12-08 17:35

表态以及宣传意义大于app 的实际意义吧,但是能开支散叶也是好事了,比腾讯强

是不是玩不起啊 2023-12-07 14:21

商业化很好，但是，第一： 4917之前的版本，文档在MIT协议仓库内，禁止他人私有化部署是没有法【补丁】律依据的，为了收费撕毁既定合约，言而无信。第二：版权声明删除 “全体贡献者” ，但并未移除全体贡献者的内容，这很不道德切侵犯了贡献者的知识产权。与这样的企业合作需要三思。

nian8 2023-12-08 16:01

好像回到 eclipse 的时代。

cxc236 2023-12-08 00:24

还以为是道歉的帖子，却还是在文过饰非。

jason-he 2023-12-06 23:38

尊重规则

高排量低炭烧 2023-12-08 17:58

做技术的不露面，露面的不搞技术，生态能搞起来需要大家，而不是几个打领带的握握手就出东西，搞好了我就支持，搞不好我就继续用其它的，谁好用我就谁的，无论你遥遥领先还是领先世界你得做出东西来，

从今以后 2023-12-05 09:24

这根本不是钱不钱的问题，就这就是赤裸裸的诈骗！现骗你过来说没有套路。等你用上了，再改协议。他今日可以文档收费，他日也可以其他地方再套路收费。

mvpint 2023-12-05 09:38

最后写出优雅代码，让后人看懂，然后35岁后滚蛋，这就是现实，这就是资本主义😹

卡林血蹄 2023-12-08 16:56

小米无人机，坑了我一次钱了，卖一批直接停产，连禁飞区都不更新了

ZCShou 2023-12-04 09:28

人家@AdminBj也没抨击你，只是客观评论，你这个就给人扣了个社交平台宣泄引众议的帽子！无论买不买 VIP，人家都有权在任何平台发表自己的言论，你的 VIP 还包括限制用户发言的条款么？以后会不会加任何时候必须对你唯命是从的条款啊

光明丶 2023-12-04 14:26

收费嘛没毛病，毕竟也要活下去，但是先拉人下水，再套，你让别人怎么办？进退不得，伤筋动骨剥皮。

Ai东 2023-12-08 17:54

这就是理论和实际的区别！

无尽的拉格朗日 2023-12-08 19:36

防御的业务方向不一样，🤣，都懂的

空格Space 2023-12-08 16:32

米6救一下

疯狂的狮子Li 2023-12-03 23:58

挨个大厂走一圈呗这节奏

陈钇蒙 2023-12-04 10:51

都看到马斯克裁了70%的推特员工, 推特也就宕机几次罢了, 大厂们觉得这样做划算, 所以纷纷效仿, 没准他们觉得用几次宕机换一大堆裁员划得来

问蒙服务框架 2023-12-08 19:26

https://github.com/tickbh/wmproxy

cczywyc 2023-12-04 11:14

不要混淆概念，大家从来都不是反对收费，它是违反了 MIT 开源协议，明白吗？

一码Yma 2023-12-08 16:09

Android什么时候吧服务器领域的市场也吃了,到时候Android就成了linux

魔力猫 2023-12-03 23:49

你说的，不犯法，错误。只是证据困难，前期调查成本大收益小，不然真下力气，按XF第二百七十四条立案是有可能的。

Ai东 2023-12-08 17:53

求大家给我的mybatis orm 框架，点个star，开源不容易啊，可以免费帮助解决一个java后端问题！

临风笑笑 2023-12-04 15:39

- // 版权 © 2020-present 百小僧, 百签科技（广东）有限公司和所有贡献者 + // 版权 © 2020-present 百小僧, 百签科技（广东）有限公司

AsukaQua 2023-12-08 16:49

为什么要一股绳小米是比不上华为哪里了，甘愿在人手底下

iman123 2023-12-08 16:36

之前学习 dotnet 反汇编的时候用过 dotPeek 什么都不能反编译出来，相比 ILSpy dnSpy 来说完全算是婴儿阶段，这个工具还有待提高

hudsonzuo 2023-12-08 18:11

致敬我们的大神

软件作者

本软件还没有认证的作者

同类软件推荐

更多

Quickwit 是一个用于日志管理和分析的开源、云原生、分布式搜索引擎。Quickwit 用 Rust 编写，从头开始设计，可在大型数据集上提供成本效益和高可扩展性，是 Elasticsear...

Zinc 是一个使用 Golang 编写的全文索引搜索引擎，可作为 Elasticsearch 的轻量级替代品，Zinc 可运行在不到 100MB 的 RAM 中。它使用 bluge 作为底层索...

DataHub 是用于处理元数据的管理平台，它可充当数据发现工具（即数据目录），来找出公司中存在哪些数据集，以及如何使用这些数据集进行测试。特性支持在数据库、数据湖、BI 平台、ML特征存储...

A TypeScript GraphQL Server for Express, Koa, Hapi, Lambda, and more. Apollo Server is a communit...

graphql-upload Middleware and an Upload scalar to add support for GraphQL multipart requests (fil...

OSCHINA

登录后可查看更多优质内容

使用微信快捷登录

©OSCHINA(OSChina.NET)

工信部

开源软件推进联盟

指定官方社区

社区规范

深圳市奥思网络科技有限公司版权所有

粤ICP备12009483号

顶部