TIS 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
TIS 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
TIS 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
TIS 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
TIS 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

TIS功能介绍

TIS 平台是一套为企业级用户提供大数据多维、实时、查询的搜索中台产品。用户可以在TIS上自助快速构建搜索服务,它大大降低了搜索技术的门槛。

平台分为三个子模块,分别是:

  • 搜索引擎

    目前支持Solr

  • 离线数仓

    目前支持Hive或者Spark两种计算引擎

  • 流式实时同步组件

    目前使用了自研流式计算引擎实现高效数据近实时同步

TIS通过无缝整合以上三个组件为为上层系统提供稳定的数据搜索服务

功能特性

离线数仓负责索引实例全量数据构建,将关系数据库中的ER实体按照要求打平成为一张宽表导入搜索引擎(这部分底层可以TIS的插件机制方便地切换各种成熟的MR中间件,例如:Spark、Hive、阿里云MaxComputer)

增量流处理可以监听数据库(例如:MySql binLog)对增量小心进行处理,保证数据源中的数据与Solr集群中的搜索实例数据保持一致。TIS就像一个容器把离线数仓搜索引擎流式处理这三部分包裹在一起, 将他们之间复杂的流程调度和数据转封装在一起,用户只需要通过点击鼠标就能对索引实例进行生命周期管理。

具体来说有以下特性:

一站式开箱即用

一旦TIS安装完成之后,用户就可以轻松在TIS平台上对索引实例进行,创建、数据结构(Schema)更新,数据刷新操作、以及最终的删除等操作。

使用过程中,如果已有构建无法满足现有需求,可以通过插件,方便扩展新功能来满足需求。

批流统一

通过配置一个数据流规则,可以自动生成全量数据构建(批处理)和增量管道(流处理)脚本,且能自动部署,大幅提交工作效率。

灵活、好用扩展机制

基于UI的插件机制,方便扩展Solr、Lucene的底层功能扩展点。适应私有云,公有云、混合云环境。

一键安装

利用ansible实现分布式环境中一键安装、更新等操作

适用场景

  • 数据库加速

    几乎所有成熟的关系型数据库中都有’视图’,在单机版小数量规模的应用中’视图’的确是解决OlAP问题的利器,但是在大数据海量数据的场景下,‘视图’已经成为了看起来很美好,用起来很鸡肋的东西。所以,在生产环境中会用缓存技术(例如:Redis),来解决OlAP低延时请求响应的问题。但,缓存技术也有其限制,例如,只能支持Key-Value的查询等等。 现在,可以使用TIS来弥补’数据库视图’和’缓存技术’的短板,轻松利用搜索来实现大数据OLAP的低延时数据访问的痛点问题。

  • 优化分库分表

    数据库(例如:mysql)为了支持大数据量,会采用分库分表的部署方案。客户端查询,会以之前约定好的路由方式,将查询路由到某一特定分库分表上。但业务需求经常会需要查询进行跨库跨表进行查询,这对分库分表的架构提出了不小的挑战。

    可以将关系数据库中数据导入到TIS中,将原跨库跨表的数据库访问重路由到TIS,可以进行大并发低延时的查询。

  • 企业级应用搜索

    例如:O2O基于经纬度的地理查询、会员营销CRM,会员画像查询、供应链业务线OLAP低延时查询、后台订单业务线查询、商品中心sku-spu NEST嵌套结构查询、 店铺实体查询。

  • 企业级实时数仓

    企业为了实现OLAP实时报表需要构建实时数据仓库。

    以维表 Join 为例,数据在业务数据源中以范式表的形式存储,在分析时需要做大量的 Join 操作,降低性能。如果在数据清洗导入过程中就能流式的完成 Join,那么分析时就无需再次 Join,从而提升查询性能。

    TIS完美支持实时 OLAP 变体架构

支持各种平台

支持私有云,公有云,混合云部署。且能充分利用各种平台底层基础设施,可以最大限度地降低部署成本。

与ElasticSearcher的区别

这是一个经常被用户问起的问题,总体来说TIS和ElasticSearcher的区别主要在使用场景上。

  • ElasticSearcher

    ElasticSearcher借助使用ELK工具套件,可以轻松实现,针对业务系统服务器产生的大量时序指标数据进行处理,形成可视化实时报表。用户借助Kibana提供强大的可视化组件,可以轻松可视化观测到系统的安全状况。所以它擅长的是时序数据为主的日志分析,并且针对的用户是运维人员

  • TIS

    专注于企业级应用搜索,通过无缝整合数仓及流式计算模块,处理的数据是非时序数据,为企业级客户提供企业应用搜索服务。 LBS地理位置搜索,商品系统搜索都属于企业应用搜索的范畴。

    因为非时序数据的特点是,原始数据创建之后会更新,需要TIS在架构设计上有别与ELK工具套件的架构体系,需要增加一个离线数仓组件,为索引实例定期构建全量数据。

    另外,企业应用搜索中的数据字段类型会更加复杂,例如,经纬度类型,各种动态类型,保存JSON等都需要在平台中更加方便快捷地定义。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2013/01/31 00:03

Feature: Map/Reduce Feature in TIS

**This is for your reference only! Do not use this for commercial purpose!** Map/Reduce Feature in TIS There is a new feature Map/Reduce(M/R) in TIS. User can utilize the M/R feature to design a job that can run in Hadoop Map/Reduce framework. Keypoint(M1): 1. Create a M/R job in Repository View with the same level as Job Design. 2. Implement some actions like editing M/R job properties, export...

0
0
发表了博客
2018/01/26 17:35

TIS-100攻略 Segment 1~3 解法与DEBUG彩蛋

Segment 1: 简单的熟悉MOV语句和四个方向端口的语句使用。入门关卡。 仿照 IN.X->OUT.X 写出 IN.A->OUT.A 即可。 DEBUG彩蛋: Can't find a pen right now so i'm just going to take notes here.loos like short term storage. Got this one at the swap meet today,fella wanted $450 for it but i talked him down to $200.Good deal! No idea who makes this thing.Never heard of the tis series and the architecture do...

0
0
发表了博客
2018/01/25 13:11

TIS-100【汇编语言编程游戏】中文手册

0
0
发表于服务端专区
2016/05/19 18:33

Ubuntu16.04启动时显示:tpm_tis: A TPM error

"tpm_tis: A TPM error (6) occurred attempting to read a pcr value". Information about TPM https://wiki.archlinux.org/index.php/TPM If you not need TPM, just echo blacklist tpm_tis > /etc/modprobe.d/tpm_tis.conf (need root) It worked on my computer. The error gone. $sudo vim /etc/modprobe.d/tpm_tis.conf 输入如下内容: blacklist tpm_tis 另外的方案:just activate the security chip in the bios, th...

0
0
发表了博客
2019/02/26 15:44

一种与内质网相关的促进3‘UTR介导的蛋白互作的无膜细胞器_2018_cell_Weirui Ma, Christine Mayr

A Membraneless Organelle Associated with the Endoplasmic Reticulum Enables 3′UTR-Mediated Protein-Protein Interactions 一种与内质网相关的促进3‘UTR介导的蛋白互作的无膜细胞器 Cell Volume 175, Issue 6, 29 November 2018, Pages 1492-1506.e19 First author: Weirui Ma Corresponding: Christine Mayr Cancer Biology and Genetics Program, Memorial Sloan Kettering Cancer Center, New York, NY 10065, USA h...

0
0
发表了博客
2015/04/04 12:57

lucene各后缀文件含义

segment 每个segment代表lucene一个完整的索引段。通常一个索引中包含了多个segment。每个segment都有统一的前缀,前缀名由Document的数量转成36进制后,在前面加“_”而构成的。通常一个完整索引中,有且只有一个没有后缀名的segment文件,它记录了当前索引中所有的segment的信息。 .fnm 此文件包含了Document中的所有field名称 .fdx和.fdt 是综合使用的两类文件,其中.fdt存储了设置了Store.YES属性的field的数据。而.fdx是一...

0
0
发表于软件架构专区
2017/02/16 17:46

Search(Lucene)

//索引文件类型 //.cfs文件实际上是一个虚拟文件,它将.fdt,.fdx,.fnm,frq,.nrm,.prx,.tii,.tis等等文件打包成了一个单一文件。 ////域(Field)的元数据信息文件(.fnm) ////域(Field)的数据文件(.fdx和.fdt) ////词项向量索引文件(.tvx,.tvd,.tvf) Document Index File/Document File/Filed File ////词项词典索引文件(.tii,.tis) ////词频倒排索引文件(.frq) ////词位置倒排索引文件(.prx) //.segment_N文件保存段索引的元数据 ...

0
0
发表了博客
2018/03/24 21:18

How to use GM MDI interface for programming

GM has had its newest programming/J2534 Pass Thru device on the market for some years now. A lot has been said about it and I am here to tell you that I have finally taken the plunge into GM MDI in, pretty much, all of its aspects. I decided after taking it into the field for a while, it was time to report what I experienced and how I feel about MDI and its companion programs. It is a formidabl...

0
0
发表了博客
2012/09/06 21:21

wxWidgets利用tinyxml实现xml解析

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。 最近正在做的一个项目里涉及到xml文件的存取,同事推荐的tinyxml++ ,是c++版本的xml解析包,据说很小巧,好用,于是download了一个下来.顺便在其官方主页上下载了premake.exe用来生成工程文件的.以下是premake的用法. Windows premake --target cb-gcc [--unicode] [--ticpp-shared] [--dynamic-runtime] Linux prem...

0
0
发表了博客
2012/04/12 22:45

Lucene3.0之索引

1 倒排索引 倒排索引是满足实际应用而设计的一种数据结构。倒排索引的每一个元素是一个索引项,每一个索引项是由关键字属性值和关键字关联结果,或者记录的存放地址组成。倒排索引是利用索引关键字直接确定文档列表,最后确定希望找到的文档列表。与传统的顺序查找和记录组织方式相反,因此称为倒排索引。通常把采用倒排索引方式组织的文件或者倒排索引和文档主文件一起称为倒排文件。 2 Lucence索引器 2.1 模式 2.1.1 独立索引...

0
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
6 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部