Data Accelerator 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Data Accelerator 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Data Accelerator 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 MIT
开发语言 C# 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织 微软
地区 不详
投 递 者 xplanet
适用人群 未知
收录时间 2019-04-23

软件简介

Data Accelerator 的一些方法可以更容易地在 Apache Spark 上构建流式传输管道:

  • 即插即用:轻松设置输入源和输出接收器,以便在几分钟内建立管道。Data Accelerator 支持从 Eventhub 和 IoThub 取数据,并支持将数据下载到 Azure blob、CosmosDB、Eventhub 等。
  • 无代码体验:无需编写任何代码即可设置警报和数据处理。通过规则设计器体验,您可以指定简单和聚合的数据处理,标记和警报。
  • SQL 查询:在 SQL 中编写复杂的处理——无需在 Scala 中工作。内置的可扩展性模型还支持用户定义的函数并利用 Azure 功能,例如,用于 ML 中流。
  • 实时查询:通过针对传入数据样本运行,在几秒钟内验证您的查询,从而节省设置和测试管道处理的工作时间。

Data Accelerator 不仅仅是 EventHub 和数据库之间的管道。它允许用户在继续流式传输的同时重塑传入的事件,然后将同一事件的不同部分路由到不同的数据存储,同时提供健康监控和整个管道状态的警报。

Data Accelerator 还提供配置 UI 和规则/查询设计器体验,使用户无需编写任何代码即可启动和运行。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣
发表于AI & 大数据专区
2019/04/23 08:13

微软开源大规模数据处理项目 Data Accelerator

微软开源了一个原为内部使用的大规模数据处理项目 Data Accelerator。自 2017 年开发以来,该项目已经大规模应用在各种微软产品工作管道上。 据微软官方开源博客介绍,Data Accelerator 的一些方法可以更容易地在 Apache Spark 上构建流式传输管道: 即插即用:轻松设置输入源和输出接收器,以便在几分钟内建立管道。Data Accelerator 支持从 Eventhub 和 IoThub 取数据,并支持将数据下载到 Azure blob、CosmosDB、Eventhub 等...

0
29
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
FasterXML jackson-databind代码问题漏洞
反序列化
FasterXML Jackson是美国FasterXML公司的一款适用于Java的数据处理工具。jackson-databind是其中的一个具有数据绑定功能的组件。 FasterXML jackson-databind 2.9.10.4之前的2.x版本中存在安全漏洞。目前没有详细的漏洞细节提供。
CVE-2020-10969 MPS-2020-4659
2022-08-08 20:29
FasterXML jackson-databind反序列化漏洞(WASRegistryManagedRuntime gadget绕过)
反序列化
FasterXML Jackson是美国FasterXML公司的一款适用于Java的数据处理工具。jackson-databind是其中的一个具有数据绑定功能的组件。 FasterXML jackson-databind 2.9.10.4之前的2.x 版本中存在安全漏洞。目前没有详细的漏洞细节提供。
CVE-2020-11113 MPS-2020-4756
2022-08-08 20:29
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 org.apache.tomcat.dbcp.dbcp2.cpdsadapter.DriverAdapterCPDS 相关的序列化小工具和类型之间的交互。
CVE-2020-36182 MPS-2021-0205
2022-08-08 20:29
Google Guava 访问控制错误漏洞
关键资源的不正确权限授予
Google Guava是美国谷歌(Google)公司的一款包括图形库、函数类型、I/O和字符串处理等的Java核心库。 Guava 30.0版本之前存在访问控制错误漏洞,该漏洞源于Guava存在一个临时目录创建漏洞,允许访问机器的攻击者可利用该漏洞潜在地访问由Guava com.google.common.io. Files. createTempDir() 创建的临时目录中的数据。攻击者可以利用该漏洞访问特殊目录。
CVE-2020-8908 MPS-2020-17429
2022-08-08 20:29
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.x before 2.9.10.8 存在代码问题漏洞,该漏洞源于oadd.org.apache.commons.dbcp.cpdsadapter.DriverAdapterCPDS错误地处理serialization gadgets 和 typing的交互。
CVE-2020-36179 MPS-2021-0202
2022-08-08 20:29
Async 安全漏洞
原型污染
Async是英国Caolan McMahon个人开发者的一个实用模块。用于使用异步 JavaScript。 Async 3.2.1 及之前版本存在安全漏洞,该漏洞源于 mapValues() 方法。攻击者可通过 mapValues() 方法获取权限。
CVE-2021-43138 MPS-2021-34434
2022-08-08 20:29
Github json-smart-v1 缓冲区错误漏洞
跨界内存写
netplex json-smart是开源的一个JSON Java解析器。 在 JSON Smart 版本 1.3 和 2.4 中的 JSONParserByteArray 的 indexOf 函数中发现了一个漏洞,该漏洞通过精心设计的 Web 请求导致拒绝服务 (DOS)。
CVE-2021-31684 MPS-2021-7737
2022-08-08 20:29
serialize-to-js 跨站脚本漏洞
XSS
serialize-to-js是一款能够将对象序列化为字符串的软件包。 serialize-to-js(NPM)3.0.1之前版本中存在跨站脚本漏洞。该漏洞源于WEB应用缺少对客户端数据的正确验证。攻击者可利用该漏洞执行客户端代码。
CVE-2019-16772 MPS-2019-15918
2022-08-08 20:29
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.0系列2.9.10.6之前版本存在代码问题漏洞,该漏洞源于com.pastdev.httpcomponents.configuration.JndiConfiguration。
CVE-2020-24750 MPS-2020-13151
2022-08-08 20:29
com.fasterxml.jackson.core:jackson-core 存在资源管理错误漏洞
资源管理错误
com.fasterxml.jackson.core:jackson-core 是一个 Core Jackson 抽象,基本的 JSON 流 API 实现。此软件包的受影响版本容易受到拒绝服务 (DoS) 的攻击。如果 REST 端点使用带有 JSON 或 XML 数据的 POST 请求并且数据无效,则将第一个无法识别的令牌打印到 server.log。 .如果第一个标记是长度为 10MB 的单词,则打印整个单词。这是潜在的危险,可用于通过用日志填充磁盘来攻击服务器。
MPS-2022-11944
2022-08-08 20:29
jackson-mapper-asl 代码问题漏洞
XXE
jackson-mapper-asl是一款基于Jackson JSON处理器构建的数据映射软件包。 jackson-mapper-asl 1.9.x版本中存在代码问题漏洞。远程攻击者可借助特制数据利用该漏洞获取敏感信息。
CVE-2019-10172 MPS-2019-15048
2022-08-08 20:29
FasterXML jackson-databind反序列化漏洞
反序列化
FasterXML Jackson是美国FasterXML公司的一款适用于Java的数据处理工具。jackson-databind是其中的一个具有数据绑定功能的组件。 FasterXML jackson-databind 2.9.10.4之前的2.x版本中存在安全漏洞,该漏洞源于org.apache.aries.transaction.jms.internal.XaPooledConnectionFactory(aries.transaction.jms)进行了不安全的反序列化。远程攻击者可借助特制的输入利用该漏洞在系统上执行任意代码。
CVE-2020-10672 MPS-2020-4131
2022-08-08 20:29
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 jackson-databind before 2.9.10.7 存在代码问题漏洞,该漏洞源于fastxml错误地处理了序列化小部件和类型之间的交互。
CVE-2021-20190 MPS-2021-1625
2022-08-08 20:29
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.9.10.4之前的2.x版本中存在代码问题漏洞。攻击者可借助特制的输入利用该漏洞在系统上执行任意代码。
CVE-2020-11620 MPS-2020-5139
2022-08-08 20:29
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 org.docx4j.org.apache.xalan.lib.sql.JNDIConnectionPool 相关的序列化小工具和类型之间的交互。
CVE-2020-36183 MPS-2021-0206
2022-08-08 20:29
FasterXML jackson-databind代码问题漏洞
反序列化
FasterXML Jackson是美国FasterXML公司的一款适用于Java的数据处理工具。jackson-databind是其中的一个具有数据绑定功能的组件。 FasterXML jackson-databind 2.9.10.5之前的2.x版本中存在安全漏洞。目前没有详细漏洞细节提供。
CVE-2020-14060 MPS-2020-8803
2022-08-08 20:29
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 org.apache.tomcat.dbcp.dbcp.cpdsadapter.DriverAdapterCPDS 相关的序列化小工具和类型之间的交互。
CVE-2020-36181 MPS-2021-0203
2022-08-08 20:29
FasterXML jackson-databind 代码问题漏洞
反序列化
FasterXML jackson-databind是一个基于JAVA可以将XML和JSON等数据格式与JAVA对象进行转换的库。Jackson可以轻松的将Java对象转换成json对象和xml文档,同样也可以将json、xml转换成Java对象。 FasterXML jackson-databind 2.x before 2.9.10.8 存在代码问题漏洞,该漏洞源于com.newrelic.agent.deps.ch.qos.logback.core.db.JNDIConnectionSource错误地处理serialization gadgets 和 typing的交互。
CVE-2020-36188 MPS-2021-0211
2022-08-08 20:29
FasterXML jackson-databind 代码问题漏洞
反序列化
2.9.10.8 之前的 FasterXML jackson-databind 2.x 错误处理了与 com.newrelic.agent.deps.ch.qos.logback.core.db.DriverManagerConnectionSource 相关的序列化小工具和类型之间的交互。
CVE-2020-36189 MPS-2021-0212
2022-08-08 20:29
io.netty:netty-handler 存在证书验证不恰当漏洞
证书验证不恰当
io.netty:netty-handler 是一个提供异步事件驱动的网络应用程序框架和工具的库,用于快速开发可维护的高性能和高可扩展性协议服务器和客户端。换句话说,Netty 是一个 NIO 客户端服务器框架,可以快速轻松地开发协议服务器和客户端等网络应用程序。它极大地简化和流线了网络编程,例如 TCP 和 UDP 套接字服务器。此软件包的受影响版本容易受到不正确的证书验证的影响。在 Netty 4.1.x 中默认禁用证书主机名验证,这使得它可能容易受到中间人攻击。
MPS-2022-12067
2022-08-08 20:29
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
14 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部