Scribe 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Scribe 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Scribe 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Scribe 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Scribe 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 C/C++
操作系统 Linux
软件类型 开源软件
所属分类 大数据其他
开源组织 Facebook
地区 不详
投 递 者 不详
适用人群 未知
收录时间 2008-10-27

软件简介

Scribe旨在帮助Facebook处理服务器上的大量数据,正像Scribe网页所述“如经常访问Facebook,请使用Scribe。”具体而言,Scribe就是一台服务器,实时收集用网站日志信息。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2013/02/25 21:28

Scribe范例

实验环境:三台安装了scribe服务的服务器。 示例1: scribe服务的端口都监听在本机,scribe配置文件如下: port=1463 max_msg_per_second=2000000 check_interval=3 <store> category=default type=buffer target_write_size=20480 max_write_interval=1 buffer_send_rate=2 retry_interval=30 retry_interval_range=10 <primary> type=file fs_type=std file_path=/tmp/scribetest base_filename=thisisoverwritten max_size=...

0
3
发表了博客
2013/02/25 14:55

Scribe 理论学习

Scribe是facebook开源的日志收集系统。它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是本地文件系统、NFS、分布式文件系统等)上,以便于进行集中统计分析处理。它具备很强的扩展能力,并且网络故障及服务器节点故障,都不会对日志收集造成影响,它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。 scribe架构 图上可以看到Scribe客户端从各种数据源上收集数据,放到一个共享队列上,然后push到...

0
1
发表于开发技能专区
2015/12/21 10:30

Linux 安装 Scribe

序言 它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。 源码安装 1、前提准备 Scibe需要下面的依赖库,执行下面命令 yum -y install gcc gcc-c++ m4 autoconf automake libtool libicu-devel python-devel libevent-devel byacc flex 下面的比较全,不放心的话可以直接执行下面的 yum install gcc-c++ libevent libevent-devel automake autoconf m4 bis...

1
2
发表于服务端专区
2013/02/25 15:09

Scribe源码安装

上一篇简要的了解了scribe的原理,这个一篇可以实践一下scribe。scribe在安装的时候依赖关系还是蛮多的,官方解释如下: [libevent] Event Notification library [boost] Boost C++ library (version 1.36 or later) [thrift] Thrift framework (version 0.5.0 or later) [fb303] Facebook Bassline (included in thrift/contrib/fb303/) fb303 r697294 or later is required. 详细如下图: 安装环境:debian6 安装组件:boost...

0
6
发表了博客
2013/02/25 21:19

Scribe配置文件解析

Scribe的配置文件由全局的section和一个或多个store的section组成。这篇来了解一下scribe的配置文件,在源码包的examples目录下有多个配置文件实例: examples/ ├── example1.conf #模拟服务端 ├── example2central.conf #在同一台机器模拟服务端的配置 ├── example2client.conf #在同一台机器模拟客户端的配置 ├── hdfs_example2.conf ├── hdfs_example.conf ├── README ├── scribe_cat #python客户端...

0
1
发表了博客
2013/12/23 14:35

scribe安装配置

RHEL 5.7 10.10.76.42 /opt/nimin/scribe 3个rpm文件 RHEL 6.0+ yum -y install gcc-c++ libtool libevent libevent-devel zlib-devel python-devel ruby ruby-devel automake autoconf libxml2 byacc flex bison bzip2-devel openssl-devel php tar -zxvf boost_1_45_0.tar.gz cd boost_1_45_0 sh bootstrap.sh ./bjam -s HAVE_ICU=1 --prefix=/opt/boost ./bjam install --prefix=/opt/boost vim /etc/profile tar -zxvf thr...

0
0
发表了博客
2014/03/23 01:21

Scribe分布式日志系统

Scribe分布式日志系统 一.介绍 Scribe是facebook开发的分布式日志系统,使用thrift传输log,因此无论是什么语言开发的项目都可以实现log收集,传送到远程或主从同步到远程。Scribe由两部分组成:central scribe server和local scribe server。在分布式系统中,每一个节点都会运行一个local scribe server,收集此节点的日志信息,并将其发送给central scribe server。 各个数据源需通过thrift向scribe传输数据,每条数据记录包...

0
3
发表了博客
2013/02/25 19:48

Scribe快速安装方法

上一篇了解了scribe的源码安装法,在安装过程中boost库和后面的scribe在安装时出现多次的库依赖问题,为了更快速的部署scribe,打算boost采用apt安装(只要版本大于1.33即可)。 1 提前安装好相关依赖包 apt-get install build-essential bison flex libboost-all-dev apt-get install libevent-dev libglib2.0-dev libboost-dev libssl-dev python-dev apt-get install libboost-system-dev libboost-filesystem-dev libtool ...

0
3
发表于DevOps专区
2014/09/19 15:01

分布式日志收集系统scribe介绍

Scribe是facebook开源的日志收集系统,在facebook内部已经得到大量的应用。 Scribe是基于一个使用非阻断C++服务器的thrift服务的实现。它能够从各种日志源上收集日志,存储到一个中央存储系统 (可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。 一、Scribe的系统架构 如上图所示:Scribe从各种数据源上收集数据,放到一个共享队列上,然后...

0
3
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2012/03/01 19:59

【Oauth认证】使用scribe实现OAUTH

Scribe这边指的是Oauth库, 项目地址: https://github.com/fernandezpablo85/scribe-java , 而不是Facebook那个(https://github.com/facebook/scribe)。 支持Oauth1.0a\Oauth2.0,个人感觉很不错。 用法其实很简单,看官网就可以了。这边附上里面的新浪微博请求实例: package com.yfz; import java.util.*; import org.scribe.builder.*; import org.scribe.builder.api.*; import org.scribe.model.*; import org.scribe....

1
1
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
70 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部