开源中国

我们不支持 IE 10 及以下版本浏览器

It appears you’re using an unsupported browser

为了获得更好的浏览体验,我们强烈建议您使用较新版本的 Chrome、 Firefox、 Safari 等,或者升级到最新版本的IE浏览器。 如果您使用的是 IE 11 或以上版本,请关闭“兼容性视图”。
博客专区 - 开源中国社区

精彩阅读

  • 最新推荐

  • 今日热门

  • 本周热门

  • 每日一博

  • 最新文章

AI领袖、应用指南、窥见风口……你还能从这场全球峰会中获得更多

时代的潮流浩浩荡荡,上升到国家发展战略与基础设施的人工智能,正以不可思议的速度占据着我们生活的头条。如果说2017年宣告了人工智能接棒时代脉搏,那么2018年的人工智能将作为颠覆性变革力量迭代世界机器的运作。
GAITC

如何实现一个优质的微服务框架:Apache ServiceComb 的开放性设计

一个优质的微服务框架需要考虑的要素众多,在满足微服务设计理念的前提下,也是一个不断实践优化的过程。 本文讲述了整个 开源微服务框架 Apache ServiceComb 设计形成的前因后果,尝试从理念、思想和实践结合的维度剖析一个优质的微服务框架应该具备哪些要素,包括但不限于 对开发者友好、高性能、内外部扩展性等。 阅读本文有利于加深对微服务理念和框架的理解,给予微服务用户或开发者以帮助,这也是 Apache ServiceComb 的前身华为云微服务引擎的智慧结晶,从细节处承载了华为云自身多年云化转型的经验。
ServiceComb 发布于 2天前 阅读 2956 评论 10 点赞 2 打赏 1

高可用负载均衡:开源PaaS Rainbond组件Rainbond-Entrance揭秘

负载均衡(Load Balancing)是开源PaaS Rainbond的亮点功能,主要由“软件定义负载均衡”Rainbond-Entrance控制器完成。 本文将围绕设计架构和实现介绍Rainbond-Entrance。 #### 为什么需要负载均衡 Rainbond内部网络划分支持多租户,每个租户都有一个私有的IP段,不同租户的网络相互不可见。当我们把一个容器化应用部署到Rainbond,Rainbond会为该容器分配一个内部IP,用于同一租户中不同应用在集群内部的通信,而集群外部无法直接访问,因此我们需要有一个集群入口控制器,以便用户可以方便地访问这些应用。 另外,Rainbond中部署的每个应用都可以有多个实例,即假设我们为一个WEB应用部署了三个实例,每个实例分担一部分流量,我们就需要这三个实例前增加负载均衡控制器来完成分发流量的工作。 除了上述的基本功能以外,负载均衡控制器还必须支持更多功能,例如: * 入口控制器能够根据数据包信息(如协议、端口号、主机名等)将请求转发给指定的应用 * 实时发现集群中应用的变化(如添加自定义域名、添加证书、添加端口等)并动态更新自身的转发规则 * 同时支持HTTP、TLS、TCP、UDP协议,因为有时不只WEB应用需要向外提供服条,RPC、MySQL等也需要对外开放 * 支持高可用...
好雨云帮 发布于 2天前 阅读 121

完整微服务化示例:使用 Apache ServiceComb (incubating) 进行微服务开发、容器化、弹性伸缩

最完整的微服务化示例,从业务场景入手,讲述微服务化架构设计、容器化、集群部署、弹性伸缩
ServiceComb 发布于 7天前 阅读 2809 评论 8 点赞 1 打赏 1

微服务Apache ServiceComb 数据一致性Saga演进介绍

微服务 开源项目 Apache ServiceComb(incubating) 的 微服务事务的数据一致性解决方案 Saga[4](以下简称Saga)进行了演进。相对于上一版[2],新演进的设计主要有以下优势: 极大提升易用性。开发者只需使用2-3个注解(即启用事务服务:EnableOmega、全局事务标记:SagaStart和子事务标记:Compensable)。 更方便扩展。对微服务框架的支持更友好。 数据一致性与业务逻辑解耦。在演进后的设计中,通过服务侧omega的引入,saga协调器的职责更为单一(只需负责协调事务的完整性),与具体业务无关,因此,开发人员可以聚焦在具体业务的开发。
ServiceComb 发布于 7天前 阅读 16

NVIDIA/k8s-device-plugin源码分析

本文主要对NVIDIA/k8s-device-plugin v1.10的源码进行分析,包括插件的启动、停止、注册、gRPC Server的实现,及其基于Kubernetes device plugin v1beta1的ListAndWatch、Allocate接口实现细节等内容。
WaltonWang 发布于 1周前 阅读 212

MySQL 如何使用 PV 和 PVC?- 每天5分钟玩转 Docker 容器技术(154)

本节演示如何为 MySQL 数据库提供持久化存储。
CloudMAN 发布于 2周前 阅读 499 点赞 3

Kubernetes如何通过Device Plugins来使用NVIDIA GPU

在Kubernetes 1.10版本中,默认并推荐使用DevicePlugins Feature Gate来发现和使用Nvidia GPU资源,抛弃了Kubernetes 1.8之前推荐使用的Accelerators Feature Gate的built-in方式,继承了Kubernetes的插件化的思想,把专业的事交给专业的厂商去做。本文将介绍Device Plugins的的原理和工作机制、Extended Resource、异常处理及改进、如何使用和调度GPU等内容。
WaltonWang 发布于 2周前 阅读 351

zookeeper实现主-从结构的一般原理

![输入图片说明](https://static.oschina.net/uploads/img/201804/10214015_9d4p.jpg "在这里输入图片标题") ### 以下文字只是时序图的解释说明,重点是看懂时序图。 为了避免主节点/从节点和zk的节点概念看着乱,以下就用Master/Slave称呼了。 ### 1 选Master 系统启动后,所有slave都会尝试在zk树上创建/master节点,创建成功的节点成为Master角色。 然而Master可能会崩溃,所以其他slave要继续监视/master节点。当Master挂掉后,slave重新选举出新的Master(这里的选举就是抢占)。这就要求服务节点挂掉后,/master节点随之删除,以便能让其他slave接到通知,所以master为必须为**临时节点**。 ### 2 Master的准备工作 创建三个父节点/works 、/tasks、 /assign 。(也可以由一个引导程序建) 这三个父节点都是**永久节点**,且不包含任何数据,作为**目录节点**存在。其子节点分别用于存储可用的slave、任务信息、向从节点分配任务。 创建完成后,Master要监视/works和/tasks两个节点,以便能感知到由哪些slave当前可用,当前有新任务需要分配。 ### 3 Slave的准备工作 slave向zk注册自己的信息,让zk通知Master“我上线了,有新任务分配给我!” 同样,Master也需要及时...
忙碌的键盘 发布于 2周前 阅读 159

回收 PV - 每天5分钟玩转 Docker 容器技术(152)

当 PV 不再需要时,可通过删除 PVC 回收。
CloudMAN 发布于 3周前 阅读 269

如何在Kubernetes中管理有状态应用

Kubernetes中,StatefulSet被用来管理有状态的应用的API对象。本文介绍了其使用场景、限制、组件,对Pod选择器和身份标识进行了解释,同时分享了StatefulSet的部署、扩容及更新策略。
RancherLabs 发布于 3周前 阅读 136 评论 1

在AWS中国区使用kops安装k8s完全指南

原文链接:http://blog.geekidentity.com/k8s/kops/install-k8s-with-kops-in-china/ 因为一些众所周知的原因,AWS中国区并没有k8s集群,因此我们需要自己安装k8s。而k8s官方提供了一个工具[kops](https://github.com/geekidentity/kops)来帮助我们快速地在AWS上创建k8s集群。下面是使用kops在AWS创建集群的详细过程。 ## 安装kops (Binaries) 我们建议使用一台低配服务器作为k8s的管理机,在上面安装kops等管理工具。 从github上下载已经编译好的二进制文件 ```bash wget -O kops https://github.com/kubernetes/kops/releases/download/$(curl -s https://api.github.com/repos/kubernetes/kops/releases/latest | grep tag_name | cut -d '"' -f 4)/kops-linux-amd64 chmod +x ./kops sudo mv ./kops /usr/local/bin/ ``` ## 安装其它依赖 ### kubectl kubectl是管理和操作Kubernetes集群的CLI工具。 从kubernetes官方kubectl获取发布版本: ```bash wget -O kubectl https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl chmod +x ./kubectl sudo mv...
侯法超 发布于 4周前 阅读 32

在 Rolling Update 中使用 Health Check - 每天5分钟玩转 Docker 容器技术(146)

Health Check 会确保新版本确实能够工作,否则就不让其对外提供服务。
CloudMAN 发布于 1个月前 阅读 136

Kubernetes StatefulSet源码分析

> Author: xidianwangtao@gmail.com,Based on Kubernetes 1.9 > 摘要:Kubernetes StatefulSet在1.9版本中stable了,相信以后会有越老越多的企业会使用它来部署有状态应用,比如Mysql、Zookeeper、ElasticSearch、Redis等等。本文是对StatefulSet的源码分析,包括其Inner Structure、Sync的核心逻辑、Update的主要流程说明、完整的Code Logic Diagram及一些思考。 ## Inner Structure 下面是简单的StatefulSet Controller工作的内部结构图。 ![输入图片说明](https://static.oschina.net/uploads/img/201803/25225528_YWO1.png "在这里输入图片标题") ## NewStatefulSetController 同其他Controller一样,StatefulSet Controller也是由ControllerManager初始化时负责启动。 ```pkg/controller/statefulset/stateful_set.go:81 // NewStatefulSetController creates a new statefulset controller. func NewStatefulSetController( podInformer coreinformers.PodInformer, setInformer appsinformers.StatefulSetInformer, pvcInformer coreinformers.PersistentVolumeClaimInformer, revInformer appsinformers.ControllerRevisionInformer, kubeClient clientset.Interf...
WaltonWang 发布于 1个月前 阅读 458

OpenStack Nova调度策略研究笔记

本文主要讲述了OpenStack中调度策略的一些常见使用方法,及测试和源码分析。
LastRitter 发布于 1个月前 阅读 175

kubernetes修改节点名称

  有时候因为场景需要,我们需要修改kubernetes节点的主机名,假设有三个节点分别是: host1,host2,host3,cni组件使用calico,需要将host1改为master。 在修改kubelet节点主机名的时候也需要修改calico服务中的主机名。具体步骤如下: 一.修改系统主机名 [root@host1 ~]# hostname master 二.修改kubelet节点主机名 修改kubelet启动参数--hostname-override=master 重启kubelet服务 [root@master ~]# systemctl restart kubelet 这时查看kubelet运行日志 [root@master ~]# journalctl -xe -u kubelet 会看到如下报错 Mar 23 13:15:27 master kubelet[13508]: E0323 13:15:27.320556   13508 kubelet_node_status.go:106] Unable to register node "master" with API server: nodes "master" is forbidden: node "host1" cannot modify node "master" 停止kubelet服务并删除当前节点 [root@master ~]# systemctl stop kubelet [root@master ~]# kubectl delete node host1 删除kubelet.kubeconfig,kubelet.key,kubelet.crt,kubelet-client.key和kubelet-client.crt [root@master ~]# rm -f /etc/kubernetes/kubelet.kubeconfig [root@master ~]# rm -f /etc/kubernetes/s...
吳捷 发布于 1个月前 阅读 190

Kubernetes 联邦机制介绍

我的博客链接:http://blog.geekidentity.com/k8s/concepts/cluster-administration/federation-cn/ # Federation(联邦) 此页面解释了为什么以及如何使用联邦来管理多个Kubernetes集群。 - Why federation - [Caveats](https://kubernetes.io/docs/concepts/cluster-administration/federation/#caveats) - [Hybrid cloud capabilities](https://kubernetes.io/docs/concepts/cluster-administration/federation/#hybrid-cloud-capabilities) - [Setting up federation](https://kubernetes.io/docs/concepts/cluster-administration/federation/#setting-up-federation) - [API resources](https://kubernetes.io/docs/concepts/cluster-administration/federation/#api-resources) - [Cascading deletion](https://kubernetes.io/docs/concepts/cluster-administration/federation/#cascading-deletion) - [Scope of a single cluster](https://kubernetes.io/docs/concepts/cluster-administration/federation/#scope-of-a-single-cluster) - [Selecting the right number of clusters](https://kubernetes.io/docs/concepts/cluster-administration/federation/#sel...
侯法超 发布于 1个月前 阅读 168

“新商业•新价值”2018中国企业互联网春季峰会将召开,国内顶级云服务商总裁巅峰对话

当钉钉和企业微信这对背靠巨头的流量之子先后入局,就注定了中国企业服务市场进入了一个竞争更加激烈的时代。 通用型SaaS工具市场难有机会,产品场景化体验要求越来越高,投资人对SaaS的投资更加谨慎…… 中国企业服务市场正处在一道分水岭,TOB商业形态会出现什么样的变化?新商业将带来哪些新价值?产业互联浪潮下,如何将这些新价值最大化? 近日,国内最具影响力的企业服务平台崔牛会宣布,将于4月19日举办“新商业•新价值”2018中国企业互联网春季峰会。 “中国企业服务市场开始逐步进入了深水区,服务商开始思考——能在哪些垂直领域扎根,能在哪些应用场景上深化,这是很明显的进步。 但从全球视角来看中国TOB市场是什么样?今天的云计算,到底给我们带来了什么? 这正是我们在此次春季峰会上想要和大家共同探讨的。”崔牛会联合创始人、市场副总裁李伟表示。 算起来,这已经是崔牛会举办的第五届企业互联网春季峰会。据悉,此次峰会将有超过2000位来自全球各地的TOB领域从业者深度参与,数十位业内顶级大咖现场分享。 从崔牛会此前透露的信息来看,本次峰会将有六大亮点: 1、1份中国企业服务云图发布 崔牛会曾在2017年春季峰会发布了国内首张《中国企业服务云图》...
OSC_Lucy 发布于 1个月前 阅读 60

浅析Kubernetes StatefulSet

Kubernetes 1.5正式发布StatefulSet,在Kubernetes 1.9 stable。这里将对StatefulSet进行解读分析,包括最佳实践、与Deployment的主要区别、Node网络异常等情况下处理方法以及在网络、存储、伸缩、滚动更新方面的原理解析等内容。下一篇博客将对StatefulSet Controller进行源码分析,相信一定会有其他收获。
WaltonWang 发布于 1个月前 阅读 244 点赞 1

服务化、微服务及Spring Cloud

作为职场老手的你,也许对服务化(SOA)并不陌生。当今 Web 2.0 架构如火如荼,越来越多的企业正在进行着服务化的改造,最为著名莫过于 Amazon 。
waylau 发布于 1个月前 阅读 163

从一次集群雪崩看Kubelet资源预留的正确姿势

在使用Kubernetes时,我会利用kubelet的Node Allocatable特性为Node上的Kube组件和System进程预留一部分资源不被App Pods所占用。我在配置kubelet时遗漏了几个配置项,引发了一次集群雪崩,本文就为你解读kubelet resource reserve及其使用注意事项。
WaltonWang 发布于 2个月前 阅读 704 评论 3 点赞 2

Why Helm? - 每天5分钟玩转 Docker 容器技术(160)

本章我们将学习 Helm,Kubernetes 的包管理器。
CloudMAN 发布于 10小时前 阅读 8

ceph配置日志使用独立分区

ceph、日志
cephn1 发布于 3个月前 阅读 42

微服务和SOA的区别

MSA,SOA
Jack1991 发布于 2小时前 阅读 3

自定义horizon插件

此例子是基于ocata版本horizon的自定义了一个插件。帮助对于horizon自定义dashbaord及panel的了解。要求对Python、HTML和JavaScript(AngularJS)有基本的了解。 仓库命名¶ 不用说,选择一个有意义的存储库名称很重要。此外,如果您计划在您的dashboard插件上支持翻译,建议选择一个类似于xxxx-dashboard的名称(或xxxx-ui. xxx-horizon)。OpenStack CI infra脚本将这些后缀视为Django项目。 文件结构¶ 整个插件目录结构如下: xxxx-dashboard │ ├── xxxxdashboard │ ├── __init__.py │ │ │ ├── enabled │ │ ├──_90000_mydashboard.py │ │ ├──_90010_mygroup_panel_group.py │ │ └──_90011_mypanel.py │ │ │ ├── api │ │ ├──__init__.py │ │ ├── my_rest_api.py │ │ └── myservice.py │ │ │ ├── dashboards │ │ ├──__init__.py │ │ └── mydashboard │ │ ├──__init__.py │ │ ├──dashboard.py │ │ ├── mypanel │ │ │ ├── __init__.py │ │ │ ├── panel.py │ │ │ ├──...
JennerLuo 发布于 1周前 阅读 9

跳槽季 | IT 8大热门招聘趋势 VS 8大受冷落岗位,你不能不看

  导读: 热闹的狗年春节正在渐渐走远,春节过去按照惯例  又到了一年跳槽季。究竟什么情况下应该跳?IT又有哪些热门趋势,以及哪些岗位、职业、工作方式正在被冷落?此文可以说是全球顶尖HR智囊团给出的指导建议了。   随着技术的成熟、新技术的出现、以及企业通过全职IT员工与合同工相结合来降低成本,我们看到今年的招聘工作出现了一些变化。   有些人把零工经济看作一种灵活的新工作方式,一种呼吁独立企业家的方式,另一些则认为这是经济大衰退的普遍后果。无论如何,零工经济正在经历成长的痛苦。根据 Intuit 公司的一份报告,预计到2020年,40%的劳动力将成为其中的一部分。   今年有一件事没有改变:对大多数公司来说招聘顶尖人才仍然是困难的,需求大大超过了供给。这影响了我们研究的许多领域,包括薪酬和保有。   无论你是想扩充团队还是寻找一份自己的工作,都要读下去,看看哪些招聘方式是热门的,哪些正在落伍。     热门:灵活的工作场所   一些专家和研究表明,即使是那些希望全职员工在总部工作的公司,工作场所的灵活性也在上升。   华盛顿特区 Phone2Action CEO 杰布·里奥(Jeb Ory)说:“能够在家、咖啡馆、或者更长的假期里挤出一两天工作的...
数人云 发布于 2个月前 阅读 40

云HBase小组成功抢救某公司自建HBase集群,挽救30+T数据

摘要: 使用过开源HBase的人都知道,运维HBase是多么复杂的事情,集群大的时候,读写压力大,配置稍微不合理一点,就可能会出现集群状态不一致的情况,糟糕一点的直接导致入库、查询某个业务表不可用, 甚至集群运行不了。   概述    使用过开源HBase的人都知道,运维HBase是多么复杂的事情,集群大的时候,读写压力大,配置稍微不合理一点,就可能会出现集群状态不一致的情况,糟糕一点的直接导致入库、查询某个业务表不可用, 甚至集群运行不了。在早期0.9x版本的时候,HBase的修复工具还有一下bug,使得即使你懂得如何修复的情况下,依然需要多次重复运行命令,绕过那些不合理的修复逻辑,甚至有时候需要自己写代码预先修复某个步骤。   背景   上周五,某公司使用的某DataHup 大数据产品自建一个HBase集群挂了!整个集群有30+T 业务数据,是公司的数据中心,集群直接启动不了。他们也是经历了熬战一天一夜的情况下,依旧没有解决恢复,还曾有过重装集群重导数据念头。最后,通过钉钉HBase技术交流群找到群主——阿里云HBase的封神。随后其立即下达命令,临时成立 HBase抢救小分队,尽力最大的努力,使用最低风险的方式,抢救最完整的集群。     蹭蹭蹭,几个抢救...
猫耳m 发布于 1周前 阅读 8

阿里云云计算助理工程师认证

阿里云云计算助理工程师认证(ACA) 
Alibaba Cloud Certified Associate - Cloud Computing 阿里云基础认证(ACA - Alibaba Cloud Certification Associate)是面向使用阿里云基础产品的专业技术认证,主要涉及阿里云的计算、存储、网络、安全类的核心产品,是对学员掌握阿里云主要产品技术技能水平的全面检验和能力认证, 主要面向学生群体及开发者,也可以做为运维人员的入门证书。 阿里云简介 主要介绍阿里云产品与技术概览、基础架构以及云安全体系等。 掌握云服务器ECS 主要介绍云服务器ECS概念以及实例、磁盘、快照的基本操作,配套2个实验,教你掌握ECS的使用。 掌握云数据库RDS 主要介绍云数据库RDS的实例管理、数据库管理、数据迁移上云等操作,配套2个实验,教你掌握RDS的使用。 掌握云存储OSS 主要介绍阿里云对象存储OSS的概念、基本操作、API和SDK的使用、静态网站托管等,配套2个实验,教你掌握OSS的使用。 掌握负载均衡SLB 主要介绍负载均衡SLB的产品概述、基本操作和相关问题等,配套2个实验,教你掌握SLB的使用。 掌握云安全 主要介绍互联网常见的安全威胁、阿里云安全体系,以及云盾、安骑士、云监控相关功能等,配套2个实验,教你掌握云上安全防护。 ...
mcy0425 发布于 1周前 阅读 3

用 ConfigMap 管理配置 - 每天5分钟玩转 Docker 容器技术(159)

本文讨论如何用 ConfigMap 管理应用的配置信息。
CloudMAN 发布于 2天前 阅读 11

2018最难招聘的11类IT人员

2018年最难以填补的职位是什么?问问任何一个招聘人员或者技术专业人士的结果,你都不会感到震惊。 人工智能和数据科学的岗位位居榜首,部分原因是它们的技术相对新颖,而且各大企业正在纷纷引入进行数字化转型。 与此同时,也有一些惊喜。本文作者把重点放在了这些地方——既要确定招聘经理的需求,也要帮助IT专业人士在急需的领域寻找新的机会,并拥有一个有前景的未来。 1、杀手级组合:新兴科技+商业意识 专家们列出了一份令人满意的list:在认知计算、机器学习、数据分析、物联网和区块链等新兴领域需要技能和经验。但真正的独角兽们是那些不仅能够深化自身的技术技能,而且能密切关注他们的底线的候选人。 “挑战不仅在于找到有技能的人,还包括那些能够将这些点连接起来创造商业影响的人,”IT人力资源公司Genesis10的创始人兼CEO Harley Lippman说。例如,过去几年来,企业数据管理、大数据和分析一直是人们关注的焦点。找到真正的数据科学家仍然是一个挑战。各家公司都把精力集中在获取数据和各自不同的系统上。现在的重点是如何利用这些数据来改善商业决策和创造竞争优势。 2、具有科学思维的渗透型测试人员 在2018年找到拥有合适技术技能的候选人,与其说是一个...
数人云 发布于 2个月前 阅读 41

基于Helm和Operator的K8S应用管理的分享

超长干货,带你了解如何利用helm和operator,在应用系统、尤其是微服务架构系统中,简化Kubernetes应用的部署与管理工作,实现自动化的应用运维。
RancherLabs 发布于 2个月前 阅读 14

集成 Kubernetes 与 Cloud Foundry,IBM自有一套

现在,IBM Cloud Dedicated 客户已经能够 在其安全的 Dedicated 环境中 使用 Kubernetes 运行时, 以及 Cloud Foundry 应用程序工作负载和服务。 作为 IBM Cloud Dedicated 客户, 您可以通过管理员联系 IBM 支持人员 申请 IBM Cloud Container Service(Kubernetes 产品)。 几天内 IBM 就会在您的环境中 启用 Kubernetes 服务, 启用之后,所有功能将不断扩充。 这将确保您创建的 Kubernetes 工作节点 与其他 IBM Cloud Dedicated 应用程序和服务 部署在同一单租户环境中。 此外,工作节点还部署在 专门用于您帐户的虚拟机管理程序中, 而且在防火墙后受到保护。 所有专用的 IBM Cloud 部署都免费提供了以下益处和特性:VPN、专用虚拟局域网 (VLAN)、防火墙、利用现有内部部署数据库和应用程序的能力、24/7 现场安全保护、专用硬件,以及标准支持。 即刻点击“阅读原文”获得完整文章,get √ 超燃技能,开启全新体验!
IBMdW 发布于 1小时前 阅读 1

Rolling Update - 每天5分钟玩转 Docker 容器技术(140)

本节学习如何在 Kubernetes 中滚动更新应用。
CloudMAN 发布于 2个月前 阅读 20

浅析Kubernetes StatefulSet

Kubernetes 1.5正式发布StatefulSet,在Kubernetes 1.9 stable。这里将对StatefulSet进行解读分析,包括最佳实践、与Deployment的主要区别、Node网络异常等情况下处理方法以及在网络、存储、伸缩、滚动更新方面的原理解析等内容。下一篇博客将对StatefulSet Controller进行源码分析,相信一定会有其他收获。
WaltonWang 发布于 1个月前 阅读 244 点赞 1

如何在ubuntu上安装virtualbox的driver module vboxdrv

干净的ubuntu安装完毕之后是没有vboxdrv这个driver module的。 ![](https://upload-images.jianshu.io/upload_images/2085791-44a69481a6ba3133.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 新建一个folder jerry_virtualbox: ![](https://upload-images.jianshu.io/upload_images/2085791-ee3df3df1411521e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 使用wget下载virtualbox安装包:https://download.virtualbox.org/virtualbox/5.2.8/virtualbox-5.2_5.2.8-121009~Ubuntu~xenial_amd64.deb ![](https://upload-images.jianshu.io/upload_images/2085791-7ec5731e64fbbd36.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 下载完毕: ![](https://upload-images.jianshu.io/upload_images/2085791-d7a386a0d7daaf46.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) ![](https://upload-images.jianshu.io/upload_images/2085791-a36893cd8bf7a33c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 使用sudo dpkg -i 安装. 之后apt-get update. 如果遇到Could not get lock /var/lib/apt/lists/lock - open: ...
JerryWang_SAP 发布于 1个月前 阅读 12

在 Rolling Update 中使用 Health Check - 每天5分钟玩转 Docker 容器技术(146)

Health Check 会确保新版本确实能够工作,否则就不让其对外提供服务。
CloudMAN 发布于 1个月前 阅读 136

视频直播常见问题与解决办法汇总【系列二—直播截图】

摘要: 使用场景 用户常需要对视频直播的内容进行分析。例如,需要对直播中的某一帧的内容作为封面图片或者对于直播内容进行鉴黄以查看内容合法性等需求。因此,视频直播提供了实时截图功能满足用户的截图需求。 截图功能介绍 截图功能配置 配置视频直播的截图功能可以通过两种方法: 通过控制台创建:详情参考 控制台配置截图。 使用场景 用户常需要对视频直播的内容进行分析。例如,需要对直播中的某一帧的内容作为封面图片或者对于直播内容进行鉴黄以查看内容合法性等需求。因此,视频直播提供了实时截图功能满足用户的截图需求。 截图功能介绍 截图功能配置 配置视频直播的截图功能可以通过两种方法: 通过控制台创建:详情参考 控制台配置截图。 通过API/SDK:API/SDK提供了添加、删除、查询和更新截图配置的接口,详情分别参考 添加截图配置、删除截图配置、查询截图配置、更新截图配置。下面提供使用Java SDK添加截图配置的示例代码。 IClientProfile profile = DefaultProfile.getProfile("cn-hangzhou","<AccessKeyId>", "<AccessKeySecret>"); IAcsClient client = new DefaultAcsClient(profile); AddLiveAppSnapshotConfigRequest addLiveAppS...
阿里云云栖社区 发布于 1个月前 阅读 22

一张图看懂阿里云解析PrivateZone

摘要: 近日,阿里云宣布云解析PrivateZone正式对外公测,该产品是基于阿里云专有网络VPC(Virtual Private Cloud)环境的私有域名解析和管理服务,使用户在自定义的一个或多个专有网络VPC中快速构建DNS系统,将私有域名映射到IP地址。 近日,阿里云宣布云解析PrivateZone正式对外公测,该产品是基于阿里云专有网络VPC(Virtual Private Cloud)环境的私有域名解析和管理服务,使用户在自定义的一个或多个专有网络VPC中快速构建DNS系统,将私有域名映射到IP地址。 通过PrivateZone,用户可以方便地使用私有域名记录来管理VPC中的ECS主机名、SLB、OSS等阿里云资源,而这些私有域名在VPC之外将无法访问。此外,还可以通过专线或VPN等连接方式,将用户的VPC与传统数据中心相连,实现传统数据中心与阿里云VPC之间通过私有域名进行资源互相访问,给广大运维工程师、系统工程师、网络工程师等技术人员带来福音。 下面通过一张图来了解一下吧
阿里云云栖社区 发布于 4周前 阅读 8

如何在Kubernetes中管理有状态应用

Kubernetes中,StatefulSet被用来管理有状态的应用的API对象。本文介绍了其使用场景、限制、组件,对Pod选择器和身份标识进行了解释,同时分享了StatefulSet的部署、扩容及更新策略。
RancherLabs 发布于 3周前 阅读 136 评论 1

利用独立分区作为ceph的日志存储

原文链接:http://doc.okbase.net/renguijiayi/archive/91258.html 有效方法,修改ceph集群的配置文档 [osd] osd journal = /dev/sda2 osd journal size = 0
cephn1 发布于 3个月前 阅读 45

直播预告 | Rainbond与Service Mesh微服务架构

本周四 晚8:00 ZOOM语音直播间48-095-8255
好雨云帮 发布于 1周前 阅读 7

如何实现一个优质的微服务框架:Apache ServiceComb 的开放性设计

一个优质的微服务框架需要考虑的要素众多,在满足微服务设计理念的前提下,也是一个不断实践优化的过程。 本文讲述了整个 开源微服务框架 Apache ServiceComb 设计形成的前因后果,尝试从理念、思想和实践结合的维度剖析一个优质的微服务框架应该具备哪些要素,包括但不限于 对开发者友好、高性能、内外部扩展性等。 阅读本文有利于加深对微服务理念和框架的理解,给予微服务用户或开发者以帮助,这也是 Apache ServiceComb 的前身华为云微服务引擎的智慧结晶,从细节处承载了华为云自身多年云化转型的经验。
ServiceComb 发布于 2天前 阅读 2956 评论 10 点赞 2 打赏 1

完整微服务化示例:使用 Apache ServiceComb (incubating) 进行微服务开发、容器化、弹性伸缩

最完整的微服务化示例,从业务场景入手,讲述微服务化架构设计、容器化、集群部署、弹性伸缩
ServiceComb 发布于 7天前 阅读 2809 评论 8 点赞 1 打赏 1

73款阿里巴巴开源软件详解!

详细解读阿里巴巴开源技术,包括框架、组件、引擎、数据库/存储、平台/系统、解决方案、工具、中间件、Web Sever、设计等十大类73款!
阿里巴巴

高可用负载均衡:开源PaaS Rainbond组件Rainbond-Entrance揭秘

负载均衡(Load Balancing)是开源PaaS Rainbond的亮点功能,主要由“软件定义负载均衡”Rainbond-Entrance控制器完成。 本文将围绕设计架构和实现介绍Rainbond-Entrance。 #### 为什么需要负载均衡 Rainbond内部网络划分支持多租户,每个租户都有一个私有的IP段,不同租户的网络相互不可见。当我们把一个容器化应用部署到Rainbond,Rainbond会为该容器分配一个内部IP,用于同一租户中不同应用在集群内部的通信,而集群外部无法直接访问,因此我们需要有一个集群入口控制器,以便用户可以方便地访问这些应用。 另外,Rainbond中部署的每个应用都可以有多个实例,即假设我们为一个WEB应用部署了三个实例,每个实例分担一部分流量,我们就需要这三个实例前增加负载均衡控制器来完成分发流量的工作。 除了上述的基本功能以外,负载均衡控制器还必须支持更多功能,例如: * 入口控制器能够根据数据包信息(如协议、端口号、主机名等)将请求转发给指定的应用 * 实时发现集群中应用的变化(如添加自定义域名、添加证书、添加端口等)并动态更新自身的转发规则 * 同时支持HTTP、TLS、TCP、UDP协议,因为有时不只WEB应用需要向外提供服条,RPC、MySQL等也需要对外开放 * 支持高可用...
好雨云帮 发布于 2天前 阅读 121

如何加入微服务 Apache ServiceComb 社区

如何加入 微服务 Apache ServiceComb 开源社区 本文转载自 微服务 Apache SerivceComb (incubating) 的官方博客: http://servicecomb.incubator.apache.org/cn/docs/join_the_community/   近期,热衷开源和微服务的伙伴们非常关注如何加入到 微服务 Apache ServiceComb (incubating) 社区。ServiceComb作为开源的Apache 孵化项目,加入方式和常规的加入开源社区的方式大体一致,一般为三个阶段: 1. 订阅并关注社区动态; 2. 开始在开源社区提交第一份代码; 3. 深度加入社区讨论并贡献; 以下将详细向大家讲述如何一步步加入ServiceComb社区。   Step 1 订阅并关注ServiceComb社区动态 订阅和关注社区动态的途径有:即时通讯工具(社区微信群、gitter)、社区公众号、开发者邮件列表、门户网站。 即时通讯工具 扫描下方二维码或搜索ServiceComb小助手加入微信群,加入后可以在微信群中咨询和求助,会有热心的伙伴和committer 及时的响应回复。 也可使用Github账号登录gitter(地址 https://gitter.im/ServiceCombUsers/Lobby)进行在线讨论,国内的伙伴们更习惯于使用微信群进行在线交流,但为了更方便后来加入的人可以检索并查阅前期的讨论内容存档,所以ServiceCo...
ServiceComb 发布于 7天前 阅读 51

Kubernetes移除node节点

1.kubectl delete node {{节点名称}} 2.删除node节点上由kubelet自动生成的kubelet.kubeconfig配置文件,和ssl密钥证书kubelet.key,kubelet.crt,kubelet-client.key,kubelet-client.crt  
吳捷 发布于 2个月前 阅读 248

从一次集群雪崩看Kubelet资源预留的正确姿势

在使用Kubernetes时,我会利用kubelet的Node Allocatable特性为Node上的Kube组件和System进程预留一部分资源不被App Pods所占用。我在配置kubelet时遗漏了几个配置项,引发了一次集群雪崩,本文就为你解读kubelet resource reserve及其使用注意事项。
WaltonWang 发布于 2个月前 阅读 704 评论 3 点赞 2

使用Kolla-Ansible在CentOS 7单节点上部署OpenStack Pike

使用Docker容器技术、加上Ansible进行OpenStack自动化部署,就是Kolla-Ansible项目,从此进行OpenStack的部署和销毁更加简单(熟悉之后)。本文详细讲述了使用Kolla-Ansible部署单节点Pike版本OpenStack的步骤,同时只用修改一下主机清单,就可轻松扩展至多节点。
LastRitter 发布于 3个月前 阅读 459 打赏 1

Kubernetes如何通过Device Plugins来使用NVIDIA GPU

在Kubernetes 1.10版本中,默认并推荐使用DevicePlugins Feature Gate来发现和使用Nvidia GPU资源,抛弃了Kubernetes 1.8之前推荐使用的Accelerators Feature Gate的built-in方式,继承了Kubernetes的插件化的思想,把专业的事交给专业的厂商去做。本文将介绍Device Plugins的的原理和工作机制、Extended Resource、异常处理及改进、如何使用和调度GPU等内容。
WaltonWang 发布于 2周前 阅读 351

ceph peering流程分析

peering是osd中pg状态达成一致的关键阶段
白加弱 发布于 3周前 阅读 38 评论 1

微服务 Apache ServiceComb (incubating) 首次发布新版本

微服务 Apache ServiceComb 发布新版本
ServiceComb 发布于 7天前 阅读 21

window 环境下docker-compose命令报错:(2, 'WaitNamedPipe', 'The system cannot find the file specified.')

报错命令:docker-compose up -d 错误信息: File "site-packages\docker\transport\npipeconn.py", line 31, in connect File "site-packages\docker\transport\npipesocket.py", line 22, in wrapped File "site-packages\docker\transport\npipesocket.py", line 49, in connect pywintypes.error: (2, 'WaitNamedPipe', 'The system cannot find the file specified.') docker-compose returned -1   docker环境解析: 主机系统为win10,用Docker Toolbox安装docker,此环境下docker engine是跑在virtualbox虚拟机的linux系统里的,管理基本上靠docker-machine。所以在window执行docker-xxx的命令基本上都是通过网络连接到virtualbox的虚机上操作docker。 默认的通信地址为"tcp://192.168.99.100:2376" 查看具体环境信息通过 docker-machine env 查看,如下 export DOCKER_TLS_VERIFY="1" export DOCKER_HOST="tcp://192.168.99.100:2376" export DOCKER_CERT_PATH="C:\Users\TheGeniesis\.docker\machine\machines\default" export DOCKER_MACHINE_NAME="default" export COMPOSE_CONVERT_WINDOWS_PATHS="true" # Run this command to configure your shell: # e...
JennerLuo 发布于 2个月前 阅读 117

calico与flannel对比

一 calico架构 首先请看calico的架构图,如下图。   calico包括如下重要组件:Felix,etcd,BGP Client,BGP Route Reflector。下面分别说明一下这些组件。 Felix:主要负责路由配置以及ACLS规则的配置以及下发,它存在在每个node节点上。 etcd:分布式键值存储,主要负责网络元数据一致性,确保Calico网络状态的准确性,可以与kubernetes共用; BGPClient(BIRD), 主要负责把 Felix写入 kernel的路由信息分发到当前 Calico网络,确保 workload间的通信的有效性; BGPRoute Reflector(BIRD), 大规模部署时使用,摒弃所有节点互联的mesh模式,通过一个或者多个 BGPRoute Reflector 来完成集中式的路由分发; 二 calico原理 如下图所示,描述了从源容器经过源宿主机,经过数据中心的路由,然后到达目的宿主机最后分配到目的容器的过程。 整个过程中始终都是根据iptables规则进行路由转发,并没有进行封包,解包的过程,这和flannel比起来效率就会快多了。 三 flannel原理 四 对比 从上述的原理可以看出,flannel在进行路由转发的基础上进行了封包解包的操作,这样浪费了CPU的计算资源。下图是从网上找到的各个开源网络组件的性能对比。可以看出无论是带宽还是网络延迟...
tqyin 发布于 1个月前 阅读 62

calicoctl命令简介

在calico中,有多种网络资源。以v1.6.1为例,网络资源包含:node,bgpPeer,hostEndpoint,workloadEndpoint,ipPool,policy,profile等。 下面我将讲解如何使用calicoctl命令行工具来控制这些网络资源。
BookShu 发布于 2个月前 阅读 74

放大倍数超5万倍的Memcached DDoS反射攻击,怎么破?

欢迎大家前往[腾讯云+社区](https://cloud.tencent.com/developer),获取更多腾讯海量技术实践干货哦~ > 作者:[腾讯游戏云](https://cloud.tencent.com/developer/user/1024461) ## 背景:Memcached攻击创造DDoS攻击流量纪录 近日,利用Memcached服务器实施反射DDoS攻击的事件呈大幅上升趋势。DDoS攻击流量首次过T,引发业界热烈回应。现腾讯游戏云回溯整个事件如下: 追溯2 月 27 日消息,Cloudflare 和 Arbor Networks 公司于周二发出警告称,恶意攻击者正在滥用 Memcached 协议发起分布式拒绝服务(DDoS)放大攻击,全球范围内许多服务器(包括 Arbor Networks 公司)受到影响。下图为监测到Memcached攻击态势。 ![image](http://upload-images.jianshu.io/upload_images/5127279-d24535668ecb9916?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) **仅仅过了一天,就出现了1.35Tbps攻击流量刷新DDoS攻击历史纪录。** 美国东部时间周三下午,GitHub透露其可能遭受了有史最强的DDoS攻击,专家称攻击者采用了放大攻击的新方法Memcached反射攻击,可能会在未来发生更大规模的分布式拒绝服务(DDoS)攻击。对GitHub平台的第一次峰值流量攻击达到了1.35Tbps,随后又出...
腾讯云加社区 发布于 2个月前 阅读 146

JAVA 操作CephFS的例子

添加MAVEN依赖 <dependency> <groupId>com.ceph</groupId> <artifactId>libcephfs</artifactId> <version>0.80.5</version> </dependency> 例子代码 import com.ceph.fs.CephMount; import java.io.IOException; public class CephFSTest { public static void main(String[] args){ //admin是ceph的admin用户  CephMount mount = new CephMount("admin"); //10.112.101.141;10.112.101.142;10.112.101.143是ceph集群的mon节点,有多少个写多少个 mount.conf_set("mon_host", "10.112.101.141;10.112.101.142;10.112.101.143"); System.out.println(mount.conf_get("mon_host")); //以下的key来自于ceph环境的/etc/ceph/ceph.client.admin.keyring里面的key mount.conf_set("key","AQAfN2dZzp19OhAAKlQz2rKKoBATIuGdBkXD0A=="); //在创建目录之前必须先mount到根目录 mount.mount("/"); //在根目录下面创建子目录 mysqlDB,0777是对目录的权限控制,这个可以改成别的,不过最好要让目录具有读写权限 try { ...
tqyin 发布于 3个月前 阅读 94

环境变量方式使用 Secret - 每天5分钟玩转 Docker 容器技术(158)

本节讨论如何以环境变量的方式使用 Secret。
CloudMAN 发布于 4天前 阅读 10

区块链到底是什么?

A Blockchain/The Blockchain/Blockchain Technology概念辨析
腾讯云加社区 发布于 2个月前 阅读 78

微服务Apache ServiceComb 数据一致性Saga演进介绍

微服务 开源项目 Apache ServiceComb(incubating) 的 微服务事务的数据一致性解决方案 Saga[4](以下简称Saga)进行了演进。相对于上一版[2],新演进的设计主要有以下优势: 极大提升易用性。开发者只需使用2-3个注解(即启用事务服务:EnableOmega、全局事务标记:SagaStart和子事务标记:Compensable)。 更方便扩展。对微服务框架的支持更友好。 数据一致性与业务逻辑解耦。在演进后的设计中,通过服务侧omega的引入,saga协调器的职责更为单一(只需负责协调事务的完整性),与具体业务无关,因此,开发人员可以聚焦在具体业务的开发。
ServiceComb 发布于 7天前 阅读 16

zookeeper实现主-从结构的一般原理

![输入图片说明](https://static.oschina.net/uploads/img/201804/10214015_9d4p.jpg "在这里输入图片标题") ### 以下文字只是时序图的解释说明,重点是看懂时序图。 为了避免主节点/从节点和zk的节点概念看着乱,以下就用Master/Slave称呼了。 ### 1 选Master 系统启动后,所有slave都会尝试在zk树上创建/master节点,创建成功的节点成为Master角色。 然而Master可能会崩溃,所以其他slave要继续监视/master节点。当Master挂掉后,slave重新选举出新的Master(这里的选举就是抢占)。这就要求服务节点挂掉后,/master节点随之删除,以便能让其他slave接到通知,所以master为必须为**临时节点**。 ### 2 Master的准备工作 创建三个父节点/works 、/tasks、 /assign 。(也可以由一个引导程序建) 这三个父节点都是**永久节点**,且不包含任何数据,作为**目录节点**存在。其子节点分别用于存储可用的slave、任务信息、向从节点分配任务。 创建完成后,Master要监视/works和/tasks两个节点,以便能感知到由哪些slave当前可用,当前有新任务需要分配。 ### 3 Slave的准备工作 slave向zk注册自己的信息,让zk通知Master“我上线了,有新任务分配给我!” 同样,Master也需要及时...
忙碌的键盘 发布于 2周前 阅读 159

NVIDIA/k8s-device-plugin源码分析

本文主要对NVIDIA/k8s-device-plugin v1.10的源码进行分析,包括插件的启动、停止、注册、gRPC Server的实现,及其基于Kubernetes device plugin v1beta1的ListAndWatch、Allocate接口实现细节等内容。
WaltonWang 发布于 1周前 阅读 212

阿里云Overlay的SDN 实践: 架构设计与产品实现

摘要: 这篇文章介绍了阿里云在云上 overlay 网络的SDN实践, 包括了 overlay 架构的介绍, 建设 overlay 时遇到的挑战, 以及基于 overlay 的产品.         在不久前的Open Network Summit洛杉矶峰会上,阿里云网络资深技术专家程钢博士发表演讲 SDN Practice for Cloud Overlay Network: From Infrastructure to Products。详细介绍了阿里云Overlay的SDN架构的设计与产品化实践。以下是本次演讲的翻译稿,分享给各位网络爱好者。   问题背景:         阿里云在近两年的发展非常迅速, 年营业额以104%的速度增长, 在2018财年的季度收入已经超过了30亿人民币, 国内市场占有率来到了47.6%, 成为了一个世界领先的公共云服务提供商. 阿里云全球的数据中心建设也囊括了各大洲的主要国家, 能够为全球各地的而用户提供云服务.         而阿里云网络则负责为这样一个快速发展的庞然大物提供可靠, 高效, 安全的网络服务, 而其中压力最大的时刻则来自每年淘宝的双11活动. 阿里云负责提供淘宝在双11活动所需要的的弹性服务, 而阿里云网络则负责在双11期间的巨大流量的正常传输. 有一组数据可以为这个流量添加注解: 双11的峰值成交量是 32.5万单/秒, 峰值支付量25.6万单...
阿里云云栖社区 发布于 4分钟前 阅读 1

集成 Kubernetes 与 Cloud Foundry,IBM自有一套

现在,IBM Cloud Dedicated 客户已经能够 在其安全的 Dedicated 环境中 使用 Kubernetes 运行时, 以及 Cloud Foundry 应用程序工作负载和服务。 作为 IBM Cloud Dedicated 客户, 您可以通过管理员联系 IBM 支持人员 申请 IBM Cloud Container Service(Kubernetes 产品)。 几天内 IBM 就会在您的环境中 启用 Kubernetes 服务, 启用之后,所有功能将不断扩充。 这将确保您创建的 Kubernetes 工作节点 与其他 IBM Cloud Dedicated 应用程序和服务 部署在同一单租户环境中。 此外,工作节点还部署在 专门用于您帐户的虚拟机管理程序中, 而且在防火墙后受到保护。 所有专用的 IBM Cloud 部署都免费提供了以下益处和特性:VPN、专用虚拟局域网 (VLAN)、防火墙、利用现有内部部署数据库和应用程序的能力、24/7 现场安全保护、专用硬件,以及标准支持。 即刻点击“阅读原文”获得完整文章,get √ 超燃技能,开启全新体验!
IBMdW 发布于 1小时前 阅读 1

微服务和SOA的区别

MSA,SOA
Jack1991 发布于 2小时前 阅读 3

Why Helm? - 每天5分钟玩转 Docker 容器技术(160)

本章我们将学习 Helm,Kubernetes 的包管理器。
CloudMAN 发布于 10小时前 阅读 8

如何选择最佳CI工具:Drone VS. Jenkins

CI界的老牌霸主Jenkins,和在容器时代发展迅猛的小而美的Drone,他们在平台安装和管理、插件生态系统、Pipeline细节等方面各有何优缺点?希望本文可以为Kubernetes/Docker用户更好运用CI解决方案带来启发。
RancherLabs 发布于 23小时前 阅读 14

通过Minio搭建私有化对象存储服务_开源PaaS Rainbond最佳实践

#### 概述 Minio是建立在云原生的基础上;有分布式和共享存储等功能;旨在多租户环境中以可持续的方式进行扩展的对象存储服务。它最适合存储非结构化数据,如:照片、视频、日志文件、容器/虚拟机/映像等,单次存储对象的大小最大可达5TB。 #### 实现架构 ##### 单节点 * 根据存储是否为远端,可直接使用FS或NFS直接操作存储中的Object * 调用S3接口,通过Minio使用FS或NFS来操作Object ![](https://static.goodrain.com/images/acp/docs/bestpractice/minio/minio-single.png) ##### 多节点 多节点的Minio会根据不同的Access_key及Secret_Key来区分不同租户,每个租户可操作对应Server获取Object。Minio Server间可以通过不同的[进程模型](https://baike.baidu.com/item/%E8%BF%9B%E7%A8%8B%E6%A8%A1%E5%9E%8B)、容器或是虚拟机来互相隔离。 ![](https://static.goodrain.com/images/acp/docs/bestpractice/minio/minio-multi.png) ##### 分布式 分布式Minio在无共享架构中根据需求扩展到尽可能多的服务器,所有节点需要使用相同的Access_key及Secret_key来登录。分布式Minio使用Web负载均衡器或DNS轮循(DNS round-robin),在各服务器之间实现负载均衡。 ![](https://stat...
好雨云帮 发布于 1天前 阅读 4

如何实现一个优质的微服务框架:Apache ServiceComb 的开放性设计

一个优质的微服务框架需要考虑的要素众多,在满足微服务设计理念的前提下,也是一个不断实践优化的过程。 本文讲述了整个 开源微服务框架 Apache ServiceComb 设计形成的前因后果,尝试从理念、思想和实践结合的维度剖析一个优质的微服务框架应该具备哪些要素,包括但不限于 对开发者友好、高性能、内外部扩展性等。 阅读本文有利于加深对微服务理念和框架的理解,给予微服务用户或开发者以帮助,这也是 Apache ServiceComb 的前身华为云微服务引擎的智慧结晶,从细节处承载了华为云自身多年云化转型的经验。
ServiceComb 发布于 2天前 阅读 2956 评论 10 点赞 2 打赏 1

高可用负载均衡:开源PaaS Rainbond组件Rainbond-Entrance揭秘

负载均衡(Load Balancing)是开源PaaS Rainbond的亮点功能,主要由“软件定义负载均衡”Rainbond-Entrance控制器完成。 本文将围绕设计架构和实现介绍Rainbond-Entrance。 #### 为什么需要负载均衡 Rainbond内部网络划分支持多租户,每个租户都有一个私有的IP段,不同租户的网络相互不可见。当我们把一个容器化应用部署到Rainbond,Rainbond会为该容器分配一个内部IP,用于同一租户中不同应用在集群内部的通信,而集群外部无法直接访问,因此我们需要有一个集群入口控制器,以便用户可以方便地访问这些应用。 另外,Rainbond中部署的每个应用都可以有多个实例,即假设我们为一个WEB应用部署了三个实例,每个实例分担一部分流量,我们就需要这三个实例前增加负载均衡控制器来完成分发流量的工作。 除了上述的基本功能以外,负载均衡控制器还必须支持更多功能,例如: * 入口控制器能够根据数据包信息(如协议、端口号、主机名等)将请求转发给指定的应用 * 实时发现集群中应用的变化(如添加自定义域名、添加证书、添加端口等)并动态更新自身的转发规则 * 同时支持HTTP、TLS、TCP、UDP协议,因为有时不只WEB应用需要向外提供服条,RPC、MySQL等也需要对外开放 * 支持高可用...
好雨云帮 发布于 2天前 阅读 121

【新功能】媒体处理MPS全新支持自适应多码率、多语言音轨

摘要: 视频内容的分发与播放已经深入了各行业的各类业务场景之中,对于视频平台而言,在不同网络状况下,都能以最优质的状况播放视频,满足用户对于观看体验的更高追求是一个不变的目标。为了更好的满足视频云客户的需求,阿里云媒体处理MPS产品在目前已经全面支持自适应多视频码率、多语言音轨和字幕等功能。 功能优势与适用场景 自适应多码率: 根据用户实际网络带宽条件,自动匹配视频流,兼顾清晰度和流畅度 适用场景: 实际上在视频内容传输过程中因为网络不稳定,播放卡顿、无法观看等问题时常发生。平台方一般会输出多个固定码率的视频(流畅、标准、高清、超清),在播放中用户如果遇到卡顿等问题,可以手动将视频清晰度调低,来保证播放顺畅,反之如果网络情况较好,用户再手动将视频清晰度调高来实现更好的观看体验。为了应对网络环境变化的问题,自适应多码率则可以实现自动匹配最合适的码率,不再需要用户手动切换,就可以实现视频清晰度与网络状态的最佳适配。 多音轨多字幕: 支持多语言音轨、字幕 适用场景: 在视频平台全球化发展的进程中,支持切换多国语言/少数民族语言与字幕,可以有效解决视频的传播障碍难题,该功能适用于视频内容在全球范围内推广...
阿里云云栖社区 发布于 2天前 阅读 4

从Rancher 1.6到2.0:术语及概念变化对比

Rancher2.0 Beta版已正式发布,从1.6发展到2.0,Rancher产品将更多地遵循Kubernetes的命名标准。本文为你提供了Cattle和K8s的术语和概念的参照对比,帮助你理解Rancher2.0中的新概念。
RancherLabs 发布于 2天前 阅读 4

用 ConfigMap 管理配置 - 每天5分钟玩转 Docker 容器技术(159)

本文讨论如何用 ConfigMap 管理应用的配置信息。
CloudMAN 发布于 2天前 阅读 11

十六周二次课

shell脚本介绍、 shell脚本结构和执行、 date命令用法、 shell脚本中的变量
寰宇01 发布于 3天前 阅读 4

阿里深度学习的“金刚钻”——千亿特征XNN算法及其落地实践

摘要:随着十二点的钟声响起,无数人盯着购物车开启了一年一度的“剁手”之旅。可你有没有想过这购物狂欢的背后是什么支撑起了数据规模如此庞大的计算任务?其实不只是“双十一”,每一个用户的点击和浏览,每一件宝贝的排序和推荐,还有贴心的“猜你喜欢”,在这背后“操控”一切的“手”又是什么?本文将带领大家一探究竟。 演讲嘉宾简介: 范朝盛(花名:朝圣),阿里巴巴搜索事业部算法专家,北京大学数学与计算机科学博士,2016年加入阿里巴巴,现主要从事推荐系统特征、模型、架构和大规模机器学习框架的研发工作。 以下内容根据演讲嘉宾视频分享以及PPT整理而成。 本次分享的主要围绕以下三个方面: 一.业务背景 二.XPS机器学习平台 三.XNN深度学习算法   一.业务背景 业务场景和机器学习的问题 业务场景主要包括三个方面: (1) 搜索:比如用户在淘宝中输入检索词,网站则会展示出相应宝贝信息的场景。 (2)广告:包括搜索广告,精准定向广告和品牌广告等场景。 (3)推荐:将淘宝客户端网页从上到下滑动,其中很多场景均为推荐子场景。 在这些业务场景中蕴含着各种各样的问题,从技术的角度看,主要的三类问题是经典的数据挖掘问题、图像问题(低质量图像的...
阿里云云栖社区 发布于 3天前 阅读 5

阿里云大学云计算专业欢迎加入

云计算: 云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进行运算。 对云计算的定义有多种说法。对于到底什么是云计算,至少可以找到100种解释。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。  阿里云大学互联网学院:云计算专业课程首页 从0到1,成为云计算工程师; 理论结合实战,掌握云计算核心知识以及上云技能,学成后可独立完成迁移上云及大型互联网云上架构设计项目,成为行业专家。 适合人群 云计算爱好者、开发...
mcy0425 发布于 3天前 阅读 2

关于SDN的未来,Linux基金会专访阿里云网络大神

摘要: 近日,大家熟知的国际开源组织Linux基金会与阿里云进行了一次访谈。专访了阿里云网络团队掌门人江鹤。江鹤执掌阿里云网络产品线,并负责阿里集团网络虚拟化产品的研发管理工作。在软件定义网络(SDN)和网络功能虚拟化(NFV)领域从事开发和产品管理工作多年,是一名资深网络技术专家。 近日,大家熟知的国际开源组织Linux基金会与阿里云进行了一次访谈。专访了阿里云网络团队掌门人江鹤。江鹤执掌阿里云网络产品线,并负责阿里集团网络虚拟化产品的研发管理工作。在软件定义网络(SDN)和网络功能虚拟化(NFV)领域从事开发和产品管理工作多年,是一名资深网络技术专家。他参与和主导了阿里云网络从第一代经典网络,第二代VPC网络,如今进化到领先的第三代全球云上企业网的历史进程。他所带领的团队历时近十年,打造并不断完善阿里云飞天系统中的网络大脑 – 洛神。他还7次参加天猫双十一的技术保障项目,为全民网购保驾护航。本次访谈中,大神分享了他对软件定于网络(SDN)的商业价值以及未来发展趋势的看法。特别涉及了网络界时下热门的SD-WAN技术的前景。那么他都说了些什么呢?我们一起来看一下。 你怎么理解SDN SDN(Software Defined Network)其实不是一...
阿里云云栖社区 发布于 3天前 阅读 7

视频 | Rainbond与Service mesh微服务架构

一体化架构为何遭遇强拆?开发语言为何自由选择?资源利用率为何大幅提高?微服务架构插件体系,应该怎样结合?独立部署、升级、替换、伸缩的微服务,运维应该是喜是忧?管理复杂度到底怎样解决?这一切究竟是技术的飞跃还是架构的革新,是敏捷性的增长还是可靠性的提升?敬请关注下方视频“Rainbond与Service Mesh微服务架构”不得不说的故事。 #### 主讲人 开源PaaS Rainbond技术负责人曾庆国 #### 内容大纲 * 浅谈微服务架构 * api-gateway快速搭建微服务框架 * Service Mesh加速传统应用服务化改造 * 通过Rainbond落地多种模式微服务 #### 视频 http://v.youku.com/v_show/id_XMzU1MjMyMjc0MA==.html?spm=a2hzp.8244740.0.0 #### PPT 下载敬请关注好雨云微信服务号,回复“直播4”获取PPT。 #### 进一步了解Rainbond v3.5.1 * 网站: https://www.rainbond.com * 试用Rainbond公有云: https://www.goodrain.com * Github: https://github.com/goodrain/rainbond * 码云: https://gitee.com/rainbond/Rainbond * 微信群: 添加微信“qingguo-wei”并接受邀请入群...
好雨云帮 发布于 3天前 阅读 5

伸缩Kubernetes到2500个节点中遇到的问题和解决方法

Kubernetes自从[1.6](https://github.com/kubernetes/features/blob/master/release-1.6/release-notes-draft.md)起便号称可以承载5000个以上的节点,但是从数十到5000的路上,难免会遇到问题。 本片文章即分享Open API在kubernetes 5000之路上的经验,包括遇到的问题、尝试解决问题以及找到真正的问题。 ## 遇到的问题以及如何解决 ### 问题一:1 ~ 500个节点之后 问题: kubectl 有时会出现 timeout(p.s. `kubectl -v=6` 可以显示所有API细节指令) 尝试解决: * 一开始以为是kube-apiserver服务器负载的问题,尝试增加proxy做replica协助进行负载均衡 * 但是超过10个备份master的时候,发现问题不是因为kube-apiserver无法承受负载,GKE通过一台32-core VM就可以承载500个节点 原因: * 排除以上原因,开始排查master上剩下的几个服务(etcd、kube-proxy) * 开始尝试调整etcd * 通过使用[datadog](https://www.datadoghq.com/)查看etcd吞吐量,发现有异常延迟(latency spiking ~100 ms) * 通过[Fio](https://github.com/axboe/fio)工具做性能评估,发现只用到10%的IOPS(Input/Output Per Second),由于写入延迟(write latency 2ms)降低了性能 * 尝试把SSD从网络硬盘变为...
好雨云帮 发布于 3天前 阅读 6

使用 Jenkins 构建 Coding 项目

使用 Jenkins 构建 Coding 项目   Jenkins 版本 安装配置 Jenkins Coding Webhook Plugin 在 Coding 中配置 Webhook Jenkins 是一个用 Java 编写的开源的持续集成工具。它运行在 Servlet 容器中(例如 Apache Tomcat)。它支持软件配置管理(SCM)工具(包括 AccuRev SCM、CVS、Subversion、Git、Perforce、Clearcase 和 RTC),可以执行基于 Apache Ant 和 Apache Maven 的项目,以及任意的 Shell 脚本和 Windows 批处理命令。 使用 Jenkins 构建 Coding 项目是利用 Webhook 向 Jenkins 服务器发送请求。Jenkins 接收到 Webhook 请求后,进行构建。要实现以上功能需要使用 Jenkins 的插件来实现,Jenkins Coding Webhook Plugin 是通过 Jenkins Gitlab Webhook 插件修改而得。安装后即可响应 Coding 的 Webhook 请求。 Jenkins 版本 在 Jenkins 插件库里标记的,对 Jenkins 的版本依赖是 1.625.3。 在我司吃自己的狗粮的实践中,目前使用 Jenkins 版本为 2.67。(稳定版为 2.60 / 2.73) 安装配置 Jenkins Coding Webhook Plugin 安装 登陆到您的 Jenkins 服务器。选择『系统管理』。 点击『管理插件』  选择『可选插件』,在右上方 『过滤』框中,输入『coding』...
寰宇01 发布于 4天前 阅读 6

cinder配置多ceph储存池[Ceph and Cinder multi-backend]

I. Ceph 要配置Ceph以使用不同的存储设备,请参阅: Ceph 2 speed storage with CRUSH. II. Cinder 假设调用了两个池: rbd-sata 指向 SATA rack rbd-ssd 指向 SSD rack II.1 配置操作 Cinder 配置文件: #多后端选项 #定义多个卷后端组的名称 enabled_backends=rbd-sata,rbd-ssd #定义上面的组 [rbd-sata] volume_driver=cinder.volume.driver.RBDDriver rbd_pool=cinder-sata volume_backend_name=RBD_SATA # 如果启用cephX需要配置下面内容 #rbd_user=cinder #rbd_secret_uuid=<None> [rbd-ssd] volume_driver=cinder.volume.driver.RBDDriver rbd_pool=cinder-ssd volume_backend_name=RBD_SSD #如果启用cephX需要配置下面内容 #rbd_user=cinder #rbd_secret_uuid=<None> 然后创建指针 $cinder type-key ssd set volume_backend_name=RBD_SSD $cinder type-key sata set volume_backend_name=RBD_SATA $cinder extra-specs-list +--------------------------------------+------+---------------------------------------+ | ID | Name | extra_specs | +--------------------------------------+------+...
JennerLuo 发布于 4天前 阅读 3

开源PaaS | Rainbondv3.5.1全面支持高可用部署

本次v3.5.1迭代对部分功能特性进行了补充和优化,并修复了部分情况下可能会出现的BUG,其中`rbd-worker`及`rbd-entrance`组件将通过本次迭代支持高可用部署,至此Rainbond所有组件实现了对HA的全面支持。
好雨云帮 发布于 4天前 阅读 8 评论 3

如何实现一个优质的微服务框架:Apache ServiceComb 的开放性设计

一个优质的微服务框架需要考虑的要素众多,在满足微服务设计理念的前提下,也是一个不断实践优化的过程。 本文讲述了整个 开源微服务框架 Apache ServiceComb 设计形成的前因后果,尝试从理念、思想和实践结合的维度剖析一个优质的微服务框架应该具备哪些要素,包括但不限于 对开发者友好、高性能、内外部扩展性等。 阅读本文有利于加深对微服务理念和框架的理解,给予微服务用户或开发者以帮助,这也是 Apache ServiceComb 的前身华为云微服务引擎的智慧结晶,从细节处承载了华为云自身多年云化转型的经验。
ServiceComb 发布于 2天前 阅读 2956 评论 10 点赞 2 打赏 1

73款阿里巴巴开源软件详解!

详细解读阿里巴巴开源技术,包括框架、组件、引擎、数据库/存储、平台/系统、解决方案、工具、中间件、Web Sever、设计等十大类73款!
阿里巴巴

完整微服务化示例:使用 Apache ServiceComb (incubating) 进行微服务开发、容器化、弹性伸缩

最完整的微服务化示例,从业务场景入手,讲述微服务化架构设计、容器化、集群部署、弹性伸缩
ServiceComb 发布于 7天前 阅读 2809 评论 8 点赞 1 打赏 1

TensorFlow on Kubernetes的架构与实践

这两年,Kubernetes在企业中的DevOps、微服务领域取得了出色的成绩,从2017年开始,将Kubernetes应用到HPC、AI等领域也成了技术热点。这里我给大家分享一下Kubernetes在AI中的落地经验,内容包括TensorFlow on Kubernetes的架构与实践,以及线上经验和坑。
WaltonWang 发布于 3个月前 阅读 1482 评论 4 点赞 3

操作系统级虚拟化概述

本文简要介绍了操作系统级虚拟化的概念,并简要阐述了实现操作系统虚拟化所用到的技术Namespace及cgroups的原理及使用方法。
宅蓝三木 发布于 4个月前 阅读 1179 评论 3 点赞 3

kubernetes中部署DNS

* 先吐槽一下,最近研究k8s的dns,看了很多相关博客,发现很多都是一样的内容,大部分都是转载或者copy,也不验证一下就发出来,给我无形中挖了很多坑。再次先谴责一下这些人! * 开始正题! * 使用场景:ubuntu16.04, kubernetes1.4及以上, 集群没有搭建CA等认证!其他场景仅作参考! ## 1.为什么要部署DNS kubernetes 提供了 service 的概念可以通过 VIP(Service IP 是 virtual IP(VIP)) 访问 pod 提供的服务,但是在使用的时候还有一个问题:怎么知道某个应用的 VIP?比如我们有两个应用,一个 app,一个 是 db,每个应用使用 rc或deployment进行管理,并通过 service 暴露出端口提供服务。app 需要连接到 db 应用,我们只知道 db 应用的名称,但是并不知道它的 VIP 地址。这就涉及到了==服务发现==的问题了。 * 针对以上问题,k8s提供了三种==服务发现==的方法: ### 方法1.通过kubernetes 提供的 API 查询 该方法较为简单,但问题较多。首先每个应用都要在启动的时候编写查询依赖服务的逻辑,这本身就是重复和增加应用的复杂度;其次这也导致应用需要依赖 kubernetes,不能够单独部署和运行(当然如果通过增加配置选项也是可以做到的,但这又是增加复杂度)。 ### ...
蓝色雨全 发布于 5个月前 阅读 1210 评论 10 点赞 2 打赏 1

TensorFlow Serving在Kubernetes中的实践

本文介绍了TensorFlow Serving的配置,尤其是官方文档没作完整介绍的model version policy的配置,另外介绍了编译TensorFlow Serving时的优化实践以及在Kubernetes中的部署,以及使用时的注意事项。
WaltonWang 发布于 5个月前 阅读 1357 评论 4 点赞 2

Kubernetes在vivo容器云平台中的应用与实践

本博文是我参加2017/11/04 K8S技术社区深圳站Meetup分享的PPT内容,主要介绍Kubernetes在vivo容器云平台的应用与实践,重点介绍我们跟业界大多数方案不一样的地方,包括整体架构(HA/Security)、定制化的应用滚动方案、Ingress方案及部署实践、容器网络方案以及在TaaS方向的探索与实践等等。
WaltonWang 发布于 6个月前 阅读 2765 评论 16 点赞 7

解析Kubernetes 1.8中的基于Pod优先级的抢占式调度

在 1.8 的发布版本中,SIG Scheduling 通过引入 Pod 优先级和抢占特性扩展了共享集群的概念。这些特性允许在单一集群中混合运行不同类型的应用和任务,提高了集群的利用率和可用性。这些特性目前都是 alpha 版本。本文将对这一特性进行全面介绍,下一篇博文会从scheduler源码进行分析。
WaltonWang 发布于 6个月前 阅读 1394 评论 2 点赞 3

私有云中Kubernetes Cluster HA方案

发现很多Kubernetes刚入门的同学对Kubernetes的Master高可用方案很感兴趣,官方又只给出了GCE上部署高可用的方案,因此我觉得有必要把我之前做的Kubernetes Master HA方案分享一下。
WaltonWang 发布于 6个月前 阅读 1396 评论 2 点赞 4

实弹军演-基于Ceph对象存储的实战兵法

保障国家权益的第一道防线是军队,而保障数据安全的最强壁垒则是存储。老司机多年经验总结,分享几点基于Ceph的对象存储实战兵法.
秦牧羊 发布于 9个月前 阅读 1502 评论 4 点赞 3

Spring Cloud 项目综述(技术栈一览)

Spring Cloud 为构建分布式系统和微服务提供了一些通用的工具,例如:配置中心,服务注册与发现,熔断器,路由,代理,控制总线,一次性令牌,全局锁,leader选举,分布式 会话,集群状态等。
侯法超 发布于 1年前 阅读 7740 评论 14 点赞 18

API的文档自动生成——基于CDIF的SOA基本能力

当前,作为大部分移动app和云服务后台之间的标准连接方式,REST API已经得到了绝大部分开发者的认可和广泛的应用。近年来,在新兴API经济模式逐渐兴起,许多厂商纷纷将自己的后台业务能力作为REST API开放出来,给更广泛的第三方开发者使用。   但是,管理REST API并非是一件容易的工作。由于缺乏有效的接口数据schema约束,加上设计REST API时resource endpoint的安排,以及发送http请求的方式又都五花八门,REST API开发完成后,大多数情况下API开发者仍然需要手动书写API文档,让用户能按照文档的说明接入。并且在API发生变化时需要重写文档,这个过程费时费力而且容易出错。比如,一个REST API文档最少必须列明以下的基本信息:   * API的名称 * API所在的URL资源路径 * http请求方法(GET, POST, PUT等) * API提交数据的方式(查询参数、表单提交、JSON提交等) * 调用API返回数据的格式   在上面提供的REST API信息中,从API返回的JSON数据在大部分情况下甚至只能用“举例”的方法说明数据的结构,而无法精确表达出这段JSON数据中每个字段的精确含义和类型定义。这都是因为REST API缺少对JSON数据的schema定义而导致,而这种“举例”的方式毫无疑问是一种很无奈很...
尼采与旺财 发布于 1年前 阅读 1782 评论 17

CheungSSH3.0国产自动化运维堡垒机

CheungSSH Web3.0 虽然不优秀,但衷心希望能给予支持和理解 项目地址:http://git.oschina.net/CheungSSH_OSC/CheungSSH 建议您使用git命令下载,因为文件比较大,如果用浏览器,和可能下载不完整 [root@CheungSSH ~]# git clone https://git.oschina.net/CheungSSH_OSC/CheungSSH.git 讨论QQ群:517241115        在当今互联网的发展大势下,云计算和大数据已经成为主导。在两大趋势下,企业的服务器数量日益增多,如何有效的管理众多的服务器,已经成为了各大公司考虑的问题。在传统的人工管理模式下,已经很难做到高效的维护,是人管理服务器?还是服务器管理人?        为了解决这个问题,我痴迷于运维自动化研究,目前后端使用的Python语言+Django的Web框架,前端使用Bootstrap+Javascript+jQuery框架开发的CheungSSH Web3.0自动化运维系统,通信协议采用Linux系统自带的SSH协议,无Agent。并通过Paramiko库完成自动化登录,本系统可以基本满足日常的自动化运维需求。系统全程由我自主研发,不采用任何第三方工具和接口。        系统设计不足之处请各位朋友指出,也感谢大家的支持和信任,如果在使用过程中遇到任何问题,或者有任何的意见和建议...
张其川 发布于 1年前 阅读 8833 评论 27 点赞 21

用大白话聊聊分布式系统

一提起“分布式系统”,大家的第一感觉就是好高大上啊,深不可测,看各类大牛关于分布式系统的演讲或者书籍,也大多是一脸懵逼。本文期望用浅显易懂的大白话来就什么是分布式系统、分布式系统有哪些优势、分布式系统会面临哪里挑战、如何来设计分布式等方面的话题来展开讨论。
waylau 发布于 1年前 阅读 4485 评论 11 点赞 8

使用spark计算文档相似度

使用spark,TF_IDF计算文档相似度
penngo 发布于 1年前 阅读 3703 评论 3 点赞 5

构建多平台的Ignite集群:Java+.NET

Ignite集群可以由它支持的任意平台启动的节点组成,包括Java、.NET和C++。本文会介绍如何通过NuGet和Maven运行一个.NET/Java集群,作为一个示例,本文会创建一个跨平台的点对点聊天系统。
李玉珏 发布于 1年前 阅读 1811 评论 4 点赞 3

配置 DHCP 服务 - 每天5分钟玩转 OpenStack(89)

前面章节我们看到 instance 在启动过程中能够从 Neutron 的 DHCP 服务获得 IP,本节将详细讨论其内部实现机制并开始配置。
CloudMAN 发布于 2年前 阅读 2069 点赞 1

Apache Hadoop 入门教程

Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下,开发出可靠、可扩展的分布式计算应用。 Apache Hadoop 框架,允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持从单一服务器到上千台机器的扩展,充分利用了每台机器所提供本地计算和存储,而不是依靠硬件来提供高可用性。其本身被设计成在应用层检测和处理故障的库,对于计算机集群来说,其中每台机器的顶层都被设计成可以容错的,以便提供一个高度可用的服务。 Apache Hadoop 的框架最核心的设计就是:HDFS 和 MapRedu
waylau 发布于 2年前 阅读 5914 评论 6 点赞 13

Hive Transaction 事务性 小试

提到Hive一般都会想到,Hive是数据仓库,支持类SQL查询,有很多语法支持,可以嵌套MR,写Transform、写UDF/UDAF等,但是,不支持更新操作。所以Hive的常见也一般都是一次写入,频繁读取。从Hive 0.13开始,加入了ACID的新feature,但是0.13的时候还不支持insert、update和delete操作,我也并没有欣然的当小白鼠。 目前我们平台使用hive1.2.1的社区版,业务上也遇到了需要更新的场景。也是继续调研Transaction的特性。
王二铁 发布于 2年前 阅读 3675 评论 5

企业级容器Registry开源项目Harbor架构简介

企业级容器Registry开源项目Harbor架构简介 作者:姜坦 张海宁 (本文作者为Harbor项目组核心成员,于2016年9月5日作了更新。) 1. Harbor项目 VMware公司最近开源了企业级Registry项目Harbor,由VMware中国研发的团队负责开发。Harbor项目是帮助用户迅速搭建一个企业级的registry 服务。它以Docker公司开源的registry为基础,提供了管理UI, 基于角色的访问控制(Role Based Access Control),镜像远程复制(同步),AD/LDAP集成、以及审计日志(Audit logging) 等企业用户需求的功能,同时还原生支持中文,对广大中国用户是一个好消息。本文将介绍Harbor项目的主要组件,并阐述Harbor的工作原理。 (源代码地址:https://github.com/vmware/harbor ) 2.架构介绍 1)    主要组件 Harbor在架构上主要由6个组件构成: ·      Proxy:Harbor的registry, UI, token等服务,通过一个前置的反向代理统一接收浏览器、Docker客户端的请求,并将请求转发给后端不同的服务。 ·      Registry: 负责储存Docker镜像,并处理docker push/pull 命令。由于我们要对用户进行访问控制,即不同用户对Docker image有不同的读写权限,Registry会指向一个token服务,强制用户的...
project_harbor 发布于 2年前 阅读 3098 评论 4 点赞 5
顶部