开源中国

我们不支持 IE 10 及以下版本浏览器

It appears you’re using an unsupported browser

为了获得更好的浏览体验,我们强烈建议您使用较新版本的 Chrome、 Firefox、 Safari 等,或者升级到最新版本的IE浏览器。 如果您使用的是 IE 11 或以上版本,请关闭“兼容性视图”。
博客专区 - 开源中国社区

精彩阅读

  • 最新推荐

  • 今日热门

  • 本周热门

  • 每日一博

  • 最新文章

Rancher 2.0 里程碑版本:支持添加自定义节点!

不因春节放缓版本更新的步伐,Rancher2.0迎来又一里程版本更新,支持用户添加自定义节点!
RancherLabs 发布于 1周前 阅读 246 评论 2 点赞 1

基于Kubernetes的ESaaS架构及实现细节(二)

ESaaS(ElasticSearch as a Service)是ElasticSearch on Kubernetes的产品实现,是利用Docker和Kubernetes等容器虚拟化和编排调度系统,将ElasticSearch抽象为CaaS(Container as a Service)平台上的一种服务,实现秒级创建和扩缩容一个用户自定义的ElasticSerach集群,并且保证高可用和数据安全等方面。上一篇“基于Kubernetes的ESaaS架构及实现细节(一)”介绍了基于LocalDisk构建ESaaS的架构探索,这篇将介绍这个方案需要注意和考虑的关键实现细节。
WaltonWang 发布于 1周前 阅读 176

Serverless架构:有明云PaaS

    今天大多数公司无论是在开发应用程序的时候还是将其部署到服务器的时候,无论是选择公有云还是私有云,都需要提前估算究竟需要多少台服务器,都需要部署运行应用程序和依赖的各种各样的软件到服务器上。如果我们不想在这些与业务无关的繁琐的细节上耗费精力,是否有一种简单的架构能够满足我们的需求呢?答案是Serverless(无服务器)架构。     Serverless架构,或者称为无服务器架构,是最近几年兴起的一种架构风格。这究竟是一种什么样的架构?无服务器,难道真的没有服务器了吗?难道真的不需要服务器了吗?其实不是的,对于Serverless来说,只是用户不用更多地去考虑服务器的相关内容了,无需再去考虑服务器的CPU、硬盘、内存、带宽等配置,无需考虑什么时候容量不足了要增加服务器,无需再去服务器上安装配置各种开发、部署和监控软件,无需考虑服务器是否会被黑客攻陷,无需持续地更新升级系统封堵系统漏洞,无需考虑因机器硬件故障而需要进行的灾备,无需考虑系统的高可用、高性能,无需考虑随着业务规模增加而需要进行的水平伸缩,等等。     有明云PaaS 4.0完整实现了Serverless架构。Serverless的意思是开发应用时不需要考虑管理服务器的事情。将应用...
杨尚川 发布于 2周前 阅读 225

基于Kubernetes的ESaaS架构及实现细节(一)

ESaaS(ElasticSearch as a Service)是ElasticSearch on Kubernetes的产品实现,是利用Docker和Kubernetes等容器虚拟化和编排调度系统,将ElasticSearch抽象为CaaS(Container as a Service)平台上的一种服务,实现秒级创建和扩缩容一个用户自定义的ElasticSerach集群,并且保证高可用和数据安全等方面。本文是基于LocalDisk构建ESaaS的架构探索,下一篇介绍这个方案需要注意和考虑的关键实现细节。
WaltonWang 发布于 2周前 阅读 570 点赞 2

CentOS7源码编译CloudStack 4.10.0版本生成RPM包

编译Apache CloudStack的先决条件¶ 编译CloudStack所需的先决条件很多,本文在Linux CentOS&系统上编译,使用RPM包管理。 如下是编译CloudStack的最低需求: Maven (版本 3) Java (Java 8/OpenJDK 1.8) Apache网页服务器常用工具(ws-commons-util) MySQL MySQLdb (提供python数据库API) Tomcat 7 genisoimage rpmbuild 下载源码包 wget http://www.apache.org/dyn/closer.lua/cloudstack/releases/4.10.0.0/apache-cloudstack-4.10.0.0-src.tar.bz2 或到github上clone源码,然后切到4.10.0分支 提取的源代码 tar -xvf apache-cloudstack-4.10.0.0-src.tar.bz2   配置MySQL的Yum源 cat << eof > /etc/yum.repos.d/mysql.repo [mysql-community] name=MySQL Community connectors baseurl=http://repo.mysql.com/yum/mysql-connectors-community/el/$releasever/$basearch/ enabled=1 gpgcheck=1 eof   Import GPG public key from MySQL rpm --import http://repo.mysql.com/RPM-GPG-KEY-mysql 安装mysql-connector yum install mysql-connector-python 安装openjdk,mysql,maven等 yum install java-1.8.0-openjdk-devel.x86_64 genisoimage mysql mysql-server ws-co...
tqyin 发布于 2周前 阅读 96 评论 3

使用Rest api管理Ceph网关

  开发基于Ceph RadosGW的微服务,需要实现调用方可以通过rest api就能创建用户,获取用户信息等功能。
BookShu 发布于 2周前 阅读 439 点赞 1

使用Kolla-Ansible在CentOS 7单节点上部署OpenStack Pike

使用Docker容器技术、加上Ansible进行OpenStack自动化部署,就是Kolla-Ansible项目,从此进行OpenStack的部署和销毁更加简单(熟悉之后)。本文详细讲述了使用Kolla-Ansible部署单节点Pike版本OpenStack的步骤,同时只用修改一下主机清单,就可轻松扩展至多节点。
LastRitter 发布于 3周前 阅读 135 打赏 1

CentOS7.0安装Ceph(jewel)及以上版本

由于docker的Ceph插件rexray对Ceph版本有一定的要求,当Ceph版本为hammer (0.94.10)时,rexray无法成功创建rbd设备。CentOS 7及以上版本,默认安装的就是hammer版本,因此,我们需要安装更高的jewel版本。
BookShu 发布于 3周前 阅读 215 评论 2

简述 Spring Cloud 是什么

很多同学都了解了Spring ,了解了 Spring Boot, 但对于 Spring Cloud 是什么还是比较懵逼的。 本文带你简单的了解下,什么是Spring Cloud。
waylau 发布于 3周前 阅读 471

TensorFlow on Kubernetes的架构与实践

这两年,Kubernetes在企业中的DevOps、微服务领域取得了出色的成绩,从2017年开始,将Kubernetes应用到HPC、AI等领域也成了技术热点。这里我给大家分享一下Kubernetes在AI中的落地经验,内容包括TensorFlow on Kubernetes的架构与实践,以及线上经验和坑。
WaltonWang 发布于 4周前 阅读 1012 评论 3 点赞 3

Docker开发实践笔记三

1、容器网络基础 作为一个寄宿在宿主主机上的容器,我们要想办法让外部网络能够访问到它,这样才能够使用其提供的服务。当docker启动时,它会在宿主主机上创建一个名为docker0的虚拟网络接口。linux下可以通过:ifconfig命令查看,windods下使用ipconfig查看。 1.1 暴露网络端口 Docker中运行网络应时,要让外部能访问这里需要通过-P或-p参数来指定端口映射。通过端口映射来实现端口暴露是容器对外提供服务的基础方法。 -P(大写):Docker会在宿主主机上随机为应用分配一个49000~49900内的未被使用的端口,并将其映射到容器开放的网络端口(即通过EXPOSE配置的端口)。 这里以官方的一个培训项目示例: docker run -d -P training/webapp python app.py 使用下面的命令可以查看到运行分配的端口号。 docker ps 上面的32768就是随机分配的端口,每次运行时分配的可能都不一样,5000是容器暴露出来的端口。这样通过http://localhost:32768 就能访问服务了。 -p(小写):它可以指定宿主主机上的端口映射到容器内部指定的开放端口,格式有如下3种: ip:hostPort:containerPort //指定ip和端口与容器开放的端口绑定 docker run -d -p 192.168.0.1:8000:5000 training/webapp pyt...
君子如兰 发布于 4周前 阅读 288

rexray在CentOS上不能创建ceph rbd的docker volume问题定位

我们通过docker的rexray插件来创建ceph rbd设备的docker volume,但总提示创建失败。 "Error":"Failed to create new volume"
BookShu 发布于 4周前 阅读 44

简单几步搭建一个基于Docker的Tomcat运行环境!

【前言】: Docker旨在提供一种应用程序的自动化部署解决方案,在 Linux 系统上迅速创建一个容器(轻量级虚拟机)并部署和运行应用程序,并通过配置文件可以轻松实现应用程序的自动化安装、部署和升级,非常方便。因为使用了容器,所以可以很方便的把生产环境和开发环境分开,互不影响,这是 docker 最普遍的一个玩法。更多的玩法还有大规模 web 应用、数据库部署、持续部署、集群、测试环境、面向服务的云计算、虚拟桌面 VDI 等等。   主观的印象:Docker 使用 Go 语言编写,用 cgroup实现资源隔离,容器技术采用 LXC. 提供了能够独立运行Unix进程的轻量级虚拟化解决方案。它提供了一种在安全、可重复的环境中自动部署软件的方式。LXC命令有些复杂,若感兴趣,这里有一篇我以前写的基于LXC,(从无到有,搭建一个简单版的JAVA PAAS云平台),可以提前复习一下。   有关实现原理、相关理论、运用场景等,会在本系列后面书写,这里先来一个浅尝辄止,完全手动,基于Docker搭建一个Tomcat运行环境。先出来一个像模像样Demo,可以见到效果,可能会让我们走的更远一些。   环境 本文所有环境,VMwareWorkStation上运行ubuntu-13.10-server-amd64,注意是64位系统,理论上其它...
dockerer 发布于 1个月前 阅读 331 点赞 1

以太坊私链入门

区块链是什么?一句话,它是一种特殊的(非关系型)分布式数据库,这种数据库只能做插入和查找操作,并且没有管理员。
neo-chen 发布于 1个月前 阅读 342 评论 1 点赞 4

[Spring Cloud Stream]1 流式微服务核心概念

# 概述 流式微服务主要用于实时处理源源不断的数据流,相对于应用微服务,它对开发人员提出了更多的技术要求。数据本身不像是纯业务应用,相对来说它是抽象的、复杂的,且在传输,存储,分析等方面都比应用微服务提出了更高的性能要求。 在设计上,Spring Cloud Stream 是一个用于构建消息驱动的微服务框架,它基于Spring Boot来创建对 DevOps 提供良好支持的微服务应用,通过 Spring Integration 集成工具为消息连接与传播提供一个统一的、灵活的操作平台。该操作平台是可配置的,比如配置 生产者/消费者 、消费者所属消费者组甚至是消息分区(需要消息中间件提供商本身的支持)。 Spring Cloud Stream的使用非常简单,在应用的main启动类上加上 `@EnableBinding` 注解就可以连接消息中间件,创建一个流式微服务。通过在方法上添加 `@StreamListener` 注解就可以异步处理所接收到的消息。 # 快速开始 下面通过一个简单的 sink 应用来演示Stream应用的消息接收者用法。 @SpringBootApplication @EnableBinding(Sink.class) public class VoteRecordingSinkApplication { public static void main(String[] args) { SpringApplication.run(VoteRecordingSinkApplication.cl...
为为02 发布于 1个月前 阅读 304 评论 1

Docker开发实践笔记二

镜像是容器运行基础,容器是镜像运行后的形态,二者紧密相连又有不同。
君子如兰 发布于 1个月前 阅读 304

Docker开发实践笔记一

容器是一个打包了应用和服务的环境。它是一个轻量级的虚拟机,每一个容器都由一组特定的应用和必要的依赖组成
君子如兰 发布于 1个月前 阅读 279

疯狂Spring Cloud连载(30)Sleuth整合Zipkin

Sleuth Zipkin
杨大仙的程序空间 发布于 1个月前 阅读 103

k8s 重要概念 - 每天5分钟玩转 Docker 容器技术(117)

在实践之前,必须先学习 Kubernetes 的几个重要概念,它们是组成 Kubernetes 集群的基石。
CloudMAN 发布于 1个月前 阅读 242

疯狂Spring Cloud连载(29)微服务跟踪概述

微服务跟踪
杨大仙的程序空间 发布于 1个月前 阅读 202

凑单算法——基于Graph Embedding的bundle mining

一、背景   凑单作为购物券导购链路的一个重要环节,旨在帮助用户找到商品,达成某个满减门槛(比如满400减50),完成跨店凑单,完善购物券整个链路的体验。满减购物券作为大促中使用最广泛的一种营销手段,优势远大于红包、商品打折等优惠活动,它不仅能给用户带来切实的优惠,而且能让用户买的更多,提升客单价。凑单作为用券的重要链路,旨在帮助消费者找到能使用同门槛优惠券的商品。   今年凑单相比往年,有两个重大突破,首先是产品形态上的改变,往年,凑单只是一个商品推荐页,今年,凑单能够支持搜索、价格筛选、类目筛选、销量排序、价格排序等搜索功能。其次,算法上做了重大突破,基于Graph Embedding的bundle mining,bundle是打包购的意思,我们认为凑单的重要场景是当用户已经加购了商品A,还想找一个能一起打包买的商品B,而不是想找跟A相似的商品C,传统的u2i、相似i2i并不能满足凑单场景的需求,为了突破找相似等经常被人诟病的体验,我们甚至不能有u2i、相似i2i等逻辑,所以bundle mining变成凑单算法优化的重点,不仅能提升丰富性的体验,还能提升转化效率。     购物车的凑单入口        凑单页 二、核心算法 1、基本思路   图是一...
mcy0425 发布于 3周前 阅读 5

Rancher 2.0 里程碑版本:支持添加自定义节点!

不因春节放缓版本更新的步伐,Rancher2.0迎来又一里程版本更新,支持用户添加自定义节点!
RancherLabs 发布于 1周前 阅读 246 评论 2 点赞 1

Centos7使用yum安装Marathon

官方提供了两种安装方式(http://mesosphere.github.io/marathon/docs/),一种是下载压缩包解压,一种是使用yum(https://mesosphere.com/blog/mesosphere-package-repositories/)。 第一种没有问题,解压后,执行脚本加上参数启动即可: ./bin/start --master zk://127.0.0.1:2181/mesos --zk zk://127.0.0.1:2181/marathon 第二种只需要执行指令即可: sudo rpm -Uvh http://repos.mesosphere.com/el/6/noarch/RPMS/mesosphere-el-repo-6-2.noarch.rpm sudo yum -y install marathon 安装完成之后,执行systemctl start marahon后,浏览器打开http://ip:8080,发现打不开。 执行systemctl status marahon或者查看/var/logs/messages,发现报错“Required option 'master' not found”。 显然marathon启动需要执行master参数,尝试用命令直接启动,是没问题的,说明yum安装的没有问题。官网页没有告知如何配置相关参数,百度到一种说法,类似于mesos的配置方式,即: echo zk://127.0.0.1:2181/mesos > /etc/marathon/conf/master echo zk://127.0.0.1:2181/marathon > /etc/marathon/conf/zk 再次尝试启动发现问题依旧,于是查看/usr/lib/systemd/system/marathon.serv...
丁富贵 发布于 7天前 阅读 6

stack 的优势 - 每天5分钟玩转 Docker 容器技术(113)

本节告诉你 stack 有哪些的优势。
CloudMAN 发布于 2个月前 阅读 22

Nomad简易集群

## 学习使用nomad - 上期consul搭建完成以后,就可以根据这期的内容,部署nomad服务,nomad会自动找到本机的8500consul端口,主动去注册服务。 ### 启动服务器 第一步是为服务器创建配置文件。无论是从下载的文件[github](https://github.com/hashicorp/nomad/tree/master/demo/vagrant),或粘贴到一个名为server.hcl: ``` vim server.hcl # Increase log verbosity log_level = "DEBUG" # Setup data dir data_dir = "/tmp/server1" # Enable the server server { enabled = true # Self-elect, should be 3 or 5 for production bootstrap_expect = 1} ``` 这是一个相当最小的服务器配置文件,但只能以仅服务器方式启动代理,并将其选为leader。应该对生产进行的主要变化是运行多台服务器,并更改相应的bootstrap_expect值。 创建文件后,在新选项卡中启动代理: ``` $ sudo nomad agent -config server.hcl ==> WARNING: Bootstrap mode enabled! Potentially unsafe operation. ==> Starting Nomad agent... ==> Nomad agent configuration: Client: false Log Level: DEBUG Region: global (DC: dc1) Server: true Version: 0.6.0 ==> Nomad agent started! Log dat...
magichyang 发布于 2个月前 阅读 95

在本地搭建play-with-docker

#### 安装play-with-docker 官方Github地址 https://github.com/play-with-docker/play-with-docker 本人Github地址 https://github.com/magic-chenyang/play-with-docker-yc 步骤: ``` $ docker swarm init $ git clone https://github.com/play-with-docker/play-with-docker $ sudo modprobe xt_ipvs $ 安装golang环境 版本在go1.7.1+ $ go get -v -d -t ./... $ docker-compose up -d 或者 docker stack deploy --compose-file docker-compose.yml PWD ``` > 注意:go环境在$/GOPATH/src/golang.org/x目录内需要两个包crypto text,如果没有这两个包,服务pwd1/2容器会挂掉. ``` 没有包去github上拉取 $ git clone https://github.com/golang/crypto.git $ git clone https://github.com/golang/text.git ``` docker service ls查看服务都run起来以后访问 ``` http://localhost:80 ``` > 访问过程中,本机需要翻墙,代码中涉及到google链接,是被墙的. - 在pwd1/2容器中的环境变量"GOOGLE_RECAPTCHA_DISABLED"默认在docker-compose.yml中为"true",在vmware虚拟机搭建中,需要将其改为"1",即可跳过google机器识别,但还需要翻墙. 结果: ![](http://images2017.cnblogs.com/blog/...
magichyang 发布于 2个月前 阅读 7

分布式存储ceph 对象存储配置zone 同步

一、架构:         Ceph天生带两地三中心概念,我们要去的双活就是两个数据中心,Ceph两数据中心可以在一个集群也可以在不同的集群中。     二,概念:              zone:包含多个RGW实例的一个逻辑概念。zone不能跨集群。同一个zone的数据保存在同一组pool中。            zonegroup:一个zonegroup如果包含1个或多个zone。如果一个zonegroup包含多个zone,必须指定 一个zone作为master zone,用来处理bucket和用户的创建。一个集群可以创建多个zonegroup,一个zonegroup也可以跨多个集群。           realm:一个realm包含1个或多个zonegroup。如果realm包含多个zonegroup,必须指定一个zonegroup为master zonegroup, 用来处理系统操作。一个系统中可以包含多个realm,多个realm之间资源完全隔离。           RGW多活方式是在同一zonegroup的多个zone之间进行,即同一zonegroup中多个zone之间的数据是完全一致的,用户可以通过任意zone读写同一份数据。 但是,对元数据的操作,比如创建桶、创建用户,仍然只能在master zone进行。对数据的操作,比如创建桶中的对象,访问对象等,可以在任意zone中 处理。 三、在Cluster1集群上配置mas...
tqyin 发布于 2个月前 阅读 119 评论 1

机器学习入门-线性回归(一)

用一句话简单概括一下线性回归: 线性回归是要求一个函数,通过这个函数来预测一个值。 举个例子,比如你要去银行贷款,那银行肯定不能随便给你钱吧。假设,银行会根据3个指标来决定带给你的额度:工资,年龄,房产,分别设为x1x1,x2x2,x3x3,这些就是我们的特征,再设Y为银行借给我们的钱。于是,可以得到:   Y=θ0+θ1x1+θ2x2+θ3x3Y=θ0+θ1x1+θ2x2+θ3x3 . 其中,thetaithetai就是这个线性回归模型的参数了,分别表示同特征对贷款额度的影响程度,比如theta1=10,theta2=100,theta3=1000theta1=10,theta2=100,theta3=1000,那所表明的意思就是房产占的比重最大,年龄其次。theta0theta0叫做偏置项,可以理解成根据贷款之前银行偏于借的多还是借的少,这个跟每个去银行借款的个人没有关系。 线性回归就是找到最合适的一条线(可以想象一个高维),来最好的拟合我们的数据点。 拟合的平面:hθ(x)=θ0+θ1x1+θ2x2+θ3x3hθ(x)=θ0+θ1x1+θ2x2+θ3x3. 整合一下:htheta(x)=sumni=0thetaixi=thetaTxhtheta(x)=sumi=0nthetaixi=thetaTx(其中,x0=1x0=1) 真实值和预测值之间肯定是要存在误差的,我们用εε表示。 对于每个样本:y(i)=θTx(i)+ε(i)y(i)=θTx(i)+ε(i). ...
mcy0425 发布于 3周前 阅读 3

基于Kubernetes的ESaaS架构及实现细节(一)

ESaaS(ElasticSearch as a Service)是ElasticSearch on Kubernetes的产品实现,是利用Docker和Kubernetes等容器虚拟化和编排调度系统,将ElasticSearch抽象为CaaS(Container as a Service)平台上的一种服务,实现秒级创建和扩缩容一个用户自定义的ElasticSerach集群,并且保证高可用和数据安全等方面。本文是基于LocalDisk构建ESaaS的架构探索,下一篇介绍这个方案需要注意和考虑的关键实现细节。
WaltonWang 发布于 2周前 阅读 570 点赞 2

DaemonSet 案例分析 - 每天5分钟玩转 Docker 容器技术(130)

本节详细分析两个 k8s 自己的 DaemonSet:kube-flannel-ds 和 kube-proxy 。
CloudMAN 发布于 5天前 阅读 6

TensorFlow on Kubernetes的架构与实践

这两年,Kubernetes在企业中的DevOps、微服务领域取得了出色的成绩,从2017年开始,将Kubernetes应用到HPC、AI等领域也成了技术热点。这里我给大家分享一下Kubernetes在AI中的落地经验,内容包括TensorFlow on Kubernetes的架构与实践,以及线上经验和坑。
WaltonWang 发布于 4周前 阅读 1012 评论 3 点赞 3

使用Kolla-Ansible在CentOS 7单节点上部署OpenStack Pike

使用Docker容器技术、加上Ansible进行OpenStack自动化部署,就是Kolla-Ansible项目,从此进行OpenStack的部署和销毁更加简单(熟悉之后)。本文详细讲述了使用Kolla-Ansible部署单节点Pike版本OpenStack的步骤,同时只用修改一下主机清单,就可轻松扩展至多节点。
LastRitter 发布于 3周前 阅读 135 打赏 1

Google、IBM和Lyft开源的微服务管理框架Istio安装与试用

使用istio可以很简单的创建具有负载均衡、服务间认证、监控等功能的服务网络,而不需要对服务的代码进行任何修改。你只需要在部署环境中,例如Kubernetes的pod里注入一个特别的sidecar proxy来增加对istio的支持,用来截获微服务之间的网络流量。 目前版本的istio只支持kubernetes,未来计划支持其他其他环境。
tqyin 发布于 2个月前 阅读 933 点赞 1

运行自己的 DaemonSet - 每天5分钟玩转 Docker 容器技术(131)

本节以 Prometheus Node Exporter 为例演示如何运行自己的 DaemonSet。
CloudMAN 发布于 2天前 阅读 9

云计算简述

互联网技术的快速发展,信息量与数据量的飞速增长,导致单个计算机的计算能力和存储能力满足不了人们的需求,大大提高了成本。在这种情况下云计算应允而生。云计算将待处理的数据送到互联网上的超级计算机集群中进行计算和处理,把互联网变成一种全新的计算平台,能够在网络上实现按需购买与按使用付费的业务模式。   云计算是信息技术与服务的交付领域的重大进步。由于能够以自助、动态扩展、可计量的方式提供对共享计算资源池的按需访问,云计算在成本、速度和效率方面具有无与伦比的优势。
Idea 发布于 1天前 阅读 5

操作系统级虚拟化概述

本文简要介绍了操作系统级虚拟化的概念,并简要阐述了实现操作系统虚拟化所用到的技术Namespace及cgroups的原理及使用方法。
宅蓝三木 发布于 2个月前 阅读 1061 评论 3 点赞 3

Kubernetes 1.8.4 手动安装教程-安装Node(四)

Kubernetes 1.8.4 手动安装教程
tqyin 发布于 1个月前 阅读 31

Kubernetes 1.8.4 手动安装教程-安装Heapster(八)

Heapster       Heapster 是 Kubernetes 社区维护的容器集群监控分析工具。Heapster 会从 Kubernetes apiserver 获得所有 Node 信息,然后再通过这些 Node 来获得 kubelet 上的数据,最后再将所有收集到数据送到 Heapster 的后台储存 InfluxDB,最后利用 Grafana 来抓取 InfluxDB 的数据源来进行可视化。 在master通过 kubectl 来创建 kubernetes monitor 即可 生成kube-heapster.yml cat <<EOF > kube-heapster.yml apiVersion: v1 kind: ServiceAccount metadata: name: heapster-sa namespace: kube-system labels: kubernetes.io/cluster-service: "true" addonmanager.kubernetes.io/mode: Reconcile --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: heapster-binding labels: kubernetes.io/cluster-service: "true" addonmanager.kubernetes.io/mode: Reconcile roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: system:heapster subjects: - kind: ServiceAccount name: heapster namespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1 ...
tqyin 发布于 1个月前 阅读 92

使用Rest api管理Ceph网关

  开发基于Ceph RadosGW的微服务,需要实现调用方可以通过rest api就能创建用户,获取用户信息等功能。
BookShu 发布于 2周前 阅读 439 点赞 1

部署 k8s Cluster(上)- 每天5分钟玩转 Docker 容器技术(118)

我们将部署三个节点的 Kubernetes Cluster。
CloudMAN 发布于 1个月前 阅读 35

基于Kubernetes的ESaaS架构及实现细节(一)

ESaaS(ElasticSearch as a Service)是ElasticSearch on Kubernetes的产品实现,是利用Docker和Kubernetes等容器虚拟化和编排调度系统,将ElasticSearch抽象为CaaS(Container as a Service)平台上的一种服务,实现秒级创建和扩缩容一个用户自定义的ElasticSerach集群,并且保证高可用和数据安全等方面。本文是基于LocalDisk构建ESaaS的架构探索,下一篇介绍这个方案需要注意和考虑的关键实现细节。
WaltonWang 发布于 2周前 阅读 570 点赞 2

运行自己的 DaemonSet - 每天5分钟玩转 Docker 容器技术(131)

本节以 Prometheus Node Exporter 为例演示如何运行自己的 DaemonSet。
CloudMAN 发布于 2天前 阅读 9

TensorFlow on Kubernetes的架构与实践

这两年,Kubernetes在企业中的DevOps、微服务领域取得了出色的成绩,从2017年开始,将Kubernetes应用到HPC、AI等领域也成了技术热点。这里我给大家分享一下Kubernetes在AI中的落地经验,内容包括TensorFlow on Kubernetes的架构与实践,以及线上经验和坑。
WaltonWang 发布于 4周前 阅读 1012 评论 3 点赞 3

CentOS7搭建kubernetes集群环境

一、服务器环境准备 192.168.247.128 : k8s-master、etcd、registry 192.168.247.129 : k8s-nodeA 192.168.247.130 : k8s-nodeB 注:安装lsb_release命令:yum install redhat-lsb -y 三台机器配置相同 安装好相同版本的docker: [root@localhost ~]# docker -v Docker version 1.12.6, build 85d7426/1.12.6 三台机器上分别修改hostname: master上运行: [root@localhost ~]#  hostnamectl --static set-hostname  k8s-master nodeA上运行: [root@localhost ~]# hostnamectl --static set-hostname  k8s-nodeA nodeB上运行: [root@localhost ~]# hostnamectl --static set-hostname  k8s-nodeB 三台机器上分别配置hosts, 执行如下命令修改hosts文件: echo '192.168.247.128 k8s-master 192.168.247.128 etcd 192.168.247.128 registry 192.168.247.129 k8s-nodeA 192.168.247.130 k8s-nodeB' >> /etc/hosts 关闭三台机器的防火墙, 三台机器上分别执行: [root@localhost ~]# systemctl stop firewalld 注:防火墙相关命令: 查看防火墙状态: systemctl status firewalld  关闭防火墙:systemctl stop firewalld 开启防火墙:systemctl sta...
xiejunbo 发布于 2个月前 阅读 17

云计算简述

互联网技术的快速发展,信息量与数据量的飞速增长,导致单个计算机的计算能力和存储能力满足不了人们的需求,大大提高了成本。在这种情况下云计算应允而生。云计算将待处理的数据送到互联网上的超级计算机集群中进行计算和处理,把互联网变成一种全新的计算平台,能够在网络上实现按需购买与按使用付费的业务模式。   云计算是信息技术与服务的交付领域的重大进步。由于能够以自助、动态扩展、可计量的方式提供对共享计算资源池的按需访问,云计算在成本、速度和效率方面具有无与伦比的优势。
Idea 发布于 1天前 阅读 5

MySQL5.7主从docker镜像制作

MySQL5.7主从docker镜像制作
tqyin 发布于 2个月前 阅读 29

Kubernetes 1.8.4 手动安装教程-安装Heapster(八)

Heapster       Heapster 是 Kubernetes 社区维护的容器集群监控分析工具。Heapster 会从 Kubernetes apiserver 获得所有 Node 信息,然后再通过这些 Node 来获得 kubelet 上的数据,最后再将所有收集到数据送到 Heapster 的后台储存 InfluxDB,最后利用 Grafana 来抓取 InfluxDB 的数据源来进行可视化。 在master通过 kubectl 来创建 kubernetes monitor 即可 生成kube-heapster.yml cat <<EOF > kube-heapster.yml apiVersion: v1 kind: ServiceAccount metadata: name: heapster-sa namespace: kube-system labels: kubernetes.io/cluster-service: "true" addonmanager.kubernetes.io/mode: Reconcile --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: heapster-binding labels: kubernetes.io/cluster-service: "true" addonmanager.kubernetes.io/mode: Reconcile roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: system:heapster subjects: - kind: ServiceAccount name: heapster namespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1 ...
tqyin 发布于 1个月前 阅读 92

kubernetes集群命令行部署微服务项目实践

本文基于前一篇 : CentOS7搭建kubernetes集群环境 搭建好的环境下, 进一步做服务化部署实践记录,便于大家学习K8S部署微服务的过程,同时也方便自己复习K8S的技术点。 搭建好的环境如下:                
xiejunbo 发布于 7天前 阅读 11

在sun jdk 8镜像基础上构建maven 3的docker镜像

在 https://my.oschina.net/ytqvip/blog/1595054文章的sun jdk 8镜像基础上构建maven 3的docker镜像
tqyin 发布于 2个月前 阅读 15

基于Kubernetes的ESaaS架构及实现细节(二)

ESaaS(ElasticSearch as a Service)是ElasticSearch on Kubernetes的产品实现,是利用Docker和Kubernetes等容器虚拟化和编排调度系统,将ElasticSearch抽象为CaaS(Container as a Service)平台上的一种服务,实现秒级创建和扩缩容一个用户自定义的ElasticSerach集群,并且保证高可用和数据安全等方面。上一篇“基于Kubernetes的ESaaS架构及实现细节(一)”介绍了基于LocalDisk构建ESaaS的架构探索,这篇将介绍这个方案需要注意和考虑的关键实现细节。
WaltonWang 发布于 1周前 阅读 176

【Rainbond最佳实践】Spring Boot框架配置MySQL

# 【Rainbond最佳实践】Spring Boot框架配置MySQL ```bash Rainbond开源软件介绍: Rainbond是国内首个开源的生产级无服务器PaaS。 深度整合基于Kubernetes的容器管理、多类型CI/CD应用构建与交付、多数据中心的资源管理等技术,提供云原生应用全生命周期解决方案,构建应用与基础设施、应用之间及基础设施之间的互联互通生态体系。12月12日,Rainbond正式开源。 [Rainbond详细介绍](http://www.rainbond.com/docs/stable/getting-started/design-concept.html) [Rainbond项目地址](https://github.com/goodrain/rainbond) ``` Spring Boot框架简化了新Spring应用的初始搭建以及开发过程,云帮支持平台部署Spring Boot类应用。 云帮提供Spring Boot配置MySQL服务的示例,去[云市](http://app-test.goodrain.com)一键式部署[Spring Boot-MySQL示例](http://app-test.goodrain.com/#/app/detail/55) **以下内容是本地创建和运行该示例的过程:** ## 创建示例 使用spring-boot-cli创建示例 ```bash $ docker run -it --rm \ -v $PWD:/app goodrainapps/spring-boot-cli:1.5.9 spring init --dependencies=web spring-boot-mysql-demo ``` 进入示例类文件存放目录 ```Bash $ cd...
好雨Rainbond 发布于 1个月前 阅读 12

Kubernetes 1.8.4 手动安装教程-安装Master(三)

Kubernetes 1.8.4 手动安装教程
tqyin 发布于 1个月前 阅读 52

Rancher 2.0 里程碑版本:支持添加自定义节点!

不因春节放缓版本更新的步伐,Rancher2.0迎来又一里程版本更新,支持用户添加自定义节点!
RancherLabs 发布于 1周前 阅读 246 评论 2 点赞 1

使用VMware克隆的centos7虚拟机网卡配置找不到问题

背景 新克隆的虚拟机ifconfig显示网卡的配置如下: 可以看出网卡的名称是ens33,进入网卡配置文件目录,并没有ens33网卡配置,只有centos7默认的eno16777736 看一下配置的内容 解决办法 注意网卡配置名是已经修改成eth0以后执行下面操作,一共修改的地方有三处,第一处网卡名:/etc/sysconfig/network-scripts/ifcfg-eth0 ,第二处配置文件里面:NAME=eth0 ,第三处也是配置文件里面:DEVICE=eth0 刚开始我使用的是dhcp动态分配ip,为了防止ip的改动我修改和加了如下的配置 HWADDR的值一定要与eth0的值一直否则会网卡启动会失败 修改/etc/sysconfig/grub,添加net.ifnames=0 biosdevname=0 重启系统reboot就能生效了。
tqyin 发布于 4周前 阅读 17

使用Kolla-Ansible在CentOS 7单节点上部署OpenStack Pike

使用Docker容器技术、加上Ansible进行OpenStack自动化部署,就是Kolla-Ansible项目,从此进行OpenStack的部署和销毁更加简单(熟悉之后)。本文详细讲述了使用Kolla-Ansible部署单节点Pike版本OpenStack的步骤,同时只用修改一下主机清单,就可轻松扩展至多节点。
LastRitter 发布于 3周前 阅读 135 打赏 1

在比特币上表白-使用Golang将誓言存在比特币的区块链上

本文介绍使用Golang构造一个比特币交易, 实现将文字永久保存在区域链上.
lifephp 发布于 3周前 阅读 13

Google、IBM和Lyft开源的微服务管理框架Istio安装与试用

使用istio可以很简单的创建具有负载均衡、服务间认证、监控等功能的服务网络,而不需要对服务的代码进行任何修改。你只需要在部署环境中,例如Kubernetes的pod里注入一个特别的sidecar proxy来增加对istio的支持,用来截获微服务之间的网络流量。 目前版本的istio只支持kubernetes,未来计划支持其他其他环境。
tqyin 发布于 2个月前 阅读 933 点赞 1

疯狂Spring Cloud连载(25)Zuul过滤器

Spring Cloud Zuul 过滤器
杨大仙的程序空间 发布于 3个月前 阅读 254

ubuntu14.04中离线安装docker

1、查找ubuntu14.04对应docker版本。 网址:http://packages.ubuntu.com/ 找到对应版本: trusty (14.04LTS) 2、根据版本,下载docker-engine。 网址:https://apt.dockerproject.org/repo/pool/main/d/docker-engine/ 找到最新版,并下载: docker-engine_1.12.5-0~ubuntu-trusty_amd64.deb 16-Dec-2016 5:40 19M 3、下载依赖deb。 网址:https://pkgs.org/ 搜索:libltdl7 下载deb:libltdl7_2.4.6-2_amd64.deb   搜索:libgcrypt20。 下载deb:libgcrypt20_1.6.1-2ubuntu1.14.04.1_amd64.deb   搜索:libsystemd-journal0 下载deb:libsystemd-journal0_215-17+deb8u5_amd64.deb   如果有最新版,则下载最新版。 4、将下载的deb包通过u盘挂载到ubuntu系统中。   # 查看u盘路径   $ fdisk -l   # 挂载到mnt   $ mount /mnt   # 查看是否挂载成功   $ ls mnt   # 安装docker,假设将deb放到了u盘的docker文件夹下   $ dpkg -i /mnt/docker/*.deb   # 查看安装版本号   $ docker version     完。   如果有最新版,则下载最新版。...
mecisery 发布于 3个月前 阅读 32

Kubernetes与容器设计模式

在程序设计领域,面向对象设计和面向对象语言是大家最为熟悉和强大的工具,而面向对象除了其强大的核心特性之外,还有人们通过实践总结出来的一系列设计模式,可以用来解决实际应用设计中的一些复杂问题。   云原生应用运行的环境都是复杂的分布式环境,在这种情况下,一些有用的设计模式可以起到四两拨千斤的作用,而K8s社区推出的容器设计模式,则是结合了K8s集群的微服务模型提出的一系列可重用的解决典型分布式系统问题的模式。目前K8s社区推出的容器设计模式主要分为三大类:     1)        单容器管理模式;     2)        单节点多容器模式;     3)        多节点多容器模式; 一、单容器管理模式   K8s的最大特色是支持多容器的微服务实例。当然,单容器的模式也是支持的,只不过这种模式并不能突出K8s的特色和强大。很多人对K8s一直以来的印象是:功能强大,但入门较难。其实,单单就启动一个单容器微服务实例,K8s的命令行操作跟Docker原生命令一样简单。 [root@demo-k8s ~]# kubectl run nginx --image=nginx deployment "nginx" created [root@demo-k8s ~]# kubectl get deployment NAME DESIRED CURRENT UP-T...
tqyin 发布于 2个月前 阅读 15

云计算简述

互联网技术的快速发展,信息量与数据量的飞速增长,导致单个计算机的计算能力和存储能力满足不了人们的需求,大大提高了成本。在这种情况下云计算应允而生。云计算将待处理的数据送到互联网上的超级计算机集群中进行计算和处理,把互联网变成一种全新的计算平台,能够在网络上实现按需购买与按使用付费的业务模式。   云计算是信息技术与服务的交付领域的重大进步。由于能够以自助、动态扩展、可计量的方式提供对共享计算资源池的按需访问,云计算在成本、速度和效率方面具有无与伦比的优势。
Idea 发布于 1天前 阅读 5

运行自己的 DaemonSet - 每天5分钟玩转 Docker 容器技术(131)

本节以 Prometheus Node Exporter 为例演示如何运行自己的 DaemonSet。
CloudMAN 发布于 2天前 阅读 9

DaemonSet 案例分析 - 每天5分钟玩转 Docker 容器技术(130)

本节详细分析两个 k8s 自己的 DaemonSet:kube-flannel-ds 和 kube-proxy 。
CloudMAN 发布于 5天前 阅读 6

73款阿里巴巴开源软件详解!

详细解读阿里巴巴开源技术,包括框架、组件、引擎、数据库/存储、平台/系统、解决方案、工具、中间件、Web Sever、设计等十大类73款!
阿里巴巴

kubernetes集群命令行部署微服务项目实践

本文基于前一篇 : CentOS7搭建kubernetes集群环境 搭建好的环境下, 进一步做服务化部署实践记录,便于大家学习K8S部署微服务的过程,同时也方便自己复习K8S的技术点。 搭建好的环境如下:                
xiejunbo 发布于 7天前 阅读 11

Centos7使用yum安装Marathon

官方提供了两种安装方式(http://mesosphere.github.io/marathon/docs/),一种是下载压缩包解压,一种是使用yum(https://mesosphere.com/blog/mesosphere-package-repositories/)。 第一种没有问题,解压后,执行脚本加上参数启动即可: ./bin/start --master zk://127.0.0.1:2181/mesos --zk zk://127.0.0.1:2181/marathon 第二种只需要执行指令即可: sudo rpm -Uvh http://repos.mesosphere.com/el/6/noarch/RPMS/mesosphere-el-repo-6-2.noarch.rpm sudo yum -y install marathon 安装完成之后,执行systemctl start marahon后,浏览器打开http://ip:8080,发现打不开。 执行systemctl status marahon或者查看/var/logs/messages,发现报错“Required option 'master' not found”。 显然marathon启动需要执行master参数,尝试用命令直接启动,是没问题的,说明yum安装的没有问题。官网页没有告知如何配置相关参数,百度到一种说法,类似于mesos的配置方式,即: echo zk://127.0.0.1:2181/mesos > /etc/marathon/conf/master echo zk://127.0.0.1:2181/marathon > /etc/marathon/conf/zk 再次尝试启动发现问题依旧,于是查看/usr/lib/systemd/system/marathon.serv...
丁富贵 发布于 7天前 阅读 6

容器领域的十大监控系统对比(上)

容器监测环境有多种形态和大小,而监控解决方案的数量之多令人望而生畏。这一系列文章将采取high-level的对比方法,对容器领域的10个监控解决方案进行全面的分析对比。读者可以“缩小列表”,针对自身需求进行更认真的评估,选出最适合的监控解决方案。
RancherLabs 发布于 7天前 阅读 9 评论 1

DaemonSet 典型应用场景 - 每天5分钟玩转 Docker 容器技术(129)

本节介绍 DaemonSet 的几个典型应用场景。
CloudMAN 发布于 7天前 阅读 11

SmartX与Rancher Labs强强联合,共同打造用于容器的超融合基础架构平台

Rancher Labs宣布与国内领先的超融合产品与解决方案供应商SmartX达成战略合作,强强联合共同打造用于容器的超融合基础架构平台。
RancherLabs 发布于 1周前 阅读 4

用 label 控制 Pod 的位置 - 每天5分钟玩转 Docker 容器技术(128)

本节讨论如何用 label 控制 pod 在哪个 node 上运行。
CloudMAN 发布于 1周前 阅读 10

一文看懂区块链架构设计

转自:http://www.8btc.com/ebook-blockchain 前言     区块链作为一种架构设计的实现,与基础语言或平台等差别较大。区块链是加密货币背后的技术,是当下与VR虚拟现实等比肩的热门技术之一,本身不是新技术,类似Ajax,可以说它是一种技术架构,所以我们从架构设计的角度谈谈区块链的技术实现。 无论你擅长什么编程语言,都能够参考这种设计去实现一款区块链产品。与此同时,梳理与之相关的知识图谱和体系,帮助大家系统的去学习研究。   基本概念   区块链的概念最近很火,它来自于比特币等加密货币的实现,但是目前,这项技术已经逐步运用在各个领域。什么是区块链技术?为了感性认识这个问题,我们可以使用谷歌地球的例子做类比,ajax不是什么新技术,但组合在一起就成就了产品谷歌地球,与之类似,区块链也不是什么新技术,但与加密解密技术、P2P网络等组合在一起,就诞生了比特币。技术人员,特别是Web开发工程师,学习了解ajax技术最早是被谷歌地球酷炫的效果所吸引。而现在,历史再一次重演,很多人被比特币的疯狂发展所吸引,进而开始研究其背后的技术——区块链。 区块链原本是比特币等加密货币存储数据的一种独特方式,是一种自引用的数据结构,用来存储大量...
商者 发布于 1周前 阅读 20

Rancher 2.0 里程碑版本:支持添加自定义节点!

不因春节放缓版本更新的步伐,Rancher2.0迎来又一里程版本更新,支持用户添加自定义节点!
RancherLabs 发布于 1周前 阅读 246 评论 2 点赞 1

jQuery UI的版本及特性

版本 jQuery UI 1.9.2 发布,这是 jQuery UI 1.9的第二个维护版本,修复了包括: Accordion, Autocomplete, Button, Datepicker, Dialog, Menu, Tabs, Tooltip and Widget Factory 等多个组件的 bug。   关于 jQuery UI的详细教程: 学习jQuery UI jQuery UI 特性   简单易用 继承 jQuery 简易使用特性,提供高度抽象接口,短期改善网站易用性。 开源免费 采用 MIT & GPL 双协议授权,轻松满足自由产品至企业产品各种授权需求。 广泛兼容 兼容各主流桌面浏览器。包括IE 6+、Firefox 2+、Safari 3+、Opera 9+、Chrome 1+。 轻便快捷 组件间相对独立,可按需加载,避免浪费带宽拖慢网页打开速度。 标准先进 支持 WAI-ARIA,通过标准 XHTML 代码提供渐进增强,保证低端环境可访问性。 美观多变 提供近 20 种预设主题,并可自定义多达 60 项可配置样式规则,提供 24 种背景纹理选择。 开放公开 从结构规划到代码编写,全程开放,文档、代码、讨论,人人均可参与。 强力支持 Google 为发布代码提供 CDN 内容分发网络支持。 完整汉化 开发包内置包含中文在内的 40 多种语言包。 缺点、不足 1.代码不够健壮:缺乏全面的测试用例,部分组件 Bugs 较多,不能达到企业级产品开发要...
mcy0425 发布于 1周前 阅读 4

Linux centos下Python3安装

Linux下大部分系统默认自带python2.x的版本,最常见的是python2.6或python2.7版本,默认的python被系统很多程序所依赖,比如centos下的yum就是python2写的,所以默认版本不要轻易删除,否则会有一些问题,如果需要使用最新的Python3那么我们可以编译安装源码包到独立目录,这和系统默认环境之间是没有任何影响的,python3和python2两个环境并存即可。   首先去python官网下载python3的源码包,网址:https://www.python.org/。 这里选择第一个下载即可,下载的就是源码包:Python-3.5.1.tgz,准备安装。(python自带pip)   python安装之前需要一些必要的模块,比如openssl,readline等,如果没有这些模块后来使用会出现一些问题,比如没有openssl则不支持ssl相关的功能,并且pip3在安装模块的时候会直接报错;没有readline则python交互式界面删除键和方向键都无法正常使用,至于需要什么模块在make完之后python会给出提示,通过提示进行安装即可装全, 另外感谢园友的Glory_Lion的回复;下面是需要提前预装的依赖: ``` yum -y install zlib zlib-devel yum -y install bzip2 bzip2-devel yum -y install ncurses ncurses-devel yum -y install readline readline-de...
zeroten0 发布于 1周前 阅读 5

通联数据是如何使用Docker+Rancher构建自动发布管道的?

来自用户的实战经验分享,看金融科技公司通联数据如何使用Docker+Rancher构建、简化自动化发布管道流程,将运维人员从部署应用中解放出来。
RancherLabs 发布于 1周前 阅读 11

基于Kubernetes的ESaaS架构及实现细节(二)

ESaaS(ElasticSearch as a Service)是ElasticSearch on Kubernetes的产品实现,是利用Docker和Kubernetes等容器虚拟化和编排调度系统,将ElasticSearch抽象为CaaS(Container as a Service)平台上的一种服务,实现秒级创建和扩缩容一个用户自定义的ElasticSerach集群,并且保证高可用和数据安全等方面。上一篇“基于Kubernetes的ESaaS架构及实现细节(一)”介绍了基于LocalDisk构建ESaaS的架构探索,这篇将介绍这个方案需要注意和考虑的关键实现细节。
WaltonWang 发布于 1周前 阅读 176

Serverless架构:有明云PaaS

    今天大多数公司无论是在开发应用程序的时候还是将其部署到服务器的时候,无论是选择公有云还是私有云,都需要提前估算究竟需要多少台服务器,都需要部署运行应用程序和依赖的各种各样的软件到服务器上。如果我们不想在这些与业务无关的繁琐的细节上耗费精力,是否有一种简单的架构能够满足我们的需求呢?答案是Serverless(无服务器)架构。     Serverless架构,或者称为无服务器架构,是最近几年兴起的一种架构风格。这究竟是一种什么样的架构?无服务器,难道真的没有服务器了吗?难道真的不需要服务器了吗?其实不是的,对于Serverless来说,只是用户不用更多地去考虑服务器的相关内容了,无需再去考虑服务器的CPU、硬盘、内存、带宽等配置,无需考虑什么时候容量不足了要增加服务器,无需再去服务器上安装配置各种开发、部署和监控软件,无需考虑服务器是否会被黑客攻陷,无需持续地更新升级系统封堵系统漏洞,无需考虑因机器硬件故障而需要进行的灾备,无需考虑系统的高可用、高性能,无需考虑随着业务规模增加而需要进行的水平伸缩,等等。     有明云PaaS 4.0完整实现了Serverless架构。Serverless的意思是开发应用时不需要考虑管理服务器的事情。将应用...
杨尚川 发布于 2周前 阅读 225

Ganglia与Nagios的整合

参考文献: 1、http://blog.csdn.net/shifenglov/article/details/40658007 2、http://blog.sina.com.cn/s/blog_9b6ffb330101bkv9.html 3、https://www.cnblogs.com/pingjie/p/4809489.html 基本介绍 Ganglia:Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:cpu 、mem、硬盘利用率, I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。   Nagios:Nagios是一款开源的电脑系统和网络监视工具,能有效监控Windows、Linux和Unix的主机状态,交换机路由器等网络设置,打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员,在状态恢复后发出正常的邮件或短信通知。   架构 Ganglia的优势在于实时监控集群中的机器的各项指标,比如cpu,内存,磁盘,温度等数据,汇总成成各种图形化界面,并提供接口可供调用数据。而在出现问题的时候报警提示功能,相对较弱。 Nagios的优势在于出现问题之时可以提供强大的报警提示功能,但是在实时监控上,功能较弱,即使使用...
mecisery 发布于 2周前 阅读 9

数据科学公开课 – 针对股票投资进行组合优化

课程预期达到的目标 组合优化是人们在进行投资风险产品时根据对未来的预期实现最佳回报策略的量化计算,是风险资产管理的重点之一。      在此教程,我们使用 Jupyter Notebooks 和docplex规划引擎对股票组合进行实际优化计算,实现马科维茨的期望-方差模型,以获得预期收益下的最佳个股配比。 完成此次课程,期望您可以达到如下目标: 理解期望-方差投资模型 在IBM Data Science Experience (DSX)中创建和运行 Jupyter Notebook 针对个股获取历史价格,并完成对数收益率等计算 使用docplex python api 可以使用docplex 建立二次规划模型 图形化展现马科维茨投资组合有效前沿曲线 使用模型计算期望收益的个股最佳配比 背景知识 – 投资学基础 投资的基本属性 – 收益与风险 投资有风险,入市需谨慎 不要把鸡蛋放在一个篮子里 收益越高,风险越大 … … 投资学中把风险划分为两部分 系统风险 – 共性的、不可分散的风险 非系统风险 – 可分散的风险 组合投资的重点就是分散风险 背景知识 – 有效市场假设 有效市场假说认为,证券价格已经充分反映了所有相关的信息,资本市场相对于这个信息集是有效的,任何人根据这个信息集进行交易都无法获得经济利润。 弱式有效市场假说...
qwerttaa 发布于 2周前 阅读 11

CloudStack源码编译后rpm包功能

CloudStack源码编译后rpm包功能
tqyin 发布于 2周前 阅读 6

岁末年终,搞技术的朋友们准备好接受来自亲戚的灵魂拷问了吗?

岁末年终,搞技术的朋友们准备好接受来自亲戚的灵魂拷问了吗? **工作怎么样?** **有对象了没?** **买房子了吗?** ![](http://oe5ahutux.bkt.clouddn.com/20180206151791213097412.jpg) 对于后两个问题,答案都是明确的 ![](http://oe5ahutux.bkt.clouddn.com/20180206151791229843545.png) 不过如何跟亲戚解释你从事的工作? emmmmm…… 那可真是欲言又止,欲说还休 讲真,面对着忙里忙外准备年夜饭的亲戚朋友,怎么说才算得上是信达雅? ![](http://oe5ahutux.bkt.clouddn.com/20180206151791270713346.png) 按照郭德纲老师的总结,“在合适的场合,合适的技巧,说合适的话,给合适的人听,就会有合适的效果“ 打个比方,好雨云是做什么的?~~真的不是农业大数据~~ > 以应用为中心,提供聚焦于应用管理的云计算产品服务,通过无服务器PaaS和云原生SaaS,力助企业释放IT价值,获得面向未来的竞争力和创新能力。 怎么跟咱叔咱舅咱婶咱姨解释? 叔/舅/婶/姨……您看,假设您要炒个土豆丝 按照传统的做法,您要洗菜、削皮、有刀工切丝 还要掌握调料和火候 如果现在有一台智能的自动炒锅 只要把土豆放进去,在输入您想要的口味 分分钟自动做好一盘美味可口的土豆丝 岂不妙哉...
好雨云帮 发布于 2周前 阅读 12

TensorFlow on Kubernetes的架构与实践

这两年,Kubernetes在企业中的DevOps、微服务领域取得了出色的成绩,从2017年开始,将Kubernetes应用到HPC、AI等领域也成了技术热点。这里我给大家分享一下Kubernetes在AI中的落地经验,内容包括TensorFlow on Kubernetes的架构与实践,以及线上经验和坑。
WaltonWang 发布于 4周前 阅读 1012 评论 3 点赞 3

操作系统级虚拟化概述

本文简要介绍了操作系统级虚拟化的概念,并简要阐述了实现操作系统虚拟化所用到的技术Namespace及cgroups的原理及使用方法。
宅蓝三木 发布于 2个月前 阅读 1061 评论 3 点赞 3

Java 9 新特性概述

Java 9 正式发布于 2017 年 9 月 21 日 。作为 Java8 之后 3 年半才发布的新版本,Java 9 带 来了很多重大的变化。其中最重要的改动是 Java 平台模块系统的引入。除此之外,还有一些新的特性。 本文对 Java9 中包含的新特性做了概括性的介绍,可以帮助你快速了解 Java 9
IBM Cloud

kubernetes中部署DNS

* 先吐槽一下,最近研究k8s的dns,看了很多相关博客,发现很多都是一样的内容,大部分都是转载或者copy,也不验证一下就发出来,给我无形中挖了很多坑。再次先谴责一下这些人! * 开始正题! * 使用场景:ubuntu16.04, kubernetes1.4及以上, 集群没有搭建CA等认证!其他场景仅作参考! ## 1.为什么要部署DNS kubernetes 提供了 service 的概念可以通过 VIP(Service IP 是 virtual IP(VIP)) 访问 pod 提供的服务,但是在使用的时候还有一个问题:怎么知道某个应用的 VIP?比如我们有两个应用,一个 app,一个 是 db,每个应用使用 rc或deployment进行管理,并通过 service 暴露出端口提供服务。app 需要连接到 db 应用,我们只知道 db 应用的名称,但是并不知道它的 VIP 地址。这就涉及到了==服务发现==的问题了。 * 针对以上问题,k8s提供了三种==服务发现==的方法: ### 方法1.通过kubernetes 提供的 API 查询 该方法较为简单,但问题较多。首先每个应用都要在启动的时候编写查询依赖服务的逻辑,这本身就是重复和增加应用的复杂度;其次这也导致应用需要依赖 kubernetes,不能够单独部署和运行(当然如果通过增加配置选项也是可以做到的,但这又是增加复杂度)。 ### ...
蓝色雨全 发布于 2个月前 阅读 1147 评论 10 点赞 2 打赏 1

TensorFlow Serving在Kubernetes中的实践

本文介绍了TensorFlow Serving的配置,尤其是官方文档没作完整介绍的model version policy的配置,另外介绍了编译TensorFlow Serving时的优化实践以及在Kubernetes中的部署,以及使用时的注意事项。
WaltonWang 发布于 3个月前 阅读 1277 评论 4 点赞 2

Kubernetes在vivo容器云平台中的应用与实践

本博文是我参加2017/11/04 K8S技术社区深圳站Meetup分享的PPT内容,主要介绍Kubernetes在vivo容器云平台的应用与实践,重点介绍我们跟业界大多数方案不一样的地方,包括整体架构(HA/Security)、定制化的应用滚动方案、Ingress方案及部署实践、容器网络方案以及在TaaS方向的探索与实践等等。
WaltonWang 发布于 3个月前 阅读 2564 评论 16 点赞 7

解析Kubernetes 1.8中的基于Pod优先级的抢占式调度

在 1.8 的发布版本中,SIG Scheduling 通过引入 Pod 优先级和抢占特性扩展了共享集群的概念。这些特性允许在单一集群中混合运行不同类型的应用和任务,提高了集群的利用率和可用性。这些特性目前都是 alpha 版本。本文将对这一特性进行全面介绍,下一篇博文会从scheduler源码进行分析。
WaltonWang 发布于 4个月前 阅读 1310 评论 2 点赞 3

私有云中Kubernetes Cluster HA方案

发现很多Kubernetes刚入门的同学对Kubernetes的Master高可用方案很感兴趣,官方又只给出了GCE上部署高可用的方案,因此我觉得有必要把我之前做的Kubernetes Master HA方案分享一下。
WaltonWang 发布于 4个月前 阅读 1293 评论 2 点赞 4

实弹军演-基于Ceph对象存储的实战兵法

保障国家权益的第一道防线是军队,而保障数据安全的最强壁垒则是存储。老司机多年经验总结,分享几点基于Ceph的对象存储实战兵法.
秦牧羊 发布于 7个月前 阅读 1395 评论 4 点赞 3

Spring Cloud 项目综述(技术栈一览)

Spring Cloud 为构建分布式系统和微服务提供了一些通用的工具,例如:配置中心,服务注册与发现,熔断器,路由,代理,控制总线,一次性令牌,全局锁,leader选举,分布式 会话,集群状态等。
侯法超 发布于 10个月前 阅读 7334 评论 14 点赞 17

API的文档自动生成——基于CDIF的SOA基本能力

当前,作为大部分移动app和云服务后台之间的标准连接方式,REST API已经得到了绝大部分开发者的认可和广泛的应用。近年来,在新兴API经济模式逐渐兴起,许多厂商纷纷将自己的后台业务能力作为REST API开放出来,给更广泛的第三方开发者使用。   但是,管理REST API并非是一件容易的工作。由于缺乏有效的接口数据schema约束,加上设计REST API时resource endpoint的安排,以及发送http请求的方式又都五花八门,REST API开发完成后,大多数情况下API开发者仍然需要手动书写API文档,让用户能按照文档的说明接入。并且在API发生变化时需要重写文档,这个过程费时费力而且容易出错。比如,一个REST API文档最少必须列明以下的基本信息:   * API的名称 * API所在的URL资源路径 * http请求方法(GET, POST, PUT等) * API提交数据的方式(查询参数、表单提交、JSON提交等) * 调用API返回数据的格式   在上面提供的REST API信息中,从API返回的JSON数据在大部分情况下甚至只能用“举例”的方法说明数据的结构,而无法精确表达出这段JSON数据中每个字段的精确含义和类型定义。这都是因为REST API缺少对JSON数据的schema定义而导致,而这种“举例”的方式毫无疑问是一种很无奈很...
尼采与旺财 发布于 11个月前 阅读 1782 评论 17

CheungSSH3.0国产自动化运维堡垒机

CheungSSH Web3.0 虽然不优秀,但衷心希望能给予支持和理解 项目地址:http://git.oschina.net/CheungSSH_OSC/CheungSSH 建议您使用git命令下载,因为文件比较大,如果用浏览器,和可能下载不完整 [root@CheungSSH ~]# git clone https://git.oschina.net/CheungSSH_OSC/CheungSSH.git 讨论QQ群:517241115        在当今互联网的发展大势下,云计算和大数据已经成为主导。在两大趋势下,企业的服务器数量日益增多,如何有效的管理众多的服务器,已经成为了各大公司考虑的问题。在传统的人工管理模式下,已经很难做到高效的维护,是人管理服务器?还是服务器管理人?        为了解决这个问题,我痴迷于运维自动化研究,目前后端使用的Python语言+Django的Web框架,前端使用Bootstrap+Javascript+jQuery框架开发的CheungSSH Web3.0自动化运维系统,通信协议采用Linux系统自带的SSH协议,无Agent。并通过Paramiko库完成自动化登录,本系统可以基本满足日常的自动化运维需求。系统全程由我自主研发,不采用任何第三方工具和接口。        系统设计不足之处请各位朋友指出,也感谢大家的支持和信任,如果在使用过程中遇到任何问题,或者有任何的意见和建议...
张其川 发布于 11个月前 阅读 8385 评论 26 点赞 21

用大白话聊聊分布式系统

一提起“分布式系统”,大家的第一感觉就是好高大上啊,深不可测,看各类大牛关于分布式系统的演讲或者书籍,也大多是一脸懵逼。本文期望用浅显易懂的大白话来就什么是分布式系统、分布式系统有哪些优势、分布式系统会面临哪里挑战、如何来设计分布式等方面的话题来展开讨论。
waylau 发布于 12个月前 阅读 4461 评论 11 点赞 8

使用spark计算文档相似度

使用spark,TF_IDF计算文档相似度
penngo 发布于 1年前 阅读 3411 评论 3 点赞 5

构建多平台的Ignite集群:Java+.NET

Ignite集群可以由它支持的任意平台启动的节点组成,包括Java、.NET和C++。本文会介绍如何通过NuGet和Maven运行一个.NET/Java集群,作为一个示例,本文会创建一个跨平台的点对点聊天系统。
李玉珏 发布于 1年前 阅读 1779 评论 4 点赞 3

配置 DHCP 服务 - 每天5分钟玩转 OpenStack(89)

前面章节我们看到 instance 在启动过程中能够从 Neutron 的 DHCP 服务获得 IP,本节将详细讨论其内部实现机制并开始配置。
CloudMAN 发布于 1年前 阅读 1991 点赞 1

Apache Hadoop 入门教程

Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下,开发出可靠、可扩展的分布式计算应用。 Apache Hadoop 框架,允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持从单一服务器到上千台机器的扩展,充分利用了每台机器所提供本地计算和存储,而不是依靠硬件来提供高可用性。其本身被设计成在应用层检测和处理故障的库,对于计算机集群来说,其中每台机器的顶层都被设计成可以容错的,以便提供一个高度可用的服务。 Apache Hadoop 的框架最核心的设计就是:HDFS 和 MapRedu
waylau 发布于 1年前 阅读 5885 评论 6 点赞 13

Hive Transaction 事务性 小试

提到Hive一般都会想到,Hive是数据仓库,支持类SQL查询,有很多语法支持,可以嵌套MR,写Transform、写UDF/UDAF等,但是,不支持更新操作。所以Hive的常见也一般都是一次写入,频繁读取。从Hive 0.13开始,加入了ACID的新feature,但是0.13的时候还不支持insert、update和delete操作,我也并没有欣然的当小白鼠。 目前我们平台使用hive1.2.1的社区版,业务上也遇到了需要更新的场景。也是继续调研Transaction的特性。
王二铁 发布于 2年前 阅读 3228 评论 5

企业级容器Registry开源项目Harbor架构简介

企业级容器Registry开源项目Harbor架构简介 作者:姜坦 张海宁 (本文作者为Harbor项目组核心成员,于2016年9月5日作了更新。) 1. Harbor项目 VMware公司最近开源了企业级Registry项目Harbor,由VMware中国研发的团队负责开发。Harbor项目是帮助用户迅速搭建一个企业级的registry 服务。它以Docker公司开源的registry为基础,提供了管理UI, 基于角色的访问控制(Role Based Access Control),镜像远程复制(同步),AD/LDAP集成、以及审计日志(Audit logging) 等企业用户需求的功能,同时还原生支持中文,对广大中国用户是一个好消息。本文将介绍Harbor项目的主要组件,并阐述Harbor的工作原理。 (源代码地址:https://github.com/vmware/harbor ) 2.架构介绍 1)    主要组件 Harbor在架构上主要由6个组件构成: ·      Proxy:Harbor的registry, UI, token等服务,通过一个前置的反向代理统一接收浏览器、Docker客户端的请求,并将请求转发给后端不同的服务。 ·      Registry: 负责储存Docker镜像,并处理docker push/pull 命令。由于我们要对用户进行访问控制,即不同用户对Docker image有不同的读写权限,Registry会指向一个token服务,强制用户的...
project_harbor 发布于 2年前 阅读 3017 评论 4 点赞 5

LVM 类型的 Storage Pool - 每天5分钟玩转 OpenStack(8)

本节为 KVM 存储虚拟化的第二篇,介绍 LVM 类型的 Storage Pool
CloudMAN 发布于 2年前 阅读 1996 点赞 9

KVM 存储虚拟化 - 每天5分钟玩转 OpenStack(7)

KVM 通过 Storage Pool 管理存储,而文件目录是最常用的 Storage Pool。
CloudMAN 发布于 2年前 阅读 4723 评论 2 点赞 7
顶部