开源中国

我们不支持 IE 10 及以下版本浏览器

It appears you’re using an unsupported browser

为了获得更好的浏览体验,我们强烈建议您使用较新版本的 Chrome、 Firefox、 Safari 等,或者升级到最新版本的IE浏览器。 如果您使用的是 IE 11 或以上版本,请关闭“兼容性视图”。
博客专区 - 开源中国社区

精彩阅读

  • 最新推荐

  • 今日热门

  • 本周热门

  • 每日一博

  • 最新文章

Kubernetes Job Controller源码分析

对于一般用户,学习和使用Job,官方文档就足够了,但如果你是个变态,那你总会去想,Job Controller和Deployment Controller在管理Pod上,除了RestartPolicy等不同外,还有哪些不同呢?其实是因为最近在搞TensorFlow on Kubernetes项目,想通过Job映射分布式TensorFlow中的worker task,达到训练完数据,自动回收资源资源等目的。本博文通过Job Controller代码分析其内部主要流程。
WaltonWang 发布于 5天前 阅读 127 评论 2

使用 Eureka 实现服务注册与发现

Eureka 是 [Netflix](https://www.netflix.com) 出品的用于实现服务注册和发现的工具。 Spring Cloud 集成了 Eureka,并提供了开箱即用的支持。其中, Eureka 又可细分为 Eureka Server 和 Eureka Client。 本例子将演示如何通过 Spring Cloud Eureka 来快速实现服务的注册和发现。
waylau 发布于 1周前 阅读 227

记一次虚拟化环境下Windows IO性能的解析

前言 随着云计算技术与服务的发展和进步,越来越多的客户选择将业务部署到云端。但由于引入了虚拟化层,在业务部署过程中经常会遇到IO问题,通常也不易调试。本文主要介绍利用perf、systemtap等工具,帮助一位托管云客户调试IO性能问题,来分析虚拟环境下Windows IO的性能。 问题出现 有一次,托管云客户自己搭建了虚拟化环境,在同一台宿主机上创建windows 2008 R2 和 Centos6.5虚拟机,用fio分别测试其随机读性能,windows 2008 R2的IOPS大约在18K,而Linux的IOPS却可以达到100K左右。 • 客户测试用的fio 配置 [global] ioengine=windowsaio direct=1 iodepth=64 thread=1 size=20g numjobs=1 [4k] bs=4k filename=d:test.img rw=randread 测试结果 win_fio1 • 云主机IO栈 io stack 云主机环境下,整个IO栈相对较长,涉及到Guest OS中的应用层/文件系统/Block层以及驱动层,虚拟化层,宿主机OS文件系统/Block层以及驱动层。因为涉及面多,所以其中任何一个环节出现问题都会造成性能下降,也为做IO的Tracing增加了难度。 从这次得到的信息来看,首先排除了宿主机文件系统和Block层以及驱动层的问题,因为同样情况的配置,Linux系统并没有问题。 所以目前主要集中于两点 ...
UCloudTech 发布于 3周前 阅读 218

快速了解人工智能结晶之语音转换文字

科技解放生产力,人工智能的应用如今是大热,那么今天就来给各位介绍一下IBM在这方面的一个小的尝试,语音转换文字。咱们来看一看相较于传统的转换,结合Watson的IBM是如何做到让识别率飙升的。
IBM Bluemix

Kubernetes Deployment滚动更新场景分析

本博文对以下Kubernetes滚动更新场景进行了测试分析:正常滚动更新流程;应用滚动更新时,用户删除应用;应用滚动更新时,用户对该应用进行扩容;应用滚动更新时,用户对该应用进行缩容;应用扩容时,进行滚动更新;应用缩容时,进行滚动更新;应用回滚;滚动更新未完成时,又开始新的滚动更新;
WaltonWang 发布于 3周前 阅读 179

【合集】云栖大会珍贵技术资料:20+覆盖容器技术、智能工业、大数据、开源数据库等(上)

摘要: 云栖社区从几百位讲师中精挑细选了若干精华,其中涵盖了智能物流、大数据、开源数据库、智能工业、容器技术以及智能应用实践等。
OSC_Lucy 发布于 1个月前 阅读 186

云栖大会变迁史(2009-2017)

从2009年算起,2017杭州云栖大会已经是第九届。云栖社区特别整理了历届云栖大会的精华内容,带你了解云栖大会的变迁历史。
OSC_Lucy 发布于 1个月前 阅读 235 评论 2

Kubernetes PodGC Controller源码分析

PodGC Controller作为Kubernetes默认启动的Controllers之一,在Master后台每隔20s进行一次Pod GC。回收的Pod对象为那些Orphaned和UnscheduledTerminating Pod。如果Terminated Pod number大于terminatedPodThreshold(默认为12500),则会对超过terminatedPodThreshold的TerminatedPod进行回收。本博文是对PodGC Controller的源码分析,一窥其内部实现。
WaltonWang 发布于 1个月前 阅读 176

实弹军演-基于Ceph对象存储的实战兵法

保障国家权益的第一道防线是军队,而保障数据安全的最强壁垒则是存储。老司机多年经验总结,分享几点基于Ceph的对象存储实战兵法.
秦牧羊 发布于 2个月前 阅读 1199 评论 4 点赞 3

Fabric 1.0 物理机集群部署

# Fabric 1.0 物理机集群部署 * [Fabric 1.0 物理机集群部署](#fabric-10-物理机集群部署) * [部署环境](#部署环境) * [机器规划](#机器规划) * [Hosts配置](#hosts配置) * [系统环境](#系统环境) * [系统依赖安装](#系统依赖安装) * [Docker 安装](#docker-安装) * [golang 安装](#golang-安装) * [fabric 二进制可执行程序安装](#fabric-二进制可执行程序安装) * [fabric 部署](#fabric-部署) * [kafka 集群部署](#kafka-集群部署) * [fabric初始化配置文件](#fabric初始化配置文件) * [生成fabric公私钥、证书、创世区块等配置](#生成fabric公私钥-证书-创世区块等配置) * [将生成的fabric配置分发到各个节点](#将生成的fabric配置分发到各个节点) * [部署orderer节点](#部署orderer节点) * [部署peer节点](#部署peer节点) ## 部署环境 ### 机器规划 | 编号 | 主机名 | IP地址 | 域名 | 备注 | 环境 | | ------------ | ------------ | ------------ | ------------ | ------------ | ------------ | | 1 | Node-1 | 172.19.199.45 | kafka1.local | zk-kafka节点 |java| | 2 | Node-2 | 172.19.199.46 | kafka2.local | zk-kafka节点 |java| | 3 | Node-3 | 172.19.199...
shumin 发布于 2个月前 阅读 602 评论 1

Kubernetes Node Controller源码分析之创建篇

我认为,Node Controller是Kubernetes几十个Controller中最为重要的Controller之一,其重要程度在Top3,然而这可能也是最为复杂的一个Controller,因此对其的源码分析,我将做一个系列文章,希望能帮助自己有一个深入的理解。本博文主要对Node Controller的创建流程进行源码分析。
WaltonWang 发布于 2个月前 阅读 336 评论 1

Stack Overflow:云计算平台的趋势分析

Stack Overflow:Trends in Cloud Computing:AWS or Azure ?
RiboseYim 发布于 2个月前 阅读 364

Kubernetes Node Controller源码分析之配置篇

我认为,Node Controller是Kubernetes几十个Controller中最为重要的Controller之一,其重要程度在Top3,然而这可能也是最为复杂的一个Controller,网上还没有Node Controller的源码分析的文章,因此我觉得有必要对此做一个系列文章,希望能帮助自己有一个深入浅出的理解。本博文主要对NodeController的启动、定义及其行为配置做出一些分析,要求读者对Kubernetes的相关特性有较深的理解。
WaltonWang 发布于 2个月前 阅读 241

Kubernetes服务之“运行单实例的有状态服务”

## 目标   在你的环境中创建一个PV   创建一个MySQl的Deployment   在集群中以DNS名称的方式,将MySQL暴露给其他的pod ## 开始之前   你需要一个Kubernetes集群,一个可以连接到集群的kubectl命令行工具。如果你没有集群,你可以使用[Minikube](https://kubernetes.io/docs/getting-started-guides/minikube)来创建。   我们会创建一个PV(PersistentVolume)用于数据存储。[点击这里](https://kubernetes.io/docs/user-guide/persistent-volumes/#types-of-persistent-volumes)来查看PV支持的类型,该指导会使用`GCEPersistentDisk`来演示,但其实任何的PV类型都可以正常工作。`GCEPersistentDisk`只能在Google Compute Engine(GCE)上工作。 ## 在你的环境中创建磁盘   在Google Compute Engine,运行: ``` gcloud compute disks create --size=20GB mysql-disk ```   然后创建一个PV,指向刚刚创建的`mysql-disk`。下面是一个创建PV的配置文件,指向上面提到的GCE磁盘: ``` apiVersion: v1 kind: PersistentVolume metadata: name: mysql-pv spec: capacity: storage: 20Gi accessModes: - ReadWriteOnce gcePersistentDisk: pdName: mysql-disk fsTy...
BookShu 发布于 3个月前 阅读 179 评论 1

从源码看kubernetes与CNI Plugin的集成

基于kubernetes 1.6.2的代码,对kubelet于CNI Plugin交互的代码进行了分析,看看kubelet是在什么时候通过什么方式调用的CNI Plugin的。
WaltonWang 发布于 4个月前 阅读 277 评论 1

Github 开源项目贡献指南:如何给开源项目做贡献 (上)

给开源项目做贡献可以说是在你能想象的领域上学习,传授,累计经验的最有效的方式!为什么人们要给开源项目做贡献,原因太多了!本文将为大家讲述如何为Github 开源项目做贡献。
腾讯云技术社区 发布于 4个月前 阅读 354 评论 1

Kubernetes存储之Persistent Volumes简介

# 简介   管理存储和管理计算有着明显的不同。`PersistentVolume`子系统给用户和管理员提供了一套API,从而抽象出存储是如何提供和消耗的细节。在这里,我们介绍两种新的API资源:`PersistentVolume`(简称PV)和`PersistentVolumeClaim`(简称PVC)。   `PersistentVolume`(持久卷,简称PV)是集群内,由管理员提供的网络存储的一部分。就像集群中的节点一样,PV也是集群中的一种资源。它也像Volume一样,是一种volume插件,但是它的生命周期却是和使用它的Pod相互独立的。PV这个API对象,捕获了诸如NFS、ISCSI、或其他云存储系统的实现细节。   `PersistentVolumeClaim`(持久卷声明,简称PVC)是用户的一种存储请求。它和Pod类似,Pod消耗Node资源,而PVC消耗PV资源。Pod能够请求特定的资源(如CPU和内存)。PVC能够请求指定的大小和访问的模式(可以被映射为一次读写或者多次只读)。   PVC允许用户消耗抽象的存储资源,用户也经常需要各种属性(如性能)的PV。集群管理员需要提供各种各样、不同大小、不同访问模式的PV,而不用向用户暴露这些volume如何实现的细节。因为这种需求,就催生出一种`StorageClass`资源。   `StorageClass`提供了一种方式,使得管...
BookShu 发布于 4个月前 阅读 250

如何对kubernetes scheduler进行二次开发

本博文分析了从两个方向入手对kubernetes scheduler进行定制开发。 1. 通过新增Predicates and Priorities Policies来扩展default scheduler。 2. 通过新增自定义调度器,并指定pod的调度器
WaltonWang 发布于 4个月前 阅读 312 评论 1

PaaS容器集群优化之路

本文探讨了在一个复杂的PaaS系统中,如何系统化、科学化的进行全系统的性能优化工作。
难易 发布于 5个月前 阅读 883 打赏 2

容器日志处理及实现

## 容器日志 #### 输出形式: 目前容器日志有两种输出形式: - stdout,stderr 标准输出 这种形式的日志输出我们可以直接使用docker logs查看日志, k8s 集群中同样集群可以使用kubectl logs类似的形式查看日志。 - 日志文件记录 这种日志输出我们无法从以上方法查看日志内容,只能tail日志文件查看。 #### 收集方式: 不论你的业务容器日志如何输出,都是可以使用统一的日志收集器收集。常见的日志收集方式: - k8s 集群 1. 集群启动时会在每个机器启动一个Fluentd agent收集日志然后发送给 Elasticsearch。实现方式是每个agent挂载目录/var/lib/docker/containers使用fluentd的tail插件扫描每个容器日志文件,直接发送给Elasticsearch。 2. Fluentd agent起在业务同一个 pod 中共享 volume 然后实现对日志文件的收集发送给Elasticsearch。 - docker swarm 集群 docker swarm 目前暂时没有提供日志查看机制。但是docker cloud提供了与kubectrl logs类似的机制查看 stdout 的日志。目前还没有 fluentd 插件直接对服务进行日志收集,暂时考虑直接使用使用跟容器一样的机制收集。docker service create 支持--log-driver - docker 容器 从 docker1.8 内置了fluentd log driver ...
好雨云帮 发布于 5个月前 阅读 673 点赞 1

将技术普惠进行到底,阿里云全网爆款最低30元/月

将技术普惠进行到底,阿里云全网爆款最低30元/月 让天下没有难做的生意蜕变为如今的阿里巴巴,打造世界上最清洁的汽车让特斯拉成为人们都渴望拥有的座驾,为哈佛同学提供互相联系的网站造就了如今的Facebook……时至今日,在大量遭受“嘲笑”的想法创造了传奇的同时,我们也看到数之不尽“靠谱”的创新倒在了前行的路上。诚然,兑现想法需要太多的努力与机遇,然不积跬步无以至千里,为了促成更多创新,在这一年大计之时,阿里云特针对个人与企业推出3大“全网爆款”,从成本与技术两个方面助君打通前行路上的第一步,让想法不再只是一个想法。 活动地址:(http://click.aliyun.com/m/18485/)   技术+爆款,将万众创新门槛降低到30元   对于任何个人和企业来说,业务起步期往往受限于各种各样的问题,其中最常见的就是人才短缺与技术学习的成本。因此,如何分配已有资源,更快打磨产品,保持业务稳定与快速的发展无疑是重中之重。在这个方面,阿里云已通过数百款产品帮助了数百万用户:   l  成本上,通过阿里云实现零运维,用户无需进行服务器网络和硬件等维护,可节约80%成本投入; l  稳定上,阿里云实例可用性高达99.95%,云盘数据可靠性达99.9999999%,遍布全球...
阿里云官方博客 发布于 5个月前 阅读 338 评论 7

SDN 技术指南(一):架构概览

## Background 软件定义网络(Software-defined networking,SDN),一种新的网络架构。SDN 提出的控制与转发平面分离、网络状态集中控制、支持软件编程等理念并不是什么新鲜事,但是长久以来一直没有非常突破性的进展。 >“为了让系统更好地工作,早期需要管理复杂性而后期需要提取简单性。” —唐·诺曼(Donald Arthur Norman) 目前 SDN 引起广泛关注得益于网络需求侧翻天覆地的变化:云计算业务(服务器虚拟化技术为代表)成为主流,移动互联网催生的大数据技术日益普及,包括网络在内的资源快速配置、弹性扩容、按需调用需求强烈。传统模式的弊端显现:网络设备硬件、操作系统和网络应用三部分紧耦合在一起,组成一个封闭系统,这三部分相互依赖、每一部分的创新和演进都要求其余部分做出同样的升级。 越来越多的网络新协议和新算法使得网络控制平面变得越来越复杂,但是现在的网络用户却对网络的易用性有更高的要求,希望网络具有更多的可编程能力,从而自动化、智能化网络管理。正如 SDN 的倡导者 [Scott Shenker,U.C. Berkeley Professor](https://en.wikipedia.org/wiki/Scott_Shenker) 所言,网络发展目前还处于“管理复杂性”阶段,这样的架构严重阻碍了网络创...
RiboseYim 发布于 1个月前 阅读 36

SDN 技术指南(二):OpenFlow

- OpenFlow 简史(SDN != OpenFlow ; 版本问题) - OpenFlow 工作原理 - OpenFlow is a communications protocol - 支持 OpenFlow 的开源交换机:Open vSwitch
RiboseYim 发布于 1个月前 阅读 24

Kubernetes Job Controller源码分析

对于一般用户,学习和使用Job,官方文档就足够了,但如果你是个变态,那你总会去想,Job Controller和Deployment Controller在管理Pod上,除了RestartPolicy等不同外,还有哪些不同呢?其实是因为最近在搞TensorFlow on Kubernetes项目,想通过Job映射分布式TensorFlow中的worker task,达到训练完数据,自动回收资源资源等目的。本博文通过Job Controller代码分析其内部主要流程。
WaltonWang 发布于 5天前 阅读 127 评论 2

一文搞懂各种 Docker 网络 - 每天5分钟玩转 Docker 容器技术(72)

本节将从不同维度比较各种网络方案,大家在选择的时候可以参考。CloudMan 的建议是:没有最好的,只有最适合的,明确自己的需求,通过 PoC 选型。
CloudMAN 发布于 22小时前 阅读 12

使用 Eureka 实现服务注册与发现

Eureka 是 [Netflix](https://www.netflix.com) 出品的用于实现服务注册和发现的工具。 Spring Cloud 集成了 Eureka,并提供了开箱即用的支持。其中, Eureka 又可细分为 Eureka Server 和 Eureka Client。 本例子将演示如何通过 Spring Cloud Eureka 来快速实现服务的注册和发现。
waylau 发布于 1周前 阅读 227

基于OpenStack4j进行OpenStack开发

一、说明 项目通过Maven(3.x)进行构建,然后使用的是openstack JAVA版的SDK工具openstack4j。 注意:开发前,必须在主机的hosts文件中添加openstack控制节点的主机信息,如下图所示是在windows系统下修改hosts文件(文件地址:C:\Windows\System32\drivers\etc\hosts) 二、pom.xml设置 pom文件中添加对slf4j-api、slf4j-log4j12和openstack4j的依赖,由于本人开发环境使用的jdk是1.7,所以使用的openstack4j版本为2.x,如果jdk是1.8的话,则可以使用3.x <!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-api --> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.21</version> </dependency> <!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 --> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.21</version> </dependency> <!-- OpenStack4j --> <dependency> <groupId>org.pacesys</groupId> <artifactId>openstack4j</artifactId> <version>2.20</vers...
xhHuang 发布于 2个月前 阅读 106 评论 2 点赞 2

kolla-ansible部署openstack的ocata(附带的命令shell脚本)

  环境(离线部署https://my.oschina.net/u/857184/blog/1526474) 操作系统 CentOS Linux release 7.3.1611 (Core) 内核信息 Linux 3.10.0-514.el7.x86_64 硬件 虚拟机一台 网卡 2块 内存 8G  //all-in-one建议16G CPU 4 VCPU   安装epel-release ;安装python-pip,升级到最新 yum install epel-release yum install python-pip pip install -U pip 安装依赖包 yum install python-devel libffi-devel gcc openssl-devel libselinux-python 安装ansible yum install ansible 安装docker curl -sSL https://get.docker.io | bash 配置docker服务,这里的配置,根据官网的提示是为了防止kolla-ansible部署neutron-dhcp-agent 容器时候抛出 APIError/HTTPError # Create the drop-in unit directory for docker.service mkdir -p /etc/systemd/system/docker.service.d # Create the drop-in unit file tee /etc/systemd/system/docker.service.d/kolla.conf <<-'EOF' [Service] MountFlags=shared EOF 重启dockers服务 systemctl daemon-reload systemctl restart docker   安装docker python pip install -U docker 安装 升级python jinja版本 pip install -U Jinja2 ...
JennerLuo 发布于 4周前 阅读 26

Fabric 1.0 物理机集群部署

# Fabric 1.0 物理机集群部署 * [Fabric 1.0 物理机集群部署](#fabric-10-物理机集群部署) * [部署环境](#部署环境) * [机器规划](#机器规划) * [Hosts配置](#hosts配置) * [系统环境](#系统环境) * [系统依赖安装](#系统依赖安装) * [Docker 安装](#docker-安装) * [golang 安装](#golang-安装) * [fabric 二进制可执行程序安装](#fabric-二进制可执行程序安装) * [fabric 部署](#fabric-部署) * [kafka 集群部署](#kafka-集群部署) * [fabric初始化配置文件](#fabric初始化配置文件) * [生成fabric公私钥、证书、创世区块等配置](#生成fabric公私钥-证书-创世区块等配置) * [将生成的fabric配置分发到各个节点](#将生成的fabric配置分发到各个节点) * [部署orderer节点](#部署orderer节点) * [部署peer节点](#部署peer节点) ## 部署环境 ### 机器规划 | 编号 | 主机名 | IP地址 | 域名 | 备注 | 环境 | | ------------ | ------------ | ------------ | ------------ | ------------ | ------------ | | 1 | Node-1 | 172.19.199.45 | kafka1.local | zk-kafka节点 |java| | 2 | Node-2 | 172.19.199.46 | kafka2.local | zk-kafka节点 |java| | 3 | Node-3 | 172.19.199...
shumin 发布于 2个月前 阅读 602 评论 1

IPSec VPN全面上线 UCloud网关安全策略再添利器

近日,国内领先云计算服务商UCloud在上海二、广州、北京二、香港等多个地域上线IPSec VPN安全网关服务。该网络新特性的推出,不仅可以使UCloud公有云多个地域间的公网通信得到加密,还能支持与用户自有IPSec设备互联来搭建安全可靠的混合云环境。 结合此前已有的SSL OpenVPN产品,UCloud在网络和应用层上的安全及扩展性变得日益强大,是业内为数不多地能同时提供IPSec VPN和SSL VPN安全网关服务的云厂商,为用户在网络间的数据通信提供了双重安全保障。 网关安全新特性 IPSec作为一种由IETF定义的标准协议,主要用于提供公用/专用网络的端对端加密和验证服务,该项成熟的网关技术可用于实现远程VPN接入。 UCloud IPSec网关产品采用IKE v1版本进行协商,使用预共享秘钥配置,支持Main Mode主模式和Aggressive Mode野蛮模式,并且支持AH认证和ESP加密。此外,UCloud IPSec VPN产品还提供多项进阶功能,比如支持FQDN全程域名、修改DH配置、修改SA超时配置等。 产品后台采用高可用架构设计,以集群方式提供热备方案,确保在设备故障时能够自动秒级切换,保证会话连续性,以确保达到用户业务无感知的目的。 操控更简易 在产品控制台操作方面,也不必担心。用户不用再编写繁杂的配...
UCloudTech 发布于 19小时前 阅读 3

Ceph添加监视器Monitor失败

ceph版本有jewel10.2.2和10.2.7
哓竹 发布于 2个月前 阅读 10

实弹军演-基于Ceph对象存储的实战兵法

保障国家权益的第一道防线是军队,而保障数据安全的最强壁垒则是存储。老司机多年经验总结,分享几点基于Ceph的对象存储实战兵法.
秦牧羊 发布于 2个月前 阅读 1199 评论 4 点赞 3

常用的启发式调度规则

猪迪 发布于 1个月前 阅读 124

开源|基于TensorFlow的聊天机器人-ErGo

[云框架]TensorFlow Github地址: https://github.com/cloudframeworks-tensorflow/user-guide-tensorflow
好雨云帮 发布于 1个月前 阅读 64

Kafka Eagle

Kafka Eagle monitor
China_OS 发布于 4周前 阅读 30

Kubernetes Deployment滚动更新场景分析

本博文对以下Kubernetes滚动更新场景进行了测试分析:正常滚动更新流程;应用滚动更新时,用户删除应用;应用滚动更新时,用户对该应用进行扩容;应用滚动更新时,用户对该应用进行缩容;应用扩容时,进行滚动更新;应用缩容时,进行滚动更新;应用回滚;滚动更新未完成时,又开始新的滚动更新;
WaltonWang 发布于 3周前 阅读 179

从摩拜单车的云技术看物联网与云计算的关系

近年在科技圈最火的一个关键词非“共享单车”莫属,随着ofo、摩拜、小蓝、小鸣等的不断参与,共享单车的竞争如火如荼,颜色似乎也已经不够用了。在共享单车领域要说市场占有率那就只有ofo和摩拜了,今天小编就跑开两家如何获取用户及商业模式的问题了,就谈谈摩拜的物联网技术应用-智能锁。
_夜枫 发布于 3个月前 阅读 7

kolla-ansible部署openstack时Waiting for virtual IP to appear

kolla-ansible部署openstack时出现Waiting for virtual IP to appear的报错: TASK [haproxy : Waiting for virtual IP to appear] *********************************************************************** fatal: [vm1]: FAILED! => {"changed": false, "elapsed": 301, "failed": true, "msg": "Timeout when waiting for 172.168.215.111:3306"}   解决方法: 如果有多个keepalived集群运行在相同的2层网络,编辑 /etc/kolla/globals.yml 然后重新设置 keepalived_virtual_router_id的值.   keepalived_virtual_router_id 的范围应该在 0 到 255之间并且是唯一的.
JennerLuo 发布于 3周前 阅读 4

公有云、私有云、混合云之间的区别,你知道吗?

      近几年随着云计算技术的逐渐普及,越来越多的企业开始选择了部署云计算方案,当运营赖于数据结构和网络管理业务时,云计算的灵活性、易用性、定制性,IT运维给企业带来的优势是毋庸置疑的,但是公有云、私有云、混合云等等到底都是什么呢?   公有云、私有云、混合云……这么多云怎么区分?   看到有个例子不错,拿来大家分享一下:   张三自己在家做饭吃,这是私有云,厨房就是自建机房。李四天天在饭店吃,这是公有云,饭店就是云数据中心。然后王五比较牛叉,在饭店有个固定包间,不对外开放,这是托管型私有云(有的厂商将其定义为专有云)。包间就好比云数据中心的托管服务器。   某一天张三家来了十来个客人,这是业务突增,家里没法坐下那么多人,要去饭店,这是私有云转公有云。   然后张三爸妈为了省点钱决定留在家里吃,张三带着客人去饭店吃,这就是混合云。   还有一种情况,饭店仅对某个特定的人群比如说公务员开放,那就相当于社区云。   详细说来   公有云从 “公有”两个字就可以看出这类云服务并非用户私人拥有的,是为大众建的。公有云由IDC服务商或第三方提供资源(比如说应用和存储),这些资源是在服务商的场所内部署。   用户...
ABBYY 发布于 3个月前 阅读 77

分布式存储ceph监控calamari安装

前言 由于源码安装calamari坑无限,因此开源社区有大神提供了rpm包,我上传到了我的网盘地址如下: 链接:http://pan.baidu.com/s/1jId15cy 密码:wwgu 环境 Linux:centos7,Ceph:Jewel Calamari模块 Calamari包含的组件主要有calamari-server,romana,salt,salt-minion,salt-master,diamond。 calamari-server 这个是提供一个与集群进行交互,并且自己封装了一个自己的API,做集中管理的地方,这个只需要在集群当中的某一台机器上安装,也可以独立安装。 romana 就是原来的calamari-client,这个叫client,其实是一个web的界面,这个叫calamari-web更好,现在已经更名为romana,这个也是只需要在集群当中的某一台机器上安装,也可以独立安装,这个需要跟calamari-server安装在一台机器上。 salt-master 是一个管理的工具,可以批量的管理其他的机器,可以对安装了salt-minion的机器进行管理,在集群当中,这个也是跟calamari-server安装在一起的。 salt-minion和salt 是安装在集群的所有节点上的,这个是接收salt-master的指令对集群的机器进行操作,并且反馈一些信息到salt-master上。 diamond 这个是系统的监控信息的收集控件,提供集群的硬件信息的监控和集群的信息的...
tqyin 发布于 2周前 阅读 20

elasticsearch的打分策略

elasticsearch 简称es(下同),打分策略
arthur666 发布于 2个月前 阅读 52 评论 1

使用 Eureka 实现服务注册与发现

Eureka 是 [Netflix](https://www.netflix.com) 出品的用于实现服务注册和发现的工具。 Spring Cloud 集成了 Eureka,并提供了开箱即用的支持。其中, Eureka 又可细分为 Eureka Server 和 Eureka Client。 本例子将演示如何通过 Spring Cloud Eureka 来快速实现服务的注册和发现。
waylau 发布于 1周前 阅读 227

一文搞懂各种 Docker 网络 - 每天5分钟玩转 Docker 容器技术(72)

本节将从不同维度比较各种网络方案,大家在选择的时候可以参考。CloudMan 的建议是:没有最好的,只有最适合的,明确自己的需求,通过 PoC 选型。
CloudMAN 发布于 22小时前 阅读 12

Kubernetes Job Controller源码分析

对于一般用户,学习和使用Job,官方文档就足够了,但如果你是个变态,那你总会去想,Job Controller和Deployment Controller在管理Pod上,除了RestartPolicy等不同外,还有哪些不同呢?其实是因为最近在搞TensorFlow on Kubernetes项目,想通过Job映射分布式TensorFlow中的worker task,达到训练完数据,自动回收资源资源等目的。本博文通过Job Controller代码分析其内部主要流程。
WaltonWang 发布于 5天前 阅读 127 评论 2

实弹军演-基于Ceph对象存储的实战兵法

保障国家权益的第一道防线是军队,而保障数据安全的最强壁垒则是存储。老司机多年经验总结,分享几点基于Ceph的对象存储实战兵法.
秦牧羊 发布于 2个月前 阅读 1199 评论 4 点赞 3

阿里云学生套餐优惠价格118一年,使用阿里云优惠码价格更优

阿里云让你用上云,作为计算机学院的同学,更加明白阿里云的便利性,熟练掌握云的设置和运营,是一个未来最根本的生存技能。大学里最美好的事情不是睡觉和泡妞,而是在别人睡觉和泡妞的时候,掌握自己生存的本领。
阿里云8折码 发布于 5天前 阅读 11

如何定制 Calico 的 IP 池?- 每天5分钟玩转 Docker 容器技术(71)

Calico 会为自动为网络分配 subnet,当然我们也可以定制。
CloudMAN 发布于 4天前 阅读 8

如何定制 Calico 网络 Policy - 每天5分钟玩转 Docker 容器技术(70)

Calico 默认的 policy 规则是:容器只能与同一个 calico 网络中的容器通信。本节讨论如何定制 policy。
CloudMAN 发布于 6天前 阅读 15

卸载docker

删除docker以及删除集群、卸载docker软件操作步骤: 1)先卸载组件 参考文档从后往前卸载组件 Docker service ls或者 docker stack ls 【查看组件服务】 Docker stack rm 组件名 【卸载组件服务】 Docker service rm 服务名 【卸载服务】 2)删除swarm文件夹 Systectl stop docker 停止组件服务 Docker ps Rm –rf swarm 【删除集群文件】 3)删除容器 Docker ps 【查看容器名称】 Docker rm –f 【强制删除容器名称】 4)查看docker软件 rpm  –qa|grep docker 【查看安装镜像】 rpm  –e –nodeps docker xx【强制删除docker安装包】 2、其它常用命令: docker stack ps –no -trunc container name 【可查看状态以及完整的失败信息】 docker insepct containerID |group Log 【查看日志路径】 cat /dev/null>查看日志路径【清空日志】 docker logs -f containerID【查看后日志】 docker exec -it containerID sh 【进入容器内部,可以查看容器的网络信息以及连通测试】 docker inspect containerID【查看容器详细信息】 docker rmi 镜像名称【删除镜像】 docker rmi -f 镜像名称【强制删除镜像】 docker images 【查看镜像】 docker tag 原镜像名称:原版本号 新镜像名...
stars永恒 发布于 1周前 阅读 9

自己动手轻松制作一台linux瘦客户机(云终端)

瘦客户机简化了IT管理的复杂程度,因此很多有远见的企业及IT决策者开始使用瘦客户机+桌面虚拟化方案来替换传统的PC,对于一个全新的IT环 境,全部使用易管理,零维护的瘦客户机当然没有任何问题,但是对于还想继续利旧,但又不想管理复杂的操作系统环境的IT来说,能够将普通的PC变成一台瘦 客户机是一件多么惬意的事情。 本文介绍的是由瑞恩科技提供的瘦客户端系统,而且是完全免费的。你可以登录到瑞恩网站下载,或者通过以下百度网盘下载最新的Thinsys瘦客户端系统镜像文件。 (百度网盘下载地址:http://pan.baidu.com/s/1jHUZ7xG  密码:1g1k) 将 从百度网盘下载得到的镜像文件,通过使用深度启动盘制作工具制作成U盘启动盘,把镜像文件复制到启动盘上,并用它来引导您的PC,系统启动完成后,你把镜 像文件恢复到硬盘上(详细操作步骤可查看网盘中的教程)。 完成以上恢复安装操作,系统启动后进入定制的瘦客户端Linux系统,该系统支持Microsoft RDP8.0/RemoteFX,VMware Horizon View, Citrix XenDesktop, Redhat RHEV/oVirt/OpenStack虚拟化软件。 选择PCOIP协议配置VMware View Client连接参数,你可以直接输入您的VMware View Connection server来进行连接。 当与服...
Mark36911 发布于 3个月前 阅读 88

nginx反代理服务器

nginx反代理配置: server {     listen       8082;     server_name  localhost,10.20.1.160; #    charset     utf-8; #    index        index.php index.html index.htm;     root         /app/usercenter/web;     #charset koi8-r;     #access_log  /var/log/nginx/log/host.access.log  main;     location /132/8080/ {         proxy_pass   http://10.20.1.132:8080/;         client_max_body_size       10m; #允许客户端请求的最大单文件字节数         client_body_buffer_size    128k; #缓冲区代理缓冲用户端请求的最大字节数         proxy_connect_timeout      300; #nginx跟后端服务器连接超时时间(代理连接超时)         proxy_send_timeout         300; #后端服务器数据回传时间(代理发送超时)         proxy_read_timeout         300; #连接成功后,后端服务器响应时间(代理接收超时)         proxy_buffer_size          4k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小     ...
mecisery 发布于 7天前 阅读 9

kolla-ansible离线部署openstack的ocata

环境 操作系统 CentOS Linux release 7.3.1611 (Core) 内核信息 Linux 3.10.0-514.el7.x86_64 硬件 虚拟机一台 网卡 2块 内存 8G  //all-in-one建议16G CPU 4 VCPU   装好对应的操作系统,克隆下面项目,包含的shell脚本一脚本安装 git clone  https://github.com/jannanlo/kolla-ansible-ocata.git 进入kolla-ansible-cocata目录,执行以下命令 wget http://tarballs.openstack.org/kolla/images/centos-binary-registry-ocata.tar.gz(这个包太大) 从百度网盘下载 registry-2.3.tar.gz    https://pan.baidu.com/s/1pLDOBAr sh ocata-all-in-one.sh 备注: 在ocata-all-in-one.sh脚本里,如果有某些配置不一样要修改一下 如果测试环境是在物理机运行可以将run_in_vm设为false 如果网卡名字不是eth0将 eth_name 改为对应的网卡名  ...
JennerLuo 发布于 4周前 阅读 12

数人云|关于分布式任务调度平台,数人云的经验都在这里了

![Markdown](http://i4.cfimg.com/598922/177ddf7f555d5137.jpg) 分布式任务调度平台是目前很多公司研究的方向,今天小数就给大家分享一下数人云分布式任务调度平台(Octopus)的一些思考与实践。 今天主要分享下批量处理平台的技术心得,批量处理从片面的角度讲类似于Linux系统中的Cron Table,从大方向去看属于批量业务的调度平台,此次依托数人云3年来对容器技术的积累和对批量处理开源项目的整合过程,在这里和大家探讨一下实践分布式任务调度的心路历程。 从理论上来说,做分布式系统并非企图加快单一任务处理速度,而是通过并行的方式合理利用资源,通过加大对任务的同时批量处理业务容量来加快业务的运营速度,举个典型的例子:当前视频直播中需要的视频文件解码,就是一种典型的批量处理业务。 本来,批量处理业务和容器技术的关系并不紧密,我们通过跨领域的交叉设计,希望通过容器技术的封装能力帮助批处理系统快速建立更多的高密度批量处理运行时环境,更高效地利用资源。 定时任务无处不在,在多任务处理时如何进行秒级调度?与容器如何碰撞?这是我比较关注的主题,个人的角度来看,批量处理系统的痛点有四个维度是用户比较关注的: - 弹性伸缩 - 故障处理 - ...
数人云 发布于 7天前 阅读 6

Apache Spark 2.2.0 中文文档 - 快速入门 | ApacheCN

本教程提供了如何使用 Spark 的快速入门介绍。首先通过运行 Spark 交互式的 shell(在 Python 或 Scala 中)来介绍 API, 然后展示如何使用 Java , Scala 和 Python 来编写应用程序。 为了继续阅读本指南, 首先从 Spark 官网 下载 Spark 的发行包。因为我们将不使用 HDFS, 所以你可以下载一个任何 Hadoop 版本的软件包。
开拓者-2017 发布于 6天前 阅读 6

hyperledger-fabric+docker安装体验

参考:http://hyperledger-fabric.readthedocs.io/en/latest/samples.html 1、安装了vmware和ubuntu虚拟客户机笔者环境为ubuntu16.04.2 LTS和vm12.5.7 ////2、将用户加入root组并重启 usermod -aG root 这是无法获得root权限的,只是加入了root组而已 2、一般linux中非root名字用户无法获得root权限,只能加入sudo用户组,以使用sudo命令行使root权限 usermod -aG sudo 然后重启 3、安装go环境,环境变量配置好后重启 参考:http://www.cnblogs.com/auh2010006/p/6343231.html 4、更新ubuntu的源,使用了阿里云的源 参考:http://www.jb51.net/article/110521.htm #笔者个人觉得这个源比较新,根据个人选择 5、安装curl工具 apt install curl 6、安装docker curl -sSL https://get.docker.com/ | sh 如果此链接不可用,那就用linux源的docker apt install docker 7、将用户加入docker组并重启 usermod -aG docker 8、docker run hello-world启动hello-world测试docker是否安装成功,效果是,没找到镜像但是会自动去pull下那个镜像 9、安装docker-compose,要求最好1.8 apt install docker-compose 10、安装nodejs apt install nodejs 11、安装npm apt install npm 12、为了启...
fangYC 发布于 2个月前 阅读 91

Openstack Ocata版本+Ubuntu 16.04安装笔记

环境virtualbox,安装两个节点,一个控制节点,一个计算节点,两个节点都是2c8g,都是双网卡。硬盘留出80GB。 1.两个网络,一个管理网络,给物理节点上网安装软件使用,模式NAT网络。一个provider网络,给虚机上网使用,模式Host-only,注意:provider网络上的网卡一定要允许“混杂模式”,否则节点是无法ping通openstack创建出来的虚拟机的!!!! 2.查看openstack日志,在/var/log目录下,keystone的日志在/var/log/apache2/keystone目录下。 3./etc/keystone/keystone-paste.ini is missing a 'pipeline' pipline这个配置不能注释掉。 4.在编辑/nova/nova.conf文件中[placement]一栏时要注意os_region_name改为RegionOne,不能使用原来的openstack。 5.VIM删除空白行 :g/^$/d   删除注释行 :%s/^#.*$//g 6.配好各个主机的主机名,并且要能通过主机名访问各节点。 7.阿里云ubuntu 16的APT源,修改/etc/apt/source.list文件为以下内容: deb-src http://archive.ubuntu.com/ubuntu xenial main restricted #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial main res...
紅紅火火 发布于 3周前 阅读 17

公有云、私有云、混合云之间的区别,你知道吗?

      近几年随着云计算技术的逐渐普及,越来越多的企业开始选择了部署云计算方案,当运营赖于数据结构和网络管理业务时,云计算的灵活性、易用性、定制性,IT运维给企业带来的优势是毋庸置疑的,但是公有云、私有云、混合云等等到底都是什么呢?   公有云、私有云、混合云……这么多云怎么区分?   看到有个例子不错,拿来大家分享一下:   张三自己在家做饭吃,这是私有云,厨房就是自建机房。李四天天在饭店吃,这是公有云,饭店就是云数据中心。然后王五比较牛叉,在饭店有个固定包间,不对外开放,这是托管型私有云(有的厂商将其定义为专有云)。包间就好比云数据中心的托管服务器。   某一天张三家来了十来个客人,这是业务突增,家里没法坐下那么多人,要去饭店,这是私有云转公有云。   然后张三爸妈为了省点钱决定留在家里吃,张三带着客人去饭店吃,这就是混合云。   还有一种情况,饭店仅对某个特定的人群比如说公务员开放,那就相当于社区云。   详细说来   公有云从 “公有”两个字就可以看出这类云服务并非用户私人拥有的,是为大众建的。公有云由IDC服务商或第三方提供资源(比如说应用和存储),这些资源是在服务商的场所内部署。   用户...
ABBYY 发布于 3个月前 阅读 77

常用的启发式调度规则

猪迪 发布于 1个月前 阅读 124

ceph luminous 新功能之内置dashboard

  搭建一个3节点环境,ceph -s 如下: [root@clove16 ~]# ceph -s cluster: id: a57fb0a6-9528-11e7-84c0-ecf4bbdc70f8 health: HEALTH_OK services: mon: 3 daemons, quorum 10.118.203.14,10.118.203.15,10.118.203.16 mgr: 10.118.203.16(active), standbys: 10.118.203.14, 10.118.203.15 osd: 30 osds: 30 up, 30 in data: pools: 2 pools, 728 pgs objects: 25609 objects, 100255 MB usage: 13568 MB used, 27903 GB / 27916 GB avail pgs: 728 active+clean io: client: 4435 B/s rd, 0 B/s wr, 4 op/s rd, 0 op/s wr 开启监控模块 下列操作只需在mgr为“active”的节点执行(如上所在:mgr为“active”的节点IP 为“10.118.203.16”) 在/etc/ceph/ceph.conf中添加 [mgr] mgr_modules = dashboard 设置dashboard的ip和端口 [root@clove16 ~]# ceph config-key put mgr/dashboard/server_addr 10.118.203.16 [root@clove16 ~]# ceph config-key put mgr/dashboard/server_port 7000 查看配置 [root@clove117 ~]# ceph config-key dump { "mgr/dashboard/server_addr": "10.118.203....
泽_娟 发布于 2周前 阅读 7

Kubernetes Deployment滚动更新场景分析

本博文对以下Kubernetes滚动更新场景进行了测试分析:正常滚动更新流程;应用滚动更新时,用户删除应用;应用滚动更新时,用户对该应用进行扩容;应用滚动更新时,用户对该应用进行缩容;应用扩容时,进行滚动更新;应用缩容时,进行滚动更新;应用回滚;滚动更新未完成时,又开始新的滚动更新;
WaltonWang 发布于 3周前 阅读 179

如何部署 Calico 网络?- 每天5分钟玩转 Docker 容器技术(67)

Calico 是一个纯三层的虚拟网络方案,性能好。本节讨论如何部署 Calico 容器网络。
CloudMAN 发布于 2周前 阅读 9

IPSec VPN全面上线 UCloud网关安全策略再添利器

近日,国内领先云计算服务商UCloud在上海二、广州、北京二、香港等多个地域上线IPSec VPN安全网关服务。该网络新特性的推出,不仅可以使UCloud公有云多个地域间的公网通信得到加密,还能支持与用户自有IPSec设备互联来搭建安全可靠的混合云环境。 结合此前已有的SSL OpenVPN产品,UCloud在网络和应用层上的安全及扩展性变得日益强大,是业内为数不多地能同时提供IPSec VPN和SSL VPN安全网关服务的云厂商,为用户在网络间的数据通信提供了双重安全保障。 网关安全新特性 IPSec作为一种由IETF定义的标准协议,主要用于提供公用/专用网络的端对端加密和验证服务,该项成熟的网关技术可用于实现远程VPN接入。 UCloud IPSec网关产品采用IKE v1版本进行协商,使用预共享秘钥配置,支持Main Mode主模式和Aggressive Mode野蛮模式,并且支持AH认证和ESP加密。此外,UCloud IPSec VPN产品还提供多项进阶功能,比如支持FQDN全程域名、修改DH配置、修改SA超时配置等。 产品后台采用高可用架构设计,以集群方式提供热备方案,确保在设备故障时能够自动秒级切换,保证会话连续性,以确保达到用户业务无感知的目的。 操控更简易 在产品控制台操作方面,也不必担心。用户不用再编写繁杂的配...
UCloudTech 发布于 19小时前 阅读 3

快速了解人工智能结晶之语音转换文字

科技解放生产力,人工智能的应用如今是大热,那么今天就来给各位介绍一下IBM在这方面的一个小的尝试,语音转换文字。咱们来看一看相较于传统的转换,结合Watson的IBM是如何做到让识别率飙升的。
IBM Bluemix

一文搞懂各种 Docker 网络 - 每天5分钟玩转 Docker 容器技术(72)

本节将从不同维度比较各种网络方案,大家在选择的时候可以参考。CloudMan 的建议是:没有最好的,只有最适合的,明确自己的需求,通过 PoC 选型。
CloudMAN 发布于 22小时前 阅读 12

数人云|9大开源工具,助你迈向崛起的云原生之路

云原生即Cloud Native,最早来源于如Landscape此类做微服务的公司,近来,云原生的概念不断被提及,小数今天分享的文章就从云原生的发展趋势切入,而后为想要应用云原生的企业推荐了CNCF的兼容工具&框架。 ## 云原生趋势报告 根据IT资讯公司Capgemini的最新研究:到2020年,云原生架构将成为面向客户的应用首要选项,当然,这一举措的前提是公司的领导层对于云原生这个概念有充分的了解以及愿景。 Capgemini公司调查了11个国家的900多位资深专业人士,发现15%的企业应用,都以云计算为基础,而到2020年,这个数字将上升到32%。 转向云原生应用的主要原因有:提高开发部署交付等速度(74%)、更好的进行团队协作(70%)和改善用户体验(67%),使用敏捷和DevOps的方法和自动化的应用部署,具有极强的云实践能力公司在这一趋势中一直处于领先地位。这些公司也更倾向于以增长为中心的IT功能,改善客户体验(90%),提高业务敏捷性(87%)和可伸缩性(85%)被视为是比降低成本的优先级更高。 不过,这对于CIO来说是一种新的挑战,CIOS的调查指出,整合云原生应用和传统基础设施的困难是一个绊脚石,因为与现有的应用提供商的合同,网络安全和数据保护以及本地基础设施的成本方面...
数人云 发布于 4天前 阅读 4

如何定制 Calico 的 IP 池?- 每天5分钟玩转 Docker 容器技术(71)

Calico 会为自动为网络分配 subnet,当然我们也可以定制。
CloudMAN 发布于 4天前 阅读 8

软件开发中对设计的思考

最近一年一直负责公司一款大数据挖掘产品的设计和基础开发,目前基本到了稳定版,下面是一些经验教训。 软件设计中的注意点:    1.只要有一个不确定点或者歧义的地方,然后这里肯定会出问题。这个也符合墨菲定理,只要不往好的方向努力,最后得到肯定是坏的结果。   2.在基础框架实现时,一定要确定好模块和框架间的接口关系,并且不能有接口歧义或多定义的地方。   3.看似简单的东西往往要开发很长时间,因为大部分时间都耗费在调试和不断的迭代测试中。   4.如果软件的外部接口过多,必然有小功能带来大工作量的问题。要及时做出取舍,不然产品发布永远遥不可及。   5.随着系统不断的重构,必然带来很多歧义的接口,对于不确定方法,接口,尽早删除。   6.分清变和不变,不变的尽量通用,变的尽量和框架隔离。   7.观察者模式是模块解耦的利器。但是事件类型必须统一定义,分门别类,强势固化。   8.个人知识面必须尽可能的广,产品牵扯到图形输出,数据库,大数据技术,并使用python,scala,java开发。测试和实施中的问题必须及时解决。  9.性能是用户体验的基础,必须全力保证。多人开发时必须紧定每日提交代码。着重性能瓶颈分析。  10.上帝类在不知不觉...
292672967 发布于 5天前 阅读 5

一个Spark程序的例子

import org.apache.spark.sql.SparkSession import java.net.URLDecoder import org.apache.hadoop.hdfs.DistributedFileSystem import org.apache.hadoop object SparkMapreduce {      def main(args: Array[String]) {    val session = SparkSession.builder().master("local[2]").getOrCreate();     val sc = session.sparkContext;     val path = SparkMapreduce.getClass.getResource("readme.md");     val pathStr = path.getFile;     println(pathStr);     val textFile = sc.textFile("file://" + pathStr)     val count = textFile.count()     println(count);     val linesWithSpark = textFile.filter(line => {       //println(line);       line.contains("UnderConstruction")     })     //把 collect去除后不会打印,说明了 transform和action的区别     linesWithSpark.collect().map { println(_) }     val url = SparkMapreduce.getClass.getResource("分类预测.csv");     //中文会被编码,此处反编码     val predictionPath = URLDecoder.decode(url.getPath, "utf-8");     val predictionDF...
292672967 发布于 5天前 阅读 2

Kubernetes Job Controller源码分析

对于一般用户,学习和使用Job,官方文档就足够了,但如果你是个变态,那你总会去想,Job Controller和Deployment Controller在管理Pod上,除了RestartPolicy等不同外,还有哪些不同呢?其实是因为最近在搞TensorFlow on Kubernetes项目,想通过Job映射分布式TensorFlow中的worker task,达到训练完数据,自动回收资源资源等目的。本博文通过Job Controller代码分析其内部主要流程。
WaltonWang 发布于 5天前 阅读 127 评论 2

数人云|7大ChatOps&5种团队协作工具助力DevOps实践

机器人应用只不过是一组脚本或一个独立的程序,可以连接到Web服务或聊天服务,作为客户端去执行自动化功能,通常,机器人部署在服务器上,并在后台运行执行各种活动:提供信息、常见问题答疑、删除垃圾邮件等等。 ChatOps引自GitHub,包括开发团队、聊天应用、Bot以及基础设置,它是一种新的操作模式,将当天的工作注入到一个普通的聊天室当中,由此可以将应完成的工作与实际工作历史联系起来,比如从聊天中部署代码、从TSDB或日志工具查看图表、创建新的Jira Tickets等等,都可以通过聊天操作完成。 ChatOps不仅减少了工作输出的反馈循环,还使其他人能够完成复杂的自服务任务,将ChatOps和StackStorm组合在一起,用户可以执行操作和工作流程,加快应用交付。 ## No.1 Eggdrop ![Markdown](http://i2.cfimg.com/598922/a02d3462c568d7c6.png) Eggdrop是一个非常受欢迎的IRCChatOps,功能而丰富,可以在各种硬件和软件平台上轻松地使用和扩展(使用Tcl脚本)。 在GNU通用公共许可证(GPL)的条款下,任何人都可以自由地使用、分发和修改。 功能&特点: - 基本的IRC频道管理 - 可以运行在Linux、BSD、SunOs、Mac OS X和Friends。 - 支持IPV6 - 对IRC和僵尸网络的SSL保护 - ...
数人云 发布于 5天前 阅读 22

Apache Spark 2.2.0 中文文档 - 快速入门 | ApacheCN

本教程提供了如何使用 Spark 的快速入门介绍。首先通过运行 Spark 交互式的 shell(在 Python 或 Scala 中)来介绍 API, 然后展示如何使用 Java , Scala 和 Python 来编写应用程序。 为了继续阅读本指南, 首先从 Spark 官网 下载 Spark 的发行包。因为我们将不使用 HDFS, 所以你可以下载一个任何 Hadoop 版本的软件包。
开拓者-2017 发布于 6天前 阅读 6

Apache Spark 2.2.0 中文文档 - 概述 | ApacheCN

Apache Spark 是一个快速的, 多用途的集群计算系统。 它提供了 Java, Scala, Python 和 R 的高级 API,以及一个支持通用的执行图计算的优化过的引擎. 它还支持一组丰富的高级工具, 包括使用 SQL 处理结构化数据处理的 Spark SQL, 用于机器学习的 MLlib, 用于图形处理的 GraphX, 以及 Spark Streaming。
开拓者-2017 发布于 6天前 阅读 5

如何定制 Calico 网络 Policy - 每天5分钟玩转 Docker 容器技术(70)

Calico 默认的 policy 规则是:容器只能与同一个 calico 网络中的容器通信。本节讨论如何定制 policy。
CloudMAN 发布于 6天前 阅读 15

openstack导出image镜像的方法

在openstack中创建测虚拟机做了快照镜像,有时需要导出本地用作其他环境使用,本方法在openstack的mitaka版本验证过。 1、查询环境中的镜像 方法一: [root@controller httpd]# glance image-list 环境中一个有两个镜像本次导出instance。 方法二: 2、执行导出命令 方法一: 命令解释:/root/wuyeliang.img为导出后的镜像存放路径及名称,789eb102-031b-4559-a00e-eeeb3272c37c为需要导出镜像的ID 方法二:
mecisery 发布于 6天前 阅读 3

nginx反代理服务器

nginx反代理配置: server {     listen       8082;     server_name  localhost,10.20.1.160; #    charset     utf-8; #    index        index.php index.html index.htm;     root         /app/usercenter/web;     #charset koi8-r;     #access_log  /var/log/nginx/log/host.access.log  main;     location /132/8080/ {         proxy_pass   http://10.20.1.132:8080/;         client_max_body_size       10m; #允许客户端请求的最大单文件字节数         client_body_buffer_size    128k; #缓冲区代理缓冲用户端请求的最大字节数         proxy_connect_timeout      300; #nginx跟后端服务器连接超时时间(代理连接超时)         proxy_send_timeout         300; #后端服务器数据回传时间(代理发送超时)         proxy_read_timeout         300; #连接成功后,后端服务器响应时间(代理接收超时)         proxy_buffer_size          4k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小     ...
mecisery 发布于 7天前 阅读 9

数人云|关于分布式任务调度平台,数人云的经验都在这里了

![Markdown](http://i4.cfimg.com/598922/177ddf7f555d5137.jpg) 分布式任务调度平台是目前很多公司研究的方向,今天小数就给大家分享一下数人云分布式任务调度平台(Octopus)的一些思考与实践。 今天主要分享下批量处理平台的技术心得,批量处理从片面的角度讲类似于Linux系统中的Cron Table,从大方向去看属于批量业务的调度平台,此次依托数人云3年来对容器技术的积累和对批量处理开源项目的整合过程,在这里和大家探讨一下实践分布式任务调度的心路历程。 从理论上来说,做分布式系统并非企图加快单一任务处理速度,而是通过并行的方式合理利用资源,通过加大对任务的同时批量处理业务容量来加快业务的运营速度,举个典型的例子:当前视频直播中需要的视频文件解码,就是一种典型的批量处理业务。 本来,批量处理业务和容器技术的关系并不紧密,我们通过跨领域的交叉设计,希望通过容器技术的封装能力帮助批处理系统快速建立更多的高密度批量处理运行时环境,更高效地利用资源。 定时任务无处不在,在多任务处理时如何进行秒级调度?与容器如何碰撞?这是我比较关注的主题,个人的角度来看,批量处理系统的痛点有四个维度是用户比较关注的: - 弹性伸缩 - 故障处理 - ...
数人云 发布于 7天前 阅读 6

卸载docker

删除docker以及删除集群、卸载docker软件操作步骤: 1)先卸载组件 参考文档从后往前卸载组件 Docker service ls或者 docker stack ls 【查看组件服务】 Docker stack rm 组件名 【卸载组件服务】 Docker service rm 服务名 【卸载服务】 2)删除swarm文件夹 Systectl stop docker 停止组件服务 Docker ps Rm –rf swarm 【删除集群文件】 3)删除容器 Docker ps 【查看容器名称】 Docker rm –f 【强制删除容器名称】 4)查看docker软件 rpm  –qa|grep docker 【查看安装镜像】 rpm  –e –nodeps docker xx【强制删除docker安装包】 2、其它常用命令: docker stack ps –no -trunc container name 【可查看状态以及完整的失败信息】 docker insepct containerID |group Log 【查看日志路径】 cat /dev/null>查看日志路径【清空日志】 docker logs -f containerID【查看后日志】 docker exec -it containerID sh 【进入容器内部,可以查看容器的网络信息以及连通测试】 docker inspect containerID【查看容器详细信息】 docker rmi 镜像名称【删除镜像】 docker rmi -f 镜像名称【强制删除镜像】 docker images 【查看镜像】 docker tag 原镜像名称:原版本号 新镜像名...
stars永恒 发布于 1周前 阅读 9

jewel版本vstart脚本单节点启动多个集群

vstart.sh ``` #!/bin/sh # abort on failure set -e if [ -n "$VSTART_DEST" ]; then SRC_PATH=`dirname $0` SRC_PATH=`(cd $SRC_PATH; pwd)` CEPH_DIR=$SRC_PATH CEPH_BIN=$SRC_PATH CEPH_LIB=$SRC_PATH/.libs if [ -e CMakeCache.txt ]; then CEPH_BIN=$VSTART_DEST/../../bin CEPH_LIB=$VSTART_DEST/../../lib fi CEPH_CONF_PATH=$VSTART_DEST CEPH_DEV_DIR=$VSTART_DEST/dev CEPH_OUT_DIR=$VSTART_DEST/out fi # for running out of the CMake build directory if [ -e CMakeCache.txt ]; then # Out of tree build, learn source location from CMakeCache.txt CEPH_ROOT=`grep Ceph_SOURCE_DIR CMakeCache.txt | cut -d "=" -f 2` CEPH_BUILD_DIR=`pwd` fi # use CEPH_BUILD_ROOT to vstart from a 'make install' if [ -n "$CEPH_BUILD_ROOT" ]; then [ -z $CEPH_BIN ] && CEPH_BIN=$CEPH_BUILD_ROOT/bin [ -z $CEPH_LIB ] && CEPH_LIB=$CEPH_BUILD_ROOT/lib64 [ -z $EC_PATH ] && EC_PATH=$CEPH_LIB/ceph/erasure-code [ -z $CS_PATH ] && CS_PATH=$CEPH_LIB/ceph/compressor [ -z $OBJCLASS_PATH ] && OBJCLASS_PATH=$CEPH_LIB/rados-classes elif [ -n "$CEPH_R...
wzyuliyang 发布于 1周前 阅读 6

Calico 的默认连通性 - 每天5分钟玩转 Docker 容器技术(69)

calico 默认的 policy 规则是:容器只能与同一个 calico 网络中的容器通信。
CloudMAN 发布于 1周前 阅读 12

使用 Eureka 实现服务注册与发现

Eureka 是 [Netflix](https://www.netflix.com) 出品的用于实现服务注册和发现的工具。 Spring Cloud 集成了 Eureka,并提供了开箱即用的支持。其中, Eureka 又可细分为 Eureka Server 和 Eureka Client。 本例子将演示如何通过 Spring Cloud Eureka 来快速实现服务的注册和发现。
waylau 发布于 1周前 阅读 227

数人云|容器5大深坑莫要踩,5种实践出真知

众所周知,容器已经在很多互联网企业以及传统企业当中实践应用,这种新兴的技术有很多地方会被人误解,一不小心就会踩到坑,[数人云](https://www.shurenyun.com/)今天分享的文章将讨论这些,因为Docker是被最广泛采用的容器技术,所以以它为例。 # Docker的5大误区 ## 误区1:Docker是万灵药 Docker并不解决云端所有的问题,所以在容器技术中,需要对计划目标有合理地规划,若考虑采用Docker在平台中加一些特定的东西,那么请自问:目前平台有哪些衍变?若已经有了小的应用服务,可以使用Docker去解决一些问题,但不要试图让它解决全部问题。 在评估环境是否合适容器时,经常使用牛或宠物作为比喻,想要迁移到容器,需要的环境是能像对待牲口那样简单粗暴,而不是那种娇滴滴的宠物。若有一个高强度且密集的程序,并且要不断地为服务器梳理毛发(比喻,意思为比较脆弱,需要经常维护),那么就不适合迁移到容器当中。 如果已经有了一个范围广泛且松散耦合的集合,就可以很好地运用容器去解决一些,但要是已经有了大量流程模式的挑战,并且应用管理方法都是非常传统的,就需要在尝试迁移之前将这些问题解决掉,在迁移到容器之前,需要致力于不可变的基础设施概念和实践。 ##...
数人云 发布于 2周前 阅读 4

数人云|当容器与CI/CD相遇,7个建议送给你

[数人云:](https://www.shurenyun.com/)Docker是CI/CD的早期采用者,通过利用如GIT等源代码控制机制的正确集成,Jenkins可以在开发者每次提交代码时启动构建过程,此过程生成新的Docker镜像,可以在整个环境中立即生效,因此团队可以快速构建共享和部署应用。 用途:根据开发需求,自动配置环境及基础设施,并配备拥有自助服务的自动化工具。 - 企业所面临的挑战: - 不可用的环境 - 缺乏环境配置所需技能 - 缺乏环境配置所需时间 ## 什么是CI(持续集成) CI是一种开发实践,开发者每天将代码集成到共享存储库中几次,支持将新功能与现有代码集成在一起,此集成的代码还可以确保运行时环境中没有错误,允许检查它与其他变更的反应。 目前用于CI最流行的工具是“Jenkins”,GIT用于源代码控制存储库,Jenkins可以从GIT存储库中提取最新的代码修订,并生成可以部署到服务器上的构建版本。 ## 什么是持续交付 持续交付是指在给定的时间内将软件部署到任何环境的能力,包括二进制文件、配置和环境变更。 ## 什么是持续部署(CD) 持续部署是开发团队在短周期内发布应用的一种方法,开发人员所做的任何变更都会被部署到生产环境中。 ## 什么是Docker? Docker是一个容器化平台...
数人云 发布于 2周前 阅读 3

实弹军演-基于Ceph对象存储的实战兵法

保障国家权益的第一道防线是军队,而保障数据安全的最强壁垒则是存储。老司机多年经验总结,分享几点基于Ceph的对象存储实战兵法.
秦牧羊 发布于 2个月前 阅读 1199 评论 4 点赞 3

Spring Cloud 项目综述(技术栈一览)

Spring Cloud 为构建分布式系统和微服务提供了一些通用的工具,例如:配置中心,服务注册与发现,熔断器,路由,代理,控制总线,一次性令牌,全局锁,leader选举,分布式 会话,集群状态等。
侯法超 发布于 6个月前 阅读 6462 评论 14 点赞 17

API的文档自动生成——基于CDIF的SOA基本能力

当前,作为大部分移动app和云服务后台之间的标准连接方式,REST API已经得到了绝大部分开发者的认可和广泛的应用。近年来,在新兴API经济模式逐渐兴起,许多厂商纷纷将自己的后台业务能力作为REST API开放出来,给更广泛的第三方开发者使用。   但是,管理REST API并非是一件容易的工作。由于缺乏有效的接口数据schema约束,加上设计REST API时resource endpoint的安排,以及发送http请求的方式又都五花八门,REST API开发完成后,大多数情况下API开发者仍然需要手动书写API文档,让用户能按照文档的说明接入。并且在API发生变化时需要重写文档,这个过程费时费力而且容易出错。比如,一个REST API文档最少必须列明以下的基本信息:   * API的名称 * API所在的URL资源路径 * http请求方法(GET, POST, PUT等) * API提交数据的方式(查询参数、表单提交、JSON提交等) * 调用API返回数据的格式   在上面提供的REST API信息中,从API返回的JSON数据在大部分情况下甚至只能用“举例”的方法说明数据的结构,而无法精确表达出这段JSON数据中每个字段的精确含义和类型定义。这都是因为REST API缺少对JSON数据的schema定义而导致,而这种“举例”的方式毫无疑问是一种很无奈很...
尼采与旺财 发布于 6个月前 阅读 1779 评论 17

CheungSSH3.0国产自动化运维堡垒机

CheungSSH Web3.0 虽然不优秀,但衷心希望能给予支持和理解 项目地址:http://git.oschina.net/CheungSSH_OSC/CheungSSH 建议您使用git命令下载,因为文件比较大,如果用浏览器,和可能下载不完整 [root@CheungSSH ~]# git clone https://git.oschina.net/CheungSSH_OSC/CheungSSH.git 讨论QQ群:517241115        在当今互联网的发展大势下,云计算和大数据已经成为主导。在两大趋势下,企业的服务器数量日益增多,如何有效的管理众多的服务器,已经成为了各大公司考虑的问题。在传统的人工管理模式下,已经很难做到高效的维护,是人管理服务器?还是服务器管理人?        为了解决这个问题,我痴迷于运维自动化研究,目前后端使用的Python语言+Django的Web框架,前端使用Bootstrap+Javascript+jQuery框架开发的CheungSSH Web3.0自动化运维系统,通信协议采用Linux系统自带的SSH协议,无Agent。并通过Paramiko库完成自动化登录,本系统可以基本满足日常的自动化运维需求。系统全程由我自主研发,不采用任何第三方工具和接口。        系统设计不足之处请各位朋友指出,也感谢大家的支持和信任,如果在使用过程中遇到任何问题,或者有任何的意见和建议...
张其川 发布于 7个月前 阅读 7201 评论 23 点赞 20

用大白话聊聊分布式系统

一提起“分布式系统”,大家的第一感觉就是好高大上啊,深不可测,看各类大牛关于分布式系统的演讲或者书籍,也大多是一脸懵逼。本文期望用浅显易懂的大白话来就什么是分布式系统、分布式系统有哪些优势、分布式系统会面临哪里挑战、如何来设计分布式等方面的话题来展开讨论。
waylau 发布于 7个月前 阅读 4402 评论 11 点赞 8

使用spark计算文档相似度

使用spark,TF_IDF计算文档相似度
penngo 发布于 9个月前 阅读 2897 评论 2 点赞 5

构建多平台的Ignite集群:Java+.NET

Ignite集群可以由它支持的任意平台启动的节点组成,包括Java、.NET和C++。本文会介绍如何通过NuGet和Maven运行一个.NET/Java集群,作为一个示例,本文会创建一个跨平台的点对点聊天系统。
李玉珏 发布于 10个月前 阅读 1733 评论 4 点赞 3

配置 DHCP 服务 - 每天5分钟玩转 OpenStack(89)

前面章节我们看到 instance 在启动过程中能够从 Neutron 的 DHCP 服务获得 IP,本节将详细讨论其内部实现机制并开始配置。
CloudMAN 发布于 1年前 阅读 1892 点赞 1

Apache Hadoop 入门教程

Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下,开发出可靠、可扩展的分布式计算应用。 Apache Hadoop 框架,允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持从单一服务器到上千台机器的扩展,充分利用了每台机器所提供本地计算和存储,而不是依靠硬件来提供高可用性。其本身被设计成在应用层检测和处理故障的库,对于计算机集群来说,其中每台机器的顶层都被设计成可以容错的,以便提供一个高度可用的服务。 Apache Hadoop 的框架最核心的设计就是:HDFS 和 MapRedu
waylau 发布于 1年前 阅读 5833 评论 6 点赞 13

Hive Transaction 事务性 小试

提到Hive一般都会想到,Hive是数据仓库,支持类SQL查询,有很多语法支持,可以嵌套MR,写Transform、写UDF/UDAF等,但是,不支持更新操作。所以Hive的常见也一般都是一次写入,频繁读取。从Hive 0.13开始,加入了ACID的新feature,但是0.13的时候还不支持insert、update和delete操作,我也并没有欣然的当小白鼠。 目前我们平台使用hive1.2.1的社区版,业务上也遇到了需要更新的场景。也是继续调研Transaction的特性。
王二铁 发布于 1年前 阅读 2843 评论 5

企业级容器Registry开源项目Harbor架构简介

企业级容器Registry开源项目Harbor架构简介 作者:姜坦 张海宁 (本文作者为Harbor项目组核心成员,于2016年9月5日作了更新。) 1. Harbor项目 VMware公司最近开源了企业级Registry项目Harbor,由VMware中国研发的团队负责开发。Harbor项目是帮助用户迅速搭建一个企业级的registry 服务。它以Docker公司开源的registry为基础,提供了管理UI, 基于角色的访问控制(Role Based Access Control),镜像远程复制(同步),AD/LDAP集成、以及审计日志(Audit logging) 等企业用户需求的功能,同时还原生支持中文,对广大中国用户是一个好消息。本文将介绍Harbor项目的主要组件,并阐述Harbor的工作原理。 (源代码地址:https://github.com/vmware/harbor ) 2.架构介绍 1)    主要组件 Harbor在架构上主要由6个组件构成: ·      Proxy:Harbor的registry, UI, token等服务,通过一个前置的反向代理统一接收浏览器、Docker客户端的请求,并将请求转发给后端不同的服务。 ·      Registry: 负责储存Docker镜像,并处理docker push/pull 命令。由于我们要对用户进行访问控制,即不同用户对Docker image有不同的读写权限,Registry会指向一个token服务,强制用户的...
project_harbor 发布于 1年前 阅读 2842 评论 4 点赞 5

LVM 类型的 Storage Pool - 每天5分钟玩转 OpenStack(8)

本节为 KVM 存储虚拟化的第二篇,介绍 LVM 类型的 Storage Pool
CloudMAN 发布于 2年前 阅读 1926 点赞 9

KVM 存储虚拟化 - 每天5分钟玩转 OpenStack(7)

KVM 通过 Storage Pool 管理存储,而文件目录是最常用的 Storage Pool。
CloudMAN 发布于 2年前 阅读 4612 评论 2 点赞 7

Spark HA部署方案

部署Spark的HA模式
ifree613 发布于 2年前 阅读 2908 评论 2 点赞 8

浅谈 CAP 理论

本文介绍了介绍了分布式系统著名的 CAP 理论。什么是 CAP 理论?为什么说 CAP 只能三选二?了解 CAP 对于系统架构又有什么指导意义?本文将一一作答。
waylau 发布于 2年前 阅读 3617 评论 10 点赞 10

Apache Ignite(三):Ignite和Hazelcast性能对比测试

性能测试基于Ignite 1.5.0-b1版本和Hazelcast 3.6-EA2版本,评估和对比了他们的各种原子化和事务化缓存操作、基于SQL的缓存查询的性能,所获得的结果包括吞吐量,延迟以及基准测试执行过程中测量的各种指标。 从结果上看,Ignite的性能要比Hazelcast好很多。
李玉珏 发布于 2年前 阅读 3229 评论 6 点赞 5

Play Spark RDD

spark RDD 编程经验
venps 发布于 2年前 阅读 3344 评论 1 点赞 5

Borg和Kubernetes有什么不同?未来的云需要什么?

大家好,我是来自于华为PaaS部门的钟成,目前正在做相关的一些产品研发。我想分享的主题是从Borg到Kubernetes,其实Borg就是Kubernetes的前身。我今天主要会谈三个方面,第一个是Borg的介绍,第二是Kubernetes基于Borg做了哪些改变,以及它的发展方向,第三个话题想谈一下未来的云可能需要一个怎么样的产品或者是怎么样的形态。 Borg是什么?它解决了什么问题? 我们先看第一个话题,就是Borg是什么?它解决了什么问题? 我们看一下这张图,这张图来自于一部电影叫做《星际迷航》相信大家大部分人都看过。Borg是里面的一种外星人,反派,他做什么事情呢?他和其他的文明接触,把你这个文明抢占下来,然后它会和你同化,会把你进行改造,把你改造成一个半人半机器的怪物,你就变成他们这个文明当中的一部分,然后他在这个宇宙当中不断的扩张下去。我觉得这是一个非常酷的种族。而Borg就以这个名字来命名其大规模分布式的集成管理系统。他希望他们的系统也可以把不同的机器同化掉,变成他们自己的机器,然后运行他们自己的程序。 对谷歌来说,Borg是一个比较顶层的集成管理系统。在它上面跑了谷歌大部分的应用程序和框架包括Gmail、Google Docs、Web Search这样直接面对客户的...
难易 发布于 2年前 阅读 2131 评论 7 点赞 4

使用Compose变量定制Docker网络

阅读全文,希云精彩分享:用Compose组件来给Docker容器设置网络!
dockerer 发布于 2年前 阅读 4736 评论 2 点赞 2

Java工程师如何在Docker上进行开发

无需Java,无需Maven,只需Docker!本文让你以最小的日常开支和预备知识把Docker和Java结合使用!
dockerer 发布于 2年前 阅读 8082 评论 20 点赞 3
顶部