一、云计算的前世今生
所有的新事物都不是突然冒出来的，都有前世和今生。云计算也是IT技术不断发展的产物。 要理解云计算，需要对IT系统架构的发展过程有所认识。 请看下
IT系统架构的发展到目前为止大致可以分为3个阶段：
1、 物理机架构 这一阶段，应用部署和运行在物理机上。 比如企业要上一个ERP系统，如果规模不大，可以找3台物理机，分别部署Web服务器、应用服务器和数据库服务器。 如果规模大一点，各种服务器可以采用集群架构，但每个集群成员也还是直接部署在物理机上。 我见过的客户早期都是这种架构，一套应用一套服务器，通常系统的资源使用率都很低，达到20%的都是好的。
2、虚拟化架构 决定了物理服务器的计算能力越来越强，虚拟化技术的发展大大提高了物理服务器的资源使用率。 这个阶段，物理机上运行若干虚拟机，应用系统直接部署到虚拟机上。 虚拟化的好处还体现在减少了需要管理的物理机数量，同时节省了维护成本。
3、云计算架构 虚拟化提高了单台物理机的资源使用率，随着虚拟化技术的应用，IT环境中有越来越多的虚拟机，这时新的需求产生了： 如何对IT环境中的虚拟机进行统一和高效的管理。 有需求就有供给，云计算登上了历史舞台。
二、OpenStack 简介
1、什么是云计算：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务）
2、云计算所包含的几个层次服务：
•SaaS（ Software as a Service）： 把在线软件作为一种服务。
•Paas（ Platform as a Service）： 把平台作为一种服务。
•Iaas（ Infrastructure as a Service）：把硬件设备作为一种服务。
3、OpenStack：是由Rackspace和NASA共同开发的云计算平台， 是一个开源的 IaaS（基础设施及服务）云计算平台，让任何人都可以自行建立和提供云端运算服务，每半年发布一次，用Python语言编写
4、Opens tack历史
5、OpenStack社区与链接
社区： www.openstack.org, wiki.openstack.org
邮件列表：�http://wiki.openstack.org/MailingLists#General_List�http://wiki.openstack.org/MailingLists#Development_List�http://wiki.openstack.org/MailingLists#Operators
如何贡献代码： http://wiki.openstack.org/HowToContribute
源代码管理 ：http://wiki.openstack.org/GerritWorkflow
文档 ：http://docs.openstack.org
三、openstack架构及优势
OpenStack为私有云和公有云提供可扩展的弹性的云计算服务，这种服务云必须是简单部署并且扩展性强。
1、模块松耦合
2、组件配置较为灵活
3、二次开发容易
四、openstack构成组件
OpenStack共享服务组件：
数据库服务（ Database Service ）：MairaDB 及 MongoDB
消息传输（Message Queues）：RabbitMQ
缓存（cache）： Memcached�时间（time sync）：NTP
存储（storge provider）：ceph、GFS、LVM、ISICI等
高可用及负载均衡：pacemaker、HAproxy、keepalive、lvs等
OpenStack核心组件：
身份服务（ Identity Service ）：Keystone
计算（ Compute ）： Nova
镜像服务（ Image Service ）： Glance
网络 & 地址管理（ Network ）： Neutron
对象存储（ Object Storage ）： Swift
块存储 (Block Storage) ： Cinder
UI 界面 (Dashboard) ： Horizon
测量 (Metering) ： Ceilometer
部署编排 (Orchestration) ： Heat
[云计算openstack共享组件——时间同步服务ntp（2）
一、标准时间讲解
地球分为东西十二个区域，共计 24 个时区
格林威治作为全球标准时间即 (GMT 时间 )，东时区以格林威治时区进行加，而西时区则为减。
地球的轨道并非正圆，在加上自转速度逐年递减，因此时间就会有误差在计算时间的时，最准确是使用“原子震荡周期”所计算的物理时钟。这种时钟被称为标准时间即— Coordinated Universal Time(UTC)
UTC 的准确性毋庸置疑，美国的 NIST F-1 原子钟 2000 年才将产生 1 秒误差。
随着时间的误差，有些工作是无需进行时间精确即可以完成。但有些工作就必须精确时间从而可以完成目标任务。
因此时间的同步有了需求。目前所使用的就是 Network Time Protocol 协议。即网络时间协议。
二、ntp时钟同步服务
NTP 工作请求
(1) 客户端将采用随机端口向 NTP 服务器 (UDP:123) 发出时间同步请求
(2)NTP 服务器收到请求后会将发出调校时间
(3)NTP 客户端接收到 NTP 服务器的消息后，以进行调整，从而完成时间同步
同步服务器时间方式有2个：一次性同步（手动同步）、通过服务自动同步。
1、一次性同步时间：ntpdate 时间服务器的域名或ip地址
Ip地址查看可以访问：http://www.ntp.org.cn/pool.php
ntpdate 120.25.108.11（选择阿里云的）
2、NTP 服务器实现
（1）NTP 服务器安装
yum install ntp -y
（2）查看 NTP 配置文件是否存在
ls -l /etc/ntp.conf
（3）NTP 所涉及的程序
ntpd
ntpdate
tzdata -update
（4）相关时间程序
date
hwclock
（5）NTP 所涉及文件
（6）NTP 服务
NTP 服务属于 C/S 架构模式 , 在建立本地服务时最好与上层服务器进行时间同步来给本地提供时间同步服务
ntp.conf 说明
restrict 来管理 NTP 权限控制
用法 : restrict [ip] mask [netmask] parameter
server 进行设置上端同步 NTP
用法 : server [ip or hostname] [prefer]
让本地的ntpd与本地硬件时间同步
vi /etc/ntp.conf :
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
systemctl start ntpd
（7）Linux 客户端同步
- 手动同步
ntpdate 192.168.1.100 - 配置文件
vim /etc/ntp.conf
server 192.168.1.100
systemctl start ntpd
（8）查看上层 NTP 服务状态
ntpq –p
[云计算openstack共享组件——消息队列rabbitmq（3）
一、MQ 全称为 Message Queue, 消息队列（ MQ ）
是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。
消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。
排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。
二、AMQP 即 Advanced Message Queuing Protocol
高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。
AMQP 的主要特征是面向消息、队列、路由（包括点对点和发布 / 订阅）、可靠性、安全。
三、 Rabbitmq概念：
属于一个流行的开源消息队列系统。属于AMQP( 高级消息队列协议 ) 标准的一个 实现。是应用层协议的一个开放标准，为面向消息的中间件设计。用于在分布式系统中存储转发消息，在 易用性、扩展性、高可用性等方面表现不俗。
消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。
AMQP 的主要特征是面向消息、队列、路由（包括点对点和发布 / 订阅）、可靠性、安全。
RabbitMQ特点：
使用Erlang编写
支持持久化
支持HA
提供C# , erlang，java，perl，python，ruby等的client开发端
四、什么是耦合、解耦合
一、耦合
1、耦合是指两个或两个以上的体系或两种运动形式间通过相互作用而彼此影响以至联合起来的现象。
2、在软件工程中，对象之间的耦合度就是对象之间的依赖性。对象之间的耦合越高，维护成本越高，因此对象的设计应使类和构件之间的耦合最小。
3、分类：有软硬件之间的耦合，还有软件各模块之间的耦合。耦合性是程序结构中各个模块之间相互关联的度量。它取决于各个模块之间的接口的复杂程度、调用模块的方式以及哪些信息通过接口。
二、解耦
1、解耦，字面意思就是解除耦合关系。
2、在软件工程中，降低耦合度即可以理解为解耦，模块间有依赖关系必然存在耦合，理论上的绝对零耦合是做不到的，但可以通过一些现有的方法将耦合度降至最低。
3、设计的核心思想：尽可能减少代码耦合，如果发现代码耦合，就要采取解耦技术。让数据模型，业务逻辑和视图显示三层之间彼此降低耦合，把关联依赖降到最低，而不至于牵一发而动全身。原则就是A功能的代码不要写在B的功能代码中，如果两者之间需要交互，可以通过接口，通过消息，甚至可以引入框架，但总之就是不要直接交叉写。
五、RabbitMQ中的概念名词
Broker：简单来说就是消息队列服务器实体。
Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。
Queue：消息队列载体，每个消息都会被投入到一个或多个队列。�Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。
Routing Key：路由关键字， exchange根据这个关键字进行消息投递。
vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。
producer：消息生产者，就是投递消息的程序。
consumer：消息消费者，就是接受消息的程序。
channel：消息通道，在客户端的每个连接里，可建立多个channel，每个�channel代表一个会话任务。
六、RabbitMQ工作理
MQ 是消费 - 生产者模型的一个典型的代表，一端往消息队列中不断写入消息，而另一端则可以读取或者订阅队列中的消息。 MQ 则是遵循了 AMQP协议的具体实现和产品。在项目中，将一些无需即时返回且耗时的操作提取出来，进行了异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。
（ 1）客户端连接到消息队列服务器，打开一个channel。
（ 2）客户端声明一个exchange，并设置相关属性。
（ 3）客户端声明一个queue，并设置相关属性。
（ 4）客户端使用routing key，在exchange和queue之间建立好绑定关系。
（ 5）客户端投递消息到exchange。
（ 6） exchange接收到消息后，就根据消息的key和已经设置的binding，进�行消息路由，将消息投递到一个或多个队列里
七、Rabbitmq 的 metadata
元数据可以持久化在 RAM 或 Disc. 从这个角度可以把 RabbitMQ 集群中的节点分成两种 :RAM Node和 Disk Node.
RAM Node 只会将元数据存放在RAM
Disk node 会将元数据持久化到磁盘。
单节点系统就没有什么选择了 , 只允许 disk node, 否则由于没有数据冗余一旦重启就会丢掉所有的配置信息 . 但在集群环境中可以选择哪些节点是 RAM node.在集群中声明(declare) 创建 exchange queue binding, 这类操作要等到所有的节点都完成创建才会返回 :
如果是内存节点就要修改内存数据 ,
如果是 disk node 就要等待写磁盘 , 节点过多这里的速度就会被大大的拖慢 .
有些场景 exchang queue 相当固定 , 变动很少 ,那即使全都是 disc node, 也没有什么影响 . 如果使用 Rabbitmq 做 RPC（ RPC :Remote Procedure Call—远程过程调用）, RPC 或者类似 RPC 的场景这个问题就严重了 , 频繁创建销毁临时队列 , 磁盘读写能力就很快成为性能瓶颈了。所以 , 大多数情况下 , 我们尽量把 Node 创建为RAM Node. 这里就有一个问题了 , 要想集群重启后元数据可以恢复就需要把集群元数据持久化到磁盘 , 那需要规划 RabbitMQ 集群中的 RAM Node 和 Disc Node 。
只要有一个节点是 Disc Node 就能提供条件把集群元数据写到磁盘 ,RabbitMQ 的确也是这样要求的 : 集群中只要有一个 disk node 就可以 , 其它的都可以是 RAM node. 节点加入或退出集群一定至少要通知集群中的一个 disk node 。
如果集群中 disk node 都宕掉 , 就不要变动集群的元数据 . 声明 exchange queue 修改用户权限 , 添加用户等等这些变动在节点重启之后无法恢复 。
有一种情况要求所有的 disk node 都要在线情况在才能操作 , 那就是增加或者移除节点 .RAM node 启动的时候会连接到预设的 disk node 下载最新的集群元数据 . 如果你有两个 disk node(d1 d2), 一个 RAM node 加入的时候你只告诉 d1, 而恰好这个 RAM node 重启的时候 d1 并没有启动 , 重启就会失败 . 所以加入 RAM 节点的时候 , 把所有的disk node 信息都告诉它 ,RAM node 会把 disk node 的信息持久化到磁盘以便后续启动可以按图索骥 .
八、Rabbitmq 集群部署
一、前期准备
（1）条件:准备3台linux系统，确保配置好源，及epel源
（2）三台机器能够静态解析彼此
（3）设置可以无密钥登陆
二、安装过程：
（1）所有node安装rabbtimq和erlang软件包：
yum install -y erlang rabbitmq-server.noarch
systemctl enable rabbitmq-server.service
systemctl start rabbitmq-server.service
systemctl status rabbitmq-server.service
查看监听端口：
netstat -lantp | grep 5672
配置文件：
vim /etc/rabbitmq/rabbitmq.config
（2）node1：修改guest密码为admin（默认用户为：guest 密码为：guest)
rabbitmqctl change_password guest admin
（3）node1：添加一个openstack的用户，并设密码为admin。并设置权限和成为管理员
node1：
rabbitmqctl add_user openstack admin
rabbitmqctl set_permissions openstack "." "." ".*"
rabbitmqctl set_user_tags openstack administrator
（4）node1：编辑rabbittmq变量文件
vim /etc/rabbitmq/rabbitmq-env.conf
RABBITMQ_NODE_PORT=5672
ulimit -S -n 4096
RABBITMQ_SERVER_ERL_ARGS="+K true +A30 +P 1048576 -kernel inet_default_connect_options [{nodelay,true},{raw,6,18,<<5000:64/native>>}] -kernel inet_default_listen_options [{raw,6,18,<<5000:64/native>>}]"
RABBITMQ_NODE_IP_ADDRESS=172.16.254.60
（5）node1：将rabbittmq变量文件拷贝到其他两节点，之后并修改相应节点的ip
scp /etc/rabbitmq/rabbitmq-env.conf con2:/etc/rabbitmq/
scp /etc/rabbitmq/rabbitmq-env.conf con3:/etc/rabbitmq/
查看rabbitmq插件
/usr/lib/rabbitmq/bin/rabbitmq-plugins list
（6）所有node 开启rabbitmq的web管理页面
/usr/lib/rabbitmq/bin/rabbitmq-plugins enable rabbitmq_management mochiweb webmachine rabbitmq_web_dispatch amqp_client rabbitmq_management_agent
或者：rabbitmq-plugins enable rabbitmq_management
systemctl restart rabbitmq-server.service
systemctl status rabbitmq-server.service
（7）node1发送erlang.cookie到其他节点配置集群
rabbitmqctl cluster_status
scp /var/lib/rabbitmq/.erlang.cookie con2:/var/lib/rabbitmq/.erlang.cookie
scp /var/lib/rabbitmq/.erlang.cookie con3:/var/lib/rabbitmq/.erlang.cookie
（8）node2和node3停止应用，并以ram的方式加入node1节点，之后重启应用
systemctl restart rabbitmq-server.service
rabbitmqctl stop_app
rabbitmqctl join_cluster --ram rabbit@con1
rabbitmqctl start_app
（9）node1检查集群状态
[root@con1 conf]# rabbitmqctl cluster_status
Cluster status of node rabbit@con1 ...
[{nodes,[{disc,[rabbit@con1]},{ram,[rabbit@con3,rabbit@con2]}]},
{running_nodes,[rabbit@con3,rabbit@con2,rabbit@con1]},
{cluster_name,<<"rabbit@con1">>},
{partitions,[]},
{alarms,[{rabbit@con3,[]},{rabbit@con2,[]},{rabbit@con1,[]}]}]
（10）登陆验证：http://172.16.254.60:15672/#/ guest/admin
其他命令：
（1）添加管理员：
rabbitmqctl add_user mqadmin mqadmin
rabbitmqctl set_user_tags mqadmin administrator
rabbitmqctl set_permissions -p / mqadmin "." "." ".*"
（2）更改节点类型（内存型或磁盘型）
rabbitmqctl stop_app
rabbitmqctl change_cluster_node_type disc 或 rabbitmqctl change_cluster_node_type ram
rabbitmqctl start_app
（3）从集群移除节点（或者重置节点）
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app
rabbitmqctl cluster_status
（4）从某个节点移除集群中其他节点
rabbitmqctl forget_cluster_node rabbit@node3
rabbitmqctl reset
rabbitmqctl start_app
rabbitmqctl cluster_status
1. 保证集群中至少有一个磁盘类型的节点以防数据丢失，在更改节点类型时尤其要注意。
2. 若整个集群被停掉了，应保证最后一个 down 掉的节点被最先启动，若不能则要使用 forget_cluster_node 命令将其移出集群
3. 若集群中节点几乎同时以不可控的方式 down 了此时在其中一个节点使用 force_boot 命令重启节点
[云计算openstack共享组件——Memcache 缓存系统（4）
一、缓存系统
一、静态web页面：
1、在静态Web程序中，客户端使用Web浏览器（IE、FireFox等）经过网络(Network)连接到服务器上，使用HTTP协议发起一个请求（Request），告诉服务器我现在需要得到哪个页面，所有的请求交给Web服务器，之后WEB服务器根据用户的需要，从文件系统（存放了所有静态页面的磁盘）取出内容。之后通过Web服务器返回给客户端，客户端接收到内容之后经过浏览器渲染解析，得到显示的效果。
2、为了让静态web页面显示更加好看，使用javascript／VBScript／ajax（AJAX即“Asynchronous Javascript And XML”（异步JavaScript和XML），是指一种创建交互式网页应用的网页开发技术。）但是这些特效都是在客户端上借助于浏览器展现给用户的，所以在服务器上本身并没有任何的变化。
3、静态web无法连接数据库；
4、静态web资源开发技术：HTML；
5、由于现在的web页面中，大量使用JS，导致浏览器打开页面，就会占用大量的内存，服务端的压力是减轻了，但压力转移到了客户端。
二、动态web页面：
1、动态WEB中，程序依然使用客户端和服务端，客户端依然使用浏览器（IE、FireFox等），通过网络(Network)连接到服务器上，使用HTTP协议发起请求（Request），现在的所有请求都先经过一个WEB Server来处理。
如果客户端请求的是静态资源(.htm或者是.htm)，则将请求直接转交给WEB服务器，之后WEB服务器从文件系统中取出内容，发送回客户端浏览器进行解析执行。
2、如果客户端请求的是动态资源（.jsp、.asp/.aspx、.php），则先将请求转交给WEB Container(WEB容器)，在WEB Container中连接数据库，从数据库中取出数据等一系列操作后动态拼凑页面的展示内容，拼凑页面的展示内容后，把所有的展示内容交给WEB服务器，之后通过WEB服务器将内容发送回客户端浏览器进行解析执行。
在大型海量并发访问网站及openstack等集群中，对于关系型数据库，尤其是大型关系型数据库，如果对其进行每秒上万次的并发访问，并且每次访问都在一个有上亿条记录的数据表中查询某条记录时，其效率会非常低，对数据库而言，这也是无法承受的。
缓冲系统的使用可以很好的解决大型并发数据访问所带来的效率低下和数据库压力等问题，缓存系统将经常使用的活跃数据存储在内存中避免了访问重复数据时，数据库查询所带来的频繁磁盘ｉ/ｏ和大型关系表查询时的时间开销，因此缓存系统几乎是大型网站的必备功能模块。
缓存系统可以认为是基于内存的数据库，相对于后端大型生产数据库而言基于内存的缓存数据库能够提供快速的数据访问操作，从而提高客户端的数据请求访问反馈，并降低后端数据库的访问压力。
二、Memcached概念
Memcached 是一个开源的、高性能的分布式内存对象缓存系统。通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高网站访问速度，加速动态WEB应用、减轻数据库负载。
Memcached是一种内存缓存，把经常需要存取的对象或数据缓存在内存中，内存中，缓存的这些数据通过API的方式被存取，数据经过利用HASH之后被存放到位于内存上的HASH表内，HASH表中的数据以key-value的形式存放，由于Memcached没有实现访问认证及安全管理控制，因此在面向internet的系统架构中，Memcached服务器通常位于用户的安全区域。
当Memcached服务器节点的物理内存剩余空间不足，Memcached将使用最近最少使用算法（LRU，LastRecentlyUsed）对最近不活跃的数据进行清理，从而整理出新的内存空间存放需要存储的数据。
Memcached在解决大规模集群数据缓存的诸多难题上有具有非常明显的优势并且还易于进行二次开发，因此越来越多的用户将其作为集群缓存系统，此外，Memcached开放式的API，使得大多数的程序语言都能使用Memcached，如javac、C/C++C#，Perl、python、PHP、Ruby 各种流行的编程语言。
由于Memcached的诸多优势，其已经成为众多开源项目的首选集群缓存系统。如openstacksd的keystone身份认证项目。就会利用Memcached来缓存租户的Token等身份信息，从而在用户登陆验证时无需查询存储在MySQL后端数据库中的用户信息，这在数据库高负荷运行下的大型openstack集群中能够极大地提高用户的身份验证过程，在如web管理界面Horizon和对象存储Swift项目也都会利用Memcached来缓存数据以提高客户端的访问请求响应速率。
三、Memcached缓存流程
1. 检查客户端请求的数据是否在 Memcache 中，如果存在，直接将请求的数据返回，不在对数据进行任何操作。
2. 如果请求的数据不在 Memcache 中，就去数据库查询，把从数据库中获取的数据返回给客户端，同时把数据缓存一份 Memcache 中
3. 每次更新数据库的同时更新 Memcache 中的数据库。确保数据信息一致性。
- 当分配给 Memcache 内存空间用完后，会使用LRU(least Recently Used ，最近最少使用 ) 策略加到其失效策略，失效的数据首先被替换掉，然后在替换掉最近未使用的数据。
四、Memcached功能特点
协议简单
其使用基于文本行的协议，能直接通过 telnet 在Memcached 服务器上存取数据基于 libevent 的事件处理
libevent 利用 C 开发的程序库，它将 BSD 系统的kqueue,Linux 系统的 epoll 等事件处理功能封装成为一个接口，确保即使服务器端的链接数。加也能发挥很好的性能。 Memcached 利用这个库进行异步事件处理。内置的内存管理方式
Memcached 有一套自己管理内存的方式，这套方式非常高效，所有的数据都保存在Memcached内置的内存中，当存入的数据占满空间时，使用 LRU 算法自动删除不使用的缓存，即重用过期的内存空间。Memecached 不考虑数据的容灾问题，一旦重启所有数据全部丢失。节点相互独立的分布式
各个 Memecached 服务器之间互不通信，都是独立的存取数据，不共享任何信息。通过对客户端的设计，让 Memcached 具有分布式，能支持海量缓存和大规模应用。
五、使用Memcached应该考虑的因素
1. Memcached服务单点故障
在Memcached集群系统中每个节点独立存取数据，彼此不存在数据同步镜像机制，如果一个Memcached节点故障或者重启，则该节点缓存在内存的数据全部会丢失，再次访问时数据再次缓存到该服务器
2. 存储空间限制
Memcache缓存系统的数据存储在内存中，必然会受到寻址空间大小的限制，32为系统可以缓存的数据为2G，64位系统缓存的数据可以是无限的，要看Memcached服务器物理内存足够大即可
3. 存储单元限制
Memcache缓存系统以 key-value 为单元进行数据存储，能够存储的数据key尺寸大小为250字节，能够存储的value尺寸大小为1MB，超过这个值不允许存储
4. 数据碎片
Memcache缓存系统的内存存储单元是按照Chunk来分配的，这意味着不可能，所有存储的value数据大小正好等于一个Chunk的大小，因此必然会造成内存碎片，而浪费存储空间
5. 利旧算法局限性
Memcache缓存系统的LRU算法，并不是针对全局空间的存储数据的，而是针对Slab的，Slab是Memcached中具有同样大小的多个Chunk集合
6.数据访问安全性
Memcache缓存系统的慢慢Memcached服务端并没有相应的安全认证机制通过，通过非加密的telnet连接即可对Memcached服务器端的数据进行各种操作
