第一章 企业中网站web服务常用服务软件
网站web服务分为两种
(1) 静态web服务 应用服务: nginx
apache
Tenginx
(2) 动态web服务 应用服务:
php
(php编写的动态页面)
tomcat
(java编写的动态页面)
python
(框架编写动态页面)
nginx网站服务简介
nginx 服务官网地址 http://nginx.org/en/
nginx服务特点:
(1) 处理高并发能力强,特别是大量小文件处理能力(官方测试最高支持5w并发量)
(2) 占用本地服务器资源比较少
(3) 配置简单
(4) 节省带宽(支持压缩传输)
(5) 支持热部署(可长时间工作不用管机,软件服务运行的时候也可以更新软件版本)
(6) 遵守BSD开源协议,可以用作商业用途,可用于负载服务 对比市面上的负载均衡交换机价格低廉 节省成本
nginx对比apache服务的优势
nginx开发时使用的是最新的网络模块 epoll / kqueue 处理信息时使用并发处理效率高
apache开发时使用的是传统的网络模块select 其中较为稳定的prefork模式,多进程模式, 需要派生大量子进程,占用CPU资源比较多
nginx服务部署
方法一 yum安装
yum install nginx -y
直接安装 缺点是会安装nginx历史稳定版 不会安装最新稳定版
方法二 修改更新yum源 新建nginx源下载
(1) nginx官网获取nginx源信息
vim /etc/yum.repos.d/nginx.repo
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
(nginx官网获取的源信息)
清除yum缓存后 安装nginx
yum clean all
yum install nginx -y
方法三 编译安装
编译三部曲
第一步: 准备工作
(1) 在官网下载源码包传输到Linux系统 并解压
(2) 解决依赖问题 nginx依赖包(pcre-devel
和 openssl-devel
)
yun install -y pcre-devel openssl-devel
(3) 进入源码包解压目录内进行参数的配置
nginx为例
(1) 进入nginx解压目路cd nginx-1.16.1
(2) 新建nginx虚拟用户 useradd www -M -s /sbin/nologin
使用nginx配置安装目录,软件功能等信息
PS : nginx 配置文件内配置信息
--prefix=PATH 指定软件程序目录
--sbin-path=PATH 指定软件命令文件存储路径
--conf-path=PATH 指定软件配置文件保存路径
--error-log-path=PATH 指定软件日志文件保存路径
--user=USER 指定nginx服务worker进程管理用户
--group=USER 指定nginx服务worker进程管理用户组
--with-http_ssl_module 让nginx开启HTTPS功能
--with-http_stub_status_module 监控nginx运行的状态
第二步: 编译过程
在解压目录下使用命令
make
(把软件代码的编写语言,翻译成机器语言)
第三步: 编译安装
在解压目录下使用命令
make install
安装软件
第三章 nginx程序服务目录结构
/etc/logrotate.d/nginx 利用logrotate实现日志文件自动切割
/etc/nginx/nginx.conf 主配置文件
/etc/nginx/conf.d/default.conf 扩展配置文件
/etc/nginx/fastcgi_params 定义nginx接口方式
接口方式 fastcgi 对应(php)
接口方式 uwsgi_params 对应(python)
usr/sbin/nginx 程序命令文件
nginx -t 检查配置文件语法是否正确
nginx -s stop/reload 控制服务运行状态 nginx(启动服务)
nginx -V 查看软件安装配置信息
usr/share/nginx/ 站点目录将网站页面所有元素资源进行整合,分类规范管理
/var/log/nginx/ 保存程序日志文件信息 (access.log error.log)
/var/cache/nginx 缓存功能存放缓存目录 (查看数据信息是否真正缓存了)
利用logrotate自动切割日志配置方法
/etc/logrotate.conf --- 主配置文件
hourly/daily/weekly/monthly --- 切割日志的周期
rotate 4 --- 保存备份多少个切割后的日志
create --- 切割前的文件创建出来
dateext --- 设置角标信息(设置一个切割后文件的扩展名称信息)
include /etc/logrotate.d --- 加载扩展切割日志配置文件
minsize 1M --- 切割日志大小条件(最小)
maxsize 100M --- 切割日志最大条件
第四章 nginx 配置文件
nginx配置文件分为主配置文件和扩展配置文件
主配置文件配置各项具体参数
主配置文件: nginx.conf
配置文件路径: /etc/nginx/nginx.conf
只看有内容行:grep -v "^$" /etc/nginx/nginx.conf
user nginx; 指定worker进程管理用户(建议指定为虚拟用户)
worker_processes 4; 指定worker进程数量 进程数越多并发处理能力越强
建议设置数值=CPU核数 在高并发下建议临时设置数值=2*CPU核数
error_log /var/log/nginx/error.log warn; 配置错误日志保存路径
pid /var/run/nginx.pid; 配置程序pid文件保存路径
以上信息: nginx主区域配置信息
以下信息: nginx事件区域配置信息
events { 定义worker区域
worker_connections 1024;
定义一个worker进程最大连接数 (建议小于系统打开文件连接数) ulimit -a查看系统打开文件最大数值
}
定义HTTP服务区域
http {
include /etc/nginx/mime.types; --- 包含其他配置文件信息 (定义能够处理的媒体资源类型)
default_type application/octet-stream; --- 资源信息没有扩展名,默认识别成什么资源类型
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
设置日志信息格式
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main; --- 配置日志保存路径
sendfile on;
#tcp_nopush on;
keepalive_timeout 65; --- 是否开启长链接功能(数值为0 就是开启短链接功能)
#gzip on; 是否压缩传输数据
include /etc/nginx/conf.d/*.conf; --- 加载扩展配置文件路径
}
扩展配置文件基础配置
扩展文件配置信息:
/etc/nginx/conf.d/default.conf
[root@web02 conf.d]# cat default.conf
server {
listen 80; --- 指定服务监听端口号 默认是80
server_name www.xxx.com; --- 配置网站域名信息
location / {
root /html/; --- 站点目录信息
index index.html index.htm; --- 指定首页文件 首页文件不存在,访问网站会报403错误
error_page 404 500 502 503 504 /xxx.jpg; --- 优雅显示错误页面配置
}
}
补充说明:
(1) nginx
进程信息
master进程: 控制nginx服务运行状态
worker进程: 处理用户访问网站请求
(2) nginx配置文件语法规范 a 指令信息结尾必须有分号 b 括号信息必须成对出现
(3) nginx配置区域说明:
a) 主区域配置 配置错误日志 进程信息 worker进程用户
b) 事件区域配置 配置worker进程连接数信息
c) HTTP区域 配置功能参数 优化有关系
d) server区域 配置网站功能参数</pre>
e) if区域 判断区域 ???
f) location区域 可以把不同方式的请求,定位到不同的处理方式上.( location 的匹配顺序是“先匹配正则,再匹配普通”)
location ~* /js/.*/\.js
以 = 开头,表示精确匹配;如只匹配根目录结尾的请求,后面不能带任何字符串。
以^~ 开头,表示uri以某个常规字符串开头,不是正则匹配
以~ 开头,表示区分大小写的正则匹配;
以~* 开头,表示不区分大小写的正则匹配
以/ 开头,通用匹配, 如果没有其它匹配,任何请求都会匹配到
(4) 系统打开文件数 程序运行起来,程序会打开相应文件 每打开一个便计做一个文件数 ulimit -a
查看最大文件数
如果打开系统文件数不足 会导致有些服务不能够运行
修改文件打开数最大值
echo '* - nofile 65535' >>/etc/security/limits.conf
第五章 企业简单应用
网站访问方式
(1) 基于域名访问
(2) 基于IP地址访问
172.16.1.7
配置文件地址被改动一定要重启服务
(3) 基于端口访问
PS: 修改扩展配置文件端口信息后访问时优选规则:
根据请求报文结构进行匹配 先进行匹配IP地址 (符合)
进行匹配端口 符合的端口进行下一步筛选 (符合)
进行匹配服务名称 (符合)
PS在匹配服务名称时会默认按照英文字母顺序进行匹配
(符合): 直接进行传输数据显示页面
(当除IP外有一项不符合) 会从符合的选项中显示第一个匹配项 按照字母从大到小进行排列
企业搭建静态网站页面
第一步: 编写扩展配置文件
vim /etc/nginx/conf/www.conf
server{
listen 80; 指定端口 默认为80
server_name bbs.oldboy.com; 指定域名信息
root /html/www; 指定站点目录
index index.html; 指定页面默认主页显示加载文件(默认指定显示index.html文件内容)
}
第二步: 创建站点目录 , 编写配置默认主页文件
(1) mkdir -p /html/www
(2) vim /html/bbs/index.html
PS: 使用nginx -t检查配置文件语法是否错误 无误后在进行下一步操作
第三步: 重启nginx服务
systemctl restart nginx
PS: 注意 修改配置文件关于IP地址信息不要用平滑重启 做DNS解析后登陆页面查看是否和预期一致
企业多域名网站配置搭建
和配置一个静态网页差不多 设置多个配置文件及指定站点目录
第一步: 编写多个扩展配置文件
vim /etc/nginx/conf/www.conf
server{
listen 80; 指定端口 默认为80
server_name bbs.oldboy.com; 指定域名信息
root /html/bbs; 指定站点目录
index index.html; 指定页面默认主页显示加载文件(默认指定显示index.html文件内容)
}
第二步: 创建站点目录 , 编写配置默认主页文件
(3) mkdir -p /html/bbs
(4) vim /html/bbs/index.html
PS: 使用nginx -t检查配置文件语法是否错误 无误后在进行下一步操作
第三步: 重启nginx服务
systemctl restart nginx
PS: 注意 修改配置文件关于IP地址信息不要用平滑重启
搭建数据共享服务(yum仓库网站)
(1) 修改扩展配置文件
server{
listen 80;
server_name www.oldboy.com;
root /html/www;
index index.html;
autoindex on; 指定不显示默认主页 显示目录结构
charset utf-8; 指定语言解码方式
}
(2) 重启服务
利用nginx服务配置安全访问策略
根据IP地址进行限制访问
实现IP地址限制需要编写nginx扩展配置文件 加入location模块
(1) 编写配置文件
location /psp { 匹配站点子目录
allow 10.0.0.1; 进行什么处理
deny all; all代表所有
}
location /hp {
deny 10.0.0.1; 允许指定IP进行访问指定目录
allow all; 禁止指定IP进行访问指定目录
} 在server模块内嵌入编写即可
根据认证信息限制访问
设置指定站点目录需要账号密码才可以进行访问
(1) 编写配置文件
server{
listen 80;
server_name www.oldboy.com;
root /html/www;
index index.html;
location /php{ ß指定加密目录
auth_basic "sss(内容自己定义无意义)"; 指定开启服务
auth_basic_user_file /html/www/password.txt; 指定密码文件路径
}
}
(2) 创建密码文件 密码文件需要以密文形式书写 确保安全性 利用htpasswd命令进行创建HTTP服务专用密码文件
默认htpasswd命令Linux系统没有安装 需要手动安装
yum install -y httpd-tools
安装服务
htpasswd参数集
-c 创建密码文件 并覆盖写入指定用户和密码信息
-bc 免交互创建密码文件
-b 免交互追加用户信息
-D 删除指定用户
语法: htpasswd -bc /html/www/password.txt zin 123456
(命令) (参数) (密码文件路径) (用户名) (密码)
(3) 重启服务
systemctl restart nginx
网站页面状态监控功能
网站简易监控功能只监控开始监控之后的数据
(1) 编写配置文件 使用模块:
location /{
stub_status;
}
具体范例:
server {
listen 80;
server_name state.oldboy.com;
stub_status; --- 开启访问状态监控功能
}
(2) 重启后访问网站 默认显示为当前网站访问信息
当客户端发起连接会经过TCP三次握手连接上 期间长链接会在一次连接传输多个HTTP报文后 , 等待设定时间后在进行四次挥手断开连接
Active connections: 11 --- 在线连接数 同时有多少客户端和网站服务端建立了三次握手过程
server accepts 289 --- 从服务运行开始, 接收的所有连接请求总和
handled 289 --- 从服务运行开始, 处理的所有连接请求总和
(一般两者数量相同 高并发或服务器限制了连接数量时会波动)
requests 1005 --- 从服务运行开始, 所有HTTP请求包的数量(默认长连接)
修改配置文件可改为短链接: keepalive_timeout 65;
主配置文件参数, 数值为0表示开启短连接/数值非0表示开启长连接
Reading: 0 当前服务器正在读取客户端请求头的数量(连接数)
Writing: 1 当前服务器正在写响应信息的数量(连接数)
Waiting: 10 当前多少客户端在等待服务器的响应 (排队等待连接的客户端数)
nginx服务访问流量控制功能
网站收到攻击 爬虫 非内部人员测试时 会使网站的压力过大,这时就需要进行访问限制
限制方式一
基于IP地址连接数进行控制
说明: 一个源IP会释放多个连接数消耗服务器资源
这时就要控制一个源ip地址只能建立一个连接
方法: 使用http_limit_conn_module
模块进行限制
配置指令信息:官方说法
`syntax: limit_conn_zone key zone=name:size;` 模块本体
Default: — 默认值
Context: http 指定可以在什么模块内使用
解释:
key
: 变量信息,在连接建立后,收集什么信息做控制管理
$remote_addr
变量的长度为7字节到15字节 存储状态在32位平台中占用32字节或64字节,在64位平台中占用64字节。
(变量指定收集源IP地址存储指定的存储空间) $remote_addr 变量收集的信息占用存储空间大
$binary_remote_addr
变量的长度是固定的4字节 存储状态在32位平台中占用32字节或64字节,在64位平台中占用64字节。
(变量指定收集源IP地址存储指定的存储空间) $binary_remote_addr 变量收集的信息占用存储空间小
1M共享空间可以保存3.2万个32位的状态,1.6万个64位的状态。
zone
: 定义共享存储空间
name
: 存储空间的名称信息
size
: 存储空间大小信息
Syntax: limit_conn zone number; 模块内定义功能
Default: — 默认值
Context: http, server, location 可在什么模块内使用
解释:
zone
: 调用响应的存储空间
number
: 限制存储空间源IP地址可以处理的数量
IP地址连接数控制 实例:
limit_conn_zone $binary_remote_addr zone=oldboy:10m;
( 定义收集的源IP放入oldboy存储空间 空间大小为10MB )
server { 模块只能在http模块内使用 不能放入server模块
listen 80;
server_name www.oldboy.com;
root /html/www;
index index.html;
limit_conn oldboy 1; 定义oldboy存储空间的每个源IP只能有一个并行连接数
}
限制方式二
利用http_limit_req_module
模块
配置指令信息:
Syntax: limit_req_zone key zone=name:size rate=rate [sync]; 模块主体
Default: — 默认值
Context: http 可在什么模块内进行使用
具体指令说明
key
: 变量信息,在连接建立后,收集什么信息做控制管理
· $remote_addr
变量的长度为7字节到15字节 存储状态在32位平台中占用32字节或64字节,在64位平台中占用64字节。
·$binary_remote_addr
变量的长度是固定的4字节 存储状态在32位平台中占用32字节或64字节,在64位平台中占用64字节。
1M共享空间可以保存3.2万个32位的状态,1.6万个64位的状态。
zone
: 定义共享存储空间
name
: 存储空间的名称信息
size
: 存储空间大小信息
rate
: 多个请求频次信息
Syntax: limit_req zone=name [burst=number] [nodelay]; 主体模块指令
Default: — 默认值
Context: http, server, location 可在什么模块内使用
burst=number: 最大的请求阈值(频次 次数), 超过阈值请求都会进行控制
基于用户访问请求频次进行限制
实例:
limit_req_zone $binary_remote_addr zone=creq:10m rate=1r/s;
rate 指定多久处理一次同一IP的请求 r=次数 s=时间
server {
listen 80;
server_name www.oldboy.com;
root /html/www;
index index.html;
limit_req zone=creq burst=10; 指定最大的请求阈值为10, 超过阈值请求都会进行控制
}
第六章 nginx服务日志说明
日志分为
(1) 访问日志 存储记录网站的用户信息
(2) 错误日志 存储记录服务运行状态信息
访问日志
访问日志默认路径: /var/log/nginx/access.log
访问日志在主配置文件内进行设置 :
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
定义日志信息格式
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
定义日志保存路径
访问日志需要关注其内容
访问日志的信息说明:
$remote_addr
客户端源IP地址
$remote_user
记录网站认证用户名称信息
[$time_local]
客户端访问网站页面时间信息
"$request"
记录请求行信息
$status
服务端响应的状态码信息
$body_bytes_sent
响应报文的主体内容大小信息(字节)
"$http_referer"
记录跳转到网站,链接地址
"$http_user_agent"
记录访问者客户端信息
错误日志
错误日志默认路径: /var/log/nginx/error.log
错误日志也是在主配置文件进行配置:
error_log /var/log/nginx/error.log warn;
指定日志保存路径/指定记录日志级别
常见调试/运行状态信息
debug
调试级别 对低级别记录信息更多
info
信息级别
notice
通知级别
warn
警告级别(建议) 常用
产生信息表示服务运行异常 这两个级别会记录错误的具体信息
erro
r 错误界别 常用
crit
严重的错误级别
alert
非常验证的错误级别
emerg
灾难级别 最高级别记录的信息更少
每一个扩展网站都有自己的访问日志
思路 在对应扩展配置文件内设置日志
server {
listen 80;
server_name www.oldboy.com;
root /html/www;
index index.html;
access_log /www/logs/www-access.log main;
日志所在目录必须存在 重启服务后会自己建立日志文件
}
第七章 nignx程序location(匹配)配置方法
location作用: 匹配指定的URI信息,根据访问不同的URI做不同的处理
官方说明:
Syntax: location [ = | ~ | ~* | ^~ ] uri { ... } location @name { ... }
Default: —
Context: server, location
location匹配符号
= 精准匹配指定URI信息 (精准匹配时会严格要求匹配信息前后内容)
~ 模糊匹配指定URI信息(区分大小写) (模糊匹配不会严格要求URI前后内容信息)
~* 模糊匹配指定URI信息(不区分大小写)
^~ 优先模糊匹配指定URI信息
/ 默认匹配项
/xxx/ 匹配指定目录
\.xxx$ 匹配以xxx结尾的URI信息
默认参数为:无
可在:server和location背景(模块)内进行使用
PS: 当匹配时 精准匹配是最优先 其次是优先匹配
官方举例
location = / { 精确匹配
[ configuration A ] 做什么处理
}
location / { 进行默认匹配项
[ configuration B ]
}
location /documents/ { 根据资源目录信息进行匹配
[ configuration C ]
}
location ^~ /images/ { 进行优先匹配 /images/目录
[ configuration D ]
}
location ~* \.(gif|jpg|jpeg)$ { 匹配以gif / jpg / jpeg 结尾的URI信息
[ configuration E ]
}
实际应用
问题
输入www.oldboy.com/meinv01.html 显示 /htnl/www//oldboy/oldboy.jpg 图片
解题思路:
(1) 根据不同uri显示不同页面信息
location /meinv01.html { 指定匹配URI信息为meinv01.html
return 200 meinv01 return 表示网页显示指定的内容
}
return 语法格式
return 200 xxxx
(固定) (返回码) (网页显示什么信息)
(2) 完善配置文件
[root@web02 conf.d]# cat www.conf
server {
listen 80; 指定端口
server_name http://www.oldboy.com;
指定域名
location / { 默认匹配项
root /html/www; 指定站点目录
}
location /meinv01.html { 指定匹配meinv01.html
return 301 http://www.oldboy.com/oldboy/oldboy.jpg;
指定显示下面网站内容
}
}
nginx程序rewrite 跳转功能
当用户用浏览器进行访问网站时 , 输入域名地址A 发送到web服务器上 , 由web服务器进行处理 跳转访问域名地址B
官方说明:
Syntax: rewrite regex replacement [flag];
Default: --
Context: server, location, if
语法:
rewrite
要跳转的URI/L信息
跳转到的URI/L信息
跳转方法
默认参数: 无
可以在: server
/location
/ if
模块内进行使用
实例:
跳转 URI信息
server{
listen 80;
server_name www.oldboy.com;
location /{
root /html/www;
index index.html;
}
location ~^/2014/{ 指定正则匹配以/2014/开头URI信息
rewrite ^/2014/(.*) /2018/$1 redirect;
(指定跳转 URI开头/2014/信息跳转到开头/2018/ 正则符$1后向引用前向 URI /2014/后面内容追加给/2018/后)
}
}
URL跳转
server{
listen 80;
server_name [www.oldboy.com](http://www.oldboy.com);
rewrite (.*) http://www.baidu.com:80 permanent; 匹配域名信息 永久跳转到百度的80端口
location /{
root /html/www;
index index.html;
}
rewrite跳转方法
last 跳转 (不会改变浏览器URL/URI信息)
解释 : 用户通过浏览器发送请求 web服务器收到请求后响应跳转的域名地址信息 浏览器收到后去会访问跳转的域名地址
实例:
server{
listen 80;
server_name www.oldboy.com;
location /{
root /html/www;
index index.html;
}
location ~/aaa/{ 匹配URI中带有/aaa/信息
rewrite (.*) /bbb/ccc/ last; 匹配到的URI整体替换成 /bbb/ccc/
}
}
break 跳转
解释: 用户访问过来, 服务器会自己进行找寻指定跳转 找到后响应给客户端浏览器(URI/L不会发生改变)
实例:
server{
listen 80;
server_name www.oldboy.com;
location /{
root /html/www;
index index.html;
}
location ~^/aaa/{ 匹配URI中以/aaa/目录开头的信息
rewrite (.*) /bbb/ccc/ break; 匹配到的URI整体替换成 /bbb/ccc/
}
}
常用跳转 redirect临时跳转
说明: 跳转方式和last跳转一样会返回一个跳转域名 由客户端再次发起请求 redirect (临时)跳转 跳转时地址栏的URI/L信息 会进行改变 改变成跳转的URI/L
例子
server{
listen 80;
server_name www.oldboy.com;
location /{
root /html/www;
index index.html;
}
location ~/aaa/{ 匹配URI中带有/aaa/信息
rewrite ^/aaa/(.*) ^/bbb/$1 redirect; 指定将/aaa/开头的URI 跳转成以/bbb/开头的URI 并后面路径不变
}
}
常用跳转 permanent永久跳转
说明: 跳转方式和last跳转一样会返回一个跳转域名 由客户端再次发起请求
permanent
(永久跳转) 将地址url/uri信息进行跳转变化
例子
server{
listen 80;
server_name www.oldboy.com;
location /{
root /html/www;
index index.html;
}
location ~/aaa/{ 匹配URI中带有/aaa/信息
rewrite ^/aaa/(.*) ^/bbb/$1 permanent ; 指定将/aaa/开头的URI 跳转成以/bbb/开头的URI 并后面路径不变
}
}