标签归档:服务器

CentOS 7配置Rsync数据文件同步服务器

何为Rsync?

Rsync是一个非常灵活的命令行网络同步工具,由于它在Linux和类unix系统上的普及,使它被默认包含在大多数Linux发行版中。它在同步文件或文件夹的同时,可以保持原来文件的权限、时间、软硬链接等附加信息, 它可以快速安全的传输数据,并且支持增量更新,传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽,不仅如此它还是开源软件。

环境:

RenwoleServer:10.28.204.65 服务端
RenwoleClient:10.28.204.66 客户端
OS:CentOS Linux release 7.4.1708 (Core) x64

1.分别在服务器端和客户端安装rsync

由于部分Linux发行版默认已安装rsync,但使用的版本 rsync 3.0.9-18.el7 有些旧,所以需手动安装最新版,请看以下具体操作:

2.安装rsync

如已默认安装,请卸载旧版本:

$ yum remove rsync -y

安装rsync有2种方式:

RPM方式的好处,快速、方便、节时,具体安装如下:

$ yum -y install epel-release
$ wget //mirror.ghettoforge.org/distributions/gf/gf-release-latest.gf.el7.noarch.rpm
$ rpm -Uvh gf-release*rpm
$ yum --enablerepo=gf-plus install rsync -y

rsync文件:

/etc/rsyncd.conf
/etc/sysconfig/rsyncd
/etc/xinetd.d/rsync
/usr/bin/rsync
/usr/share/doc/rsync-3.1.2/COPYING
......

源码安装(推荐)

此种安装方法的好处不但自定义方便,还可使用最新安装包。

安装依赖并下载源码包,编译安装:

$ cd /tmp
$ yum install gcc c++ -y
$ wget //download.samba.org/pub/rsync/rsync-3.1.2.tar.gz
$ tar zxvf rsync-3.1.2.tar.gz
$ cd rsync-3.1.2
$ ./configure --prefix=/usr/local/rsync
$ make -j8 && make install
$ ln -s /usr/local/rsync/bin/rsync /usr/bin/rsync

设置rsync自启动脚本

源码安装需手动将rsync默认提供的脚本拷贝到系统目录,这样才能使用systemctl管理:

$ cp /tmp/rsync-3.1.2/packaging/systemd/* /usr/lib/systemd/system

说明:源代码编译安装,没有/etc/rsyncd.conf主配置文件,需要手动创建,RPM安装方式会自动生成,但都需要根据需求重新配置。

两种安装方式不管使用哪种方法都可以安装成功。

下面将介绍rsync配置篇(以源代码编译安装配置为例)。

3.关于rsync认证方式

rsync有2种常用的认证方式,一种是rsync-daemon,另一种是SSH。在生产环境中,通常使用rsync-daemon认证模式。

认证模式说明:

1.rsync-daemon认证:默认监听TCP的873端口。前提是双方都需要安装rsync,客户端可不启动rsync服务,但需要简单的配置。服务器端需要启动且需在服务器端配置rsync。

2.SSH认证:通过系统用户认证,即在rsync上通过SSH隧道进行传输,前提是需要服务器端与客户端建立无密码登录,可参阅这里《如何在Linux中设置SSH无密码登录》。无需服务器与客户端配置rsync,也无需启动rsync服务,只需双方都安装rsync即可。

4.设置rsync服务端密码 10.28.204.65

本教程使用rsync-daemon认证方式。创建访问密码,格式为 用户名:密码,一行一个,明文。

$ echo "renwole:renwolecom"  >>/etc/rsync.password
$ chmod 600 /etc/rsync.password

5.配置rsync服务端 10.28.204.65

配置完成后的内容如下:

$ cat /etc/rsyncd.conf

uid = root               # 运行RSYNC守护进程的用户
gid = root               # 运行RSYNC守护进程的组
port = 873               # 默认端口
#address = 10.28.204.65  # 服务器IP地址
# pid file = /var/run/rsyncd.pid   # 进程启动后,进程号存放路径
lock file = /var/run/rsync.lock  # 设置锁文件名称
log file = /var/log/rsyncd.log     # 指定rsync的日志文件

use chroot = no          # 不使用chroot
read only = yes          # 只读,不让客户端上传文件到服务器
transfer logging = yes   # 将传输操作记录到传输日志文件

hosts allow=10.28.204.66           # 允许哪些主机访问(多个以空格隔开)
hosts deny=*                       # 拒绝哪些主机访问
max connections = 3                # 最大连接数
# motd file = /etc/rsyncd.motd     # 登陆欢迎信息(生产环境不建议)

log format = %t %a %m %f %b        # 指定日志记录的格式
syslog facility = local3           # 消息级别
timeout = 600                      # 会话超时时间。

[renwolecom]             # 模块的名称,可以自定义
path = /apps/www         # 需要同步的目录
list=yes                 # 是否允许用户列出文件,默认为true
ignore errors            # 忽略错误信息
# exclude = myrenwole/   # 不同步的目录(多个以空格隔开)
comment = RenwoleCombak  # 注释内容,任意
auth users = renwole     # 那些用户才允许连接该模块,多个以,隔开
secrets file = /etc/rsyncs.pass    # 认证时所需的密码文件

更多配置请参阅://www.gsp.com/cgi-bin/man.cgi?topic=rsyncd.conf

两个注意说明

注意:如果你拷贝以上配置项,请去掉注释说明,否则可能会出现未知问题。
注意:全局配置中的选项对所有模块有效;模块下定义的仅对当前模块有效;另外,模块中定义选项值优先于全局配置。

6.设置firewall防火墙

$ firewall-cmd --add-port=873/tcp --permanent
$ firewall-cmd --add-port=873/udp --permanent
$ firewall-cmd --reload

7.配置rsync客户端 10.28.204.66

客户端无需配置模块,也无需启动服务,配置文件只需简单配置即可,例如:

$ vim /etc/rsyncd.conf

uid = nobody
gid = nobody
use chroot = no
max connections = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
port = 873
secrets file = /etc/client.pass

8.在客户端设置密码 10.28.204.66

添加密码并设置权限:

$ echo "renwolecom"  >>/etc/client.pass
$ chmod 600 /etc/client.pass

说明:只需添加服务端的密码即可,无需用户。

9.启动并加入开机自启动

$ systemctl start rsync
$ systemctl enable rsync
$ systemctl list-unit-files

10.测试rsync文件同步

rsync客户端 10.28.204.66 连接服务端测试

$ /usr/bin/rsync -avzrtopg --progress --delete --password-file=/etc/client.pass renwole@10.28.204.65::renwolecom /apps/www

客户端连接参数说明:

-avzrtopg 拆分讲解:

a # 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD;
v # 详细模式输出;
z # 对备份的文件在传输时进行压缩处理;
r # 对子目录以递归模式处理;
topg       # 保持原文件属性如属主、时间的参数。

--progress # 显示详细的同步进度情况。
--delete   # 若服务端端删除了这一文件,客户端也相应删除,保持文件一致。

更多参数请查看rsync帮助:

$ /usr/bin/rsync -h

最后是问题总结

可能的报错信息:

@ERROR: auth failed on module renwole

此报错有两种原因导致:

1.要么在服务端配置的用户密码不正确导致。
2.要么就是服务器和客户端的密码文件不是600权限所致。

rsync: failed to connect to 10.28.204.65 (10.28.204.65): No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(125) [Receiver=3.1.2]

此种无法连接到rsync服务端报错只有一种情况:

1.防火墙并未放行873端口或服务未启动,解决:关闭防火墙或放行端口即可。

启动如果报错,多看看日志,就知道解决的方法了。

如果你觉得配置比较麻烦,建议您使用lsyncd,此工具更好用,请参考:

如何使用Lsyncd复制并实时同步到远程服务器

Nginx 集群负载均衡器:NFS文件存储共享安装配置优化篇

上一篇文章中介绍了《Nginx 1.3 集群负载均衡 反向代理安装配置优化》这篇重点写文件存储(File Storage)过程。

10.10.204.62 Load Balancing
10.10.204.63 Nginx Web server
10.10.204.64 Nginx Web server
10.10.204.65 File Storage

1.File Storage 服务器安装

yum -y install nfs-utils

2.配置NFS并创建共享目录

# mkdir -p /Data/webapp
# vim /etc/exports

/Data/webapp 10.10.204.0/24(rw,sync,no_subtree_check,no_root_squash)

3.开启自启动

# systemctl enable rpcbind
# systemctl enable nfs-server
# systemctl start rpcbind
# systemctl start nfs

4.相关参数:

rw:read-write:可读写; ro:read-only,只读; sync:文件同时写入硬盘和内存。
no_root_squash:来访的root用户保持root帐号权限;显然开启这项是不安全的。
root_squash:将来访的root用户映射为匿名用户或用户组;通常它将使用nobody或nfsnobody身份。
all_squash:所有访问用户都映射为匿名用户或用户组;
anonuid:匿名用户的UID值,可以在此处自行设定。 anongid:匿名用户的GID值。
sync:将数据同步写入内存缓冲区与磁盘中,效率低,但可以保证数据的一致性。
async:文件暂存于内存,而不是直接写入内存。
no_subtree_check :即使输出目录是一个子目录,nfs服务器也不检查其父目录的权限,这样可以提高效率。

5.File Storage 服务器防火墙配置

# firewall-cmd --permanent --add-service=rpc-bind
# firewall-cmd --permanent --add-service=nfs
# firewall-cmd --reload

6.Nginx Web server 服务器安装以及挂载

# yum -y install nfs-utils
# mkdir -p /Data/webapp
# mount -t nfs 10.10.204.65:/Data/webapp /Data/webapp

7.如果需要开机自动挂载,在该文件最下方添加一行即可

# vim /etc/fstab

10.10.204.65:/Data/webapp /Data/webapp nfs auto,rw,vers=3,hard,intr,tcp,rsize=32768,wsize=32768 0 0

 

8.Nginx Web server 服务器测试

连续写16384个16KB的块到nfs目录下的testfile文件

# time dd if=/dev/zero of=/Data/webapp/testfile bs=16k count=16384

  16384+0 records in
  16384+0 records out
  268435456 bytes (268 MB) copied, 2.89525 s, 92.7 MB/s
  real 0m2.944s
  user 0m0.015s
  sys 0m0.579s

测试读的性能

# time dd if=/nfsfolder/testfile of=/dev/null bs=16k

  16384+0 records in
  16384+0 records out
  268435456 bytes (268 MB) copied, 0.132925 s, 2.0 GB/s
  real 0m0.138s
  user 0m0.003s
  sys 0m0.127s

综合来讲,NFS的速度还算理想。如果觉得速度慢,那么添加相关参数后,反复挂载卸载并测试读写,找到适合自己的配置方案。

推荐:海外知名主机 SSD VPS 云服务器

//www.vultr.com/ 美国知名云服务器提供商
//www.digitalocean.com/ 纽约知名云主机商家(数字海洋)
//www.cloudflare.com/ 旧金山CDN提供商
//www.linode.com/ 日本VPS主机商
//www.cacloud.com/ 加拿大云服务机商
//www.ovh.com/ 法国知名IDC

以上VPS主机提供商均有全球云服务资源,特别适合站长,价格便宜,自定义权限大,可控度高。

Linux Nginx网站:Certbot安装配置Lets Encrypt SSL免费HTTPS加密证书

实验环境:CentOS Linux release 7.3.1611 (Core)
内核版本:Linux version 3.10.0-514.el7.x86_64
Nginx版本: Nginx-1.13.0

Let’s Encrypt是一个免费的、自动化、开放的证书颁发机构。由Mozilla、Cisco、Chrome、facebook、Akamai等众多公司和机构发起的,其安全稳定及其可靠。具体信息可以去letsencrypt官方网站了解详情。

今天我们就充分利用Lets Encrypt让你的网站实现https加密。

官网://letsencrypt.org/

1.安装certbot及源扩展包

$ yum install -y epel-release

Certbot是Let’s Encrypt官方指定推荐的客户端。通过 Certbot,你可以自动化部署 Let’s Encrypt SSL证书,以便为网站加上HTTPS加密支持。

$ yum install certbot
$ certbot certonly
Saving debug log to /var/log/letsencrypt/letsencrypt.log
How would you like to authenticate with the ACME CA?
//你是希望如何使用ACME CA进行身份验证?
-------------------------------------------------------------------------------
1: Place files in webroot directory (webroot)
//将文件放在webroot目录
2: Spin up a temporary webserver (standalone)
//使用临时Web服务器(独立目录)
-------------------------------------------------------------------------------
Select the appropriate number [1-2] then [enter] (press 'c' to cancel):1 【选择1回车】
Enter email address (used for urgent renewal and security notices) (Enter 'c' to
cancel):su@renwole.com【输入您的邮箱地址,用于紧急更新和安全通知】

Starting new HTTPS connection (1): acme-v01.api.letsencrypt.org
-------------------------------------------------------------------------------
Please read the Terms of Service at
//letsencrypt.org/documents/LE-SA-v1.1.1-August-1-2016.pdf. You must agree
in order to register with the ACME server at
//acme-v01.api.letsencrypt.org/directory
-------------------------------------------------------------------------------
(A)gree/(C)ancel: A【选择A回车同意服务条款,C为拒绝】
-------------------------------------------------------------------------------
Would you be willing to share your email address with the Electronic Frontier
Foundation, a founding partner of the Let's Encrypt project and the non-profit
organization that develops Certbot? We'd like to send you email about EFF and
our work to encrypt the web, protect its users and defend digital rights.
-------------------------------------------------------------------------------
(Y)es/(N)o:Y【您是否愿意分享您的电子邮件地址,建议选择Y回车】
Please enter in your domain name(s) (comma and/or space separated) (Enter 'c'
to cancel): blog.renwole.com【输入域名回车】
Obtaining a new certificate
Performing the following challenges:
http-01 challenge for blog.renwole.com
Select the webroot for blog.renwole.com:
-------------------------------------------------------------------------------
1: Enter a new webroot
//输入网站绝对路径
-------------------------------------------------------------------------------
Press 1 [enter] to confirm the selection (press 'c' to cancel):1【选择数字1回车】
Input the webroot for blog.renwole.com: (Enter 'c' to cancel):/home/www/blog.renwole.com【输入网站所在绝对路径回车】
Waiting for verification...
Waiting for verification...
Cleaning up challenges
Generating key (2048 bits): /etc/letsencrypt/keys/0001_key-certbot.pem
Creating CSR: /etc/letsencrypt/csr/0001_csr-certbot.pem

IMPORTANT NOTES:
- Congratulations! Your certificate and chain have been saved at
/etc/letsencrypt/live/blog.renwole.com/fullchain.pem. Your cert
will expire on 2017-08-09. To obtain a new or tweaked version of
this certificate in the future, simply run certbot again. To
non-interactively renew *all* of your certificates, run "certbot
renew"
- If you like Certbot, please consider supporting our work by:

Donating to ISRG / Let's Encrypt: //letsencrypt.org/donate
Donating to EFF:

恭喜!您的SSL证书和密钥链接已保存,你的证书将于2017-08-09到期。

注意:这里需要说明,在生成证书之前,你必须保证nginx 443端口是运行状态,否则会生成证书失败。

2.自动续订

Certbot可以配置为在证书过期之前自动更新证书。由于Let’s Encrypt SSL证书有效期时间为90天,所以建议您利用此功能。您可以通过运行以下命令来测试证书的自动续订:

$ sudo certbot --nginx certonly

如果以上正常工作,你可以通过添加运行以下操作的cron或systemd定时任务安排自动更新:

certbot renew

我们写一个自动执行脚本,建议每小时执行一次:

$ sudo crontab -e

添加以下内容:

0 */6 * * * /usr/bin/certbot renew --quiet && /bin/systemctl restart nginx

保存并退出!

通过命令查看是否添加成功:

$ crontab -l
0 */6 * * * /usr/bin/certbot renew --quiet && /bin/systemctl restart nginx

重启crontab

$ systemctl status crond.service
$ systemctl restart crond.service

通过命令观察 crontab 是否执行:

$ tail -f /var/log/cron

证书是否续订成功,可以通过以下命令管理查看证书信息:

$ certbot certificates

更多Certbot命令请参阅官方文档 //certbot.eff.org/docs/

3.配置nginx.conf
接下来修改Nginx配置文件,修改sever段,去掉相应注释,将生成的SSL证书填写到ssl_certificate后面,将生成的密钥填写到ssl_certificate_key后面,保存并重启nginx服务器即可。

# vi /usr/local/nginx/conf/nginx.conf

server {
 listen 443 ssl;

 ssl_certificate /etc/letsencrypt/live/blog.renwole.com/fullchain.pem;
 ssl_certificate_key /etc/letsencrypt/live/blog.renwole.com/privkey.pem;

# ssl_session_cache shared:SSL:1m;
 ssl_session_timeout 5m;

# ssl_ciphers HIGH:!aNULL:!MD5;
 ssl_prefer_server_ciphers on;

# location / {
 # root html;
 # index index.html index.htm;
 # }
 }

使用谷歌浏览器访问//blog.renwole.com/可以看到绿色的安全小锁图标,说明网站已经https加密成功。