基于Docker搭建Redis一主兩從三哨兵的實現(xiàn)
這段時間正在學習Redis和容器相關的內容，因此想通過docker搭建一套redis主從系統(tǒng)來加深理解?？催@篇文章可能你需要一定的docker基礎，以及對redis主從和哨兵機制有所了解。
這次實驗準備了三臺云主機，系統(tǒng)為Debian，ip分別為：
35.236.172.131 ， 35.201.200.251， 34.80.172.42。
首先分別在這三臺主機上安裝docker，然后每臺主機上啟動一個redis容器，運行redis-server服務，其中35.236.172.131作為master，另外兩臺機器作為slave，最后在三臺主機上再分別啟動一個redis容器，運行redis-sentinel。為什么還是redis容器呢？因為sentinel實際上還是一個redis-server，只不過是以sentinel模式執(zhí)行，只能處理sentinel需要的一些命令。
安裝docker
docker的安裝有很多種方法，這里就不介紹了。本次使用腳本安裝docker，Debian系統(tǒng)腳本安裝如下，其他系統(tǒng)可以參考Docker官網(wǎng)的安裝方法：
https://docs.docker.com/install/linux/docker-ce/debian/
不過下面的命令在官網(wǎng)命令的基礎上修改鏡像源為阿里云，因為國內鏡像往往會快一些。
腳本安裝docker
在物理主機或者云虛擬主機上運行下面的命令就可以完成docker安裝了，當然我是在Debian系統(tǒng)上，其他系統(tǒng)相應參考官網(wǎng)上的方法。
$ curl -fsSL https://get.docker.com -o get-docker.sh $ sudo sh get-docker.sh --mirror Aliyun
啟動docker CE
docker是以客戶端和服務器模型運行的，因此需要先運行docker的服務器，服務器以daemon的形式運行。docker CE是docker的社區(qū)版本。
$ sudo systemctl enable docker $ sudo systemctl start docker
驗證docker是否安裝成功
下面的這條命令是從docker的官方倉庫拉取一個名為hello-world的鏡像，并通過這個鏡像啟動一個容器。
$ docker run hello-world
如果運行結果如下，出現(xiàn)了Hello from Docker!，說明docker安裝成功了
$ docker run hello-world Unable to find image 'hello-world:latest' locally latest: Pulling from library/hello-world 1b930d010525: Pull complete Digest: sha256:6540fc08ee6e6b7b63468dc3317e3303aae178cb8a45ed3123180328bcc1d20f Status: Downloaded newer image for hello-world:latest Hello from Docker! This message shows that your installation appears to be working correctly. To generate this message, Docker took the following steps: 1. The Docker client contacted the Docker daemon. 2. The Docker daemon pulled the "hello-world" image from the Docker Hub. (amd64) 3. The Docker daemon created a new container from that image which runs the executable that produces the output you are currently reading. 4. The Docker daemon streamed that output to the Docker client, which sent it to your terminal. To try something more ambitious, you can run an Ubuntu container with: $ docker run -it ubuntu bash Share images, automate workflows, and more with a free Docker ID: https://hub.docker.com/ For more examples and ideas, visit: https://docs.docker.com/get-started/
啟動容器搭建主從
docker安裝成功后，可以開始部署redis服務了。先從docker官方公共倉庫拉取redis鏡像，然后修改redis服務的配置文件，最后啟動容器，啟動redis服務器。在多臺機器上運行redis服務器，并建立主從關系。
redis的主從是實現(xiàn)redis集群和redis哨兵高可用的基礎，redis的主從結構使從可以復制主上的數(shù)據(jù)，如果從與主之間網(wǎng)絡斷開，從會自動重連到主上。
獲取Redis鏡像
下面的命令會拉取最新的官方版本的redis鏡像
$ docker pull redis
查看鏡像
$ docker image ls REPOSITORY TAG IMAGE ID CREATED SIZE redis latest bb0ab8a99fe6 7 days ago 95MB hello-world latest fce289e99eb9 6 months ago 1.84kB
獲取并修改redis配置文件
redis官方提供了一個配置文件樣例，通過wget工具下載下來。我用的root用戶，就直接下載到/root目錄里了。
$ wget http://download.redis.io/redis-stable/redis.conf
打開下載下來的文件后，可以看到配置有很多。我只是搭建服務進行試驗所以只修改必要的幾項。如果要運用到線上，那必須所有的配置都按需求進行修改。
其中redis服務器的master和slave角色使用的配置文件還會有些不同，下面分別進行說明。
對于master而言，配置文件修改以下幾項
# 注釋這一行，表示Redis可以接受任意ip的連接 # bind 127.0.0.1 # 關閉保護模式 protected-mode no # 讓redis服務后臺運行 daemonize yes # 設定密碼(可選，如果這里開啟了密碼要求，slave的配置里就要加這個密碼. 只是練習配置，就不使用密碼認證了) # requirepass masterpassword # 配置日志路徑，為了便于排查問題，指定redis的日志文件目錄 logfile "/var/log/redis/redis.log"
對于slave而言，配置文件修改以下幾項：
# 注釋這一行，表示Redis可以接受任意ip的連接 # bind 127.0.0.1 # 關閉保護模式 protected-mode no # 讓redis服務后臺運行 daemonize yes # 設定密碼(可選，如果這里開啟了密碼要求，slave的配置里就要加這個密碼) requirepass masterpassword # 設定主庫的密碼，用于認證，如果主庫開啟了requirepass選項這里就必須填相應的密碼 masterauth <master-password> # 設定master的IP和端口號，redis配置文件中的默認端口號是6379 # 低版本的redis這里會是slaveof，意思是一樣的，因為slave是比較敏感的詞匯，所以在redis后面的版本中不在使用slave的概念，取而代之的是replica # 將35.236.172.131做為主，其余兩臺機器做從。ip和端口號按照機器和配置做相應修改。 replicaof 35.236.172.131 6379 # 配置日志路徑，為了便于排查問題，指定redis的日志文件目錄 logfile "/var/log/redis/redis.log"
啟動容器
分別在主機和從機上按照上面的方法建立好配置文件，檢查無誤后就可以開始啟動容器了。
我們在三臺機器上分別將容器別名指定為redis-1, redis-2, redis-3，這樣便于區(qū)分與說明，docker通過--name參數(shù)來指定容器的別名。redis-1是master上容器的別名，redis-2和redis-3是兩個slave上的別名。
下面以運行redis-3容器為例說明容器的啟動過程。另外兩臺機器上的容器redis-1和redis-2操作是相同的，只是要注意master的配置文件和slave不同。不過首先要啟動主服務器，也就是redis-1容器。然后再啟動redis-2和redis-3。
# 首先以后臺模式運行容器 $ docker run -it --name redis-3 -v /root/redis.conf:/usr/local/etc/redis/redis.conf -d -p 6379:6379 redis /bin/bash # 容器成功啟動后，會打印一個長串的容器ID a3952342094dfd5a56838cb6becb5faa7a34f1dbafb7e8c506e9bd7bb1c2951b # 通過ps命令查看容器的狀態(tài)，可以看到redis-3已經(jīng)啟動 $ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES a3952342094d redis "docker-entrypoint.s…" 8 minutes ago Up 8 minutes 0.0.0.0:6379->6379/tcp redis-3
上面已經(jīng)啟動了容器，接下來進入容器里啟動redis服務器。
# 以交互模式進入容器redis-3 $ docker exec -it redis-3 bash # 創(chuàng)建日志文件目錄 $ mkdir /var/log/redis/ $ touch /var/log/redis/redis.log # 啟動redis服務器，如果沒有任何輸出，就說明成功了 $ redis-server /usr/local/etc/redis/redis.conf # 在容器里啟動一個redis客戶端 $ redis-cli # 執(zhí)行info命令，查看服務器狀態(tài) 127.0.0.1:6379> info ... # 如果是主，這里的role的值會是master，如果是從，這里的role的值會是slave role:slave # 對于slave，還要查看master_link_status這個屬性值。slave上這個屬性值為up就說明主從復制是OK的，否者就有問題。如果從機狀態(tài)不為up，首先排查主機的端口是否被限，然后查看redis日志排查原因 master_link_status:up ... # 最后退出容器 $ exit
驗證主從復制
主從搭建成功后，可以通過在master上寫入一個key-value值，查看是否會同步到slave上，來驗證主從同步是否能成功。
# 以交互模式進入容器redis-1中 $ docker exec -it redis-1 bash
運行一個redis-cli，向test_key寫入一個值
$ redis-cli 127.0.0.1:6379> set test_key hello-world OK
在任意slave機器上進入容器，也運行一個redis-cli，查詢這個key的值。如果能查詢到這個值，且與主機上的值相同，說明主從同步成功。經(jīng)測試，主動同步成功。
127.0.0.1:6379> get test_key "hello-world"
添加哨兵
主從結構搭建成功了，系統(tǒng)的可用性變高了，但是如果主發(fā)生故障，需要人工手動切換從機為主機。這種切換工作不僅浪費人力資源，更大的影響是主從切換期間這段時間redis是無法對外提供服務的。因此，哨兵系統(tǒng)被開發(fā)出來了，哨兵可以在主發(fā)生故障后，自動進行故障轉移，從從機里選出一臺升級為主機，并持續(xù)監(jiān)聽著原來的主機，當原來的主機恢復后，會將其作為新主的從機。
哨兵先監(jiān)聽主，通過對主發(fā)送info命令，獲取到從的信息，然后也會監(jiān)聽到從。另外哨兵都會像主訂閱__sentinel__:hello頻道，當有新的哨兵加入時，會向這個頻道發(fā)送一條信息，這條信息包含了該哨兵的IP和端口等信息，那么其他已經(jīng)訂閱了該頻道的哨兵就會收到這條信息，就知道有一個新的哨兵加入。
這些哨兵會與新加入和哨兵建立連接，選主是需要通過這個連接來進行投票。這個關系可以用下面這個圖來描述
獲取并修改sentinel配置文件
通過wget命令獲取sentinel的配置文件
wget http://download.redis.io/redis-stable/sentinel.conf
修改配置文件以下幾項
# 讓sentinel服務后臺運行 daemonize yes # 修改日志文件的路徑 logfile "/var/log/redis/sentinel.log" # 修改監(jiān)控的主redis服務器 # 最后一個2表示，兩臺機器判定主被動下線后，就進行failover(故障轉移) sentinel monitor mymaster 35.236.172.131 6379 2
啟動容器
與啟動redis容器類似，啟動一個別名為sentinel的容器
$ docker run -it --name sentinel -p 26379:26379 -v /root/sentinel.conf:/usr/local/etc/redis/sentinel.conf -d redis /bin/bash
運行哨兵
# 進入容器 $ docker exec -it sentinel bash # 創(chuàng)建日志目錄和文件 $ mkdir /var/log/redis $ touch /var/log/redis/sentinel.log # 啟動哨兵 redis-sentinel /usr/local/etc/redis/sentinel.conf # 查看日志，哨兵成功監(jiān)聽到一主和兩從的機器 18:X 11 Jul 2019 13:25:55.416 # +monitor master mymaster 35.236.172.131 6379 quorum 2 18:X 11 Jul 2019 13:25:55.418 * +slave slave 35.201.200.251:6379 35.201.200.251 6379 @ mymaster 35.236.172.131 6379 18:X 11 Jul 2019 13:25:55.421 * +slave slave 34.80.172.42:6379 34.80.172.42 6379 @ mymaster 35.236.172.131 6379
在另外兩臺機器上按照同樣的方法在一個容器中運行sentinel，sentinel都使用相同的配置文件。
驗證failover(故障轉移)
為了驗證哨兵機制下的自動主從切換，我們將主上的redis進程kill掉。
稍等幾秒鐘后，就有另外一臺從升級為主機，實驗時是第三臺機器，也就是redis-3升級為了主，用info命令查詢可以看到redis-3服務器的角色變成的master。說明自動主從切換成功。
127.0.0.1:6379> info ... # Replication role:master ...
然后重新啟動之前被kill掉的master服務器，啟動后用info命令查看，可以發(fā)現(xiàn)其變成了redis-3的從服務器。
下面這段日志，描述了35.236.172.131作為主啟動，執(zhí)行故障轉移的master sentinel選舉，執(zhí)行故障轉移，建立新的主從關系。
root@4355ca3260c5:/var/log/redis# cat sentinel.log 17:X 11 Jul 2019 13:25:55.395 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 17:X 11 Jul 2019 13:25:55.395 # Redis version=5.0.5, bits=64, commit=00000000, modified=0, pid=17, just started 17:X 11 Jul 2019 13:25:55.395 # Configuration loaded 18:X 11 Jul 2019 13:25:55.398 * Running mode=sentinel, port=26379. 18:X 11 Jul 2019 13:25:55.398 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128. 18:X 11 Jul 2019 13:25:55.416 # Sentinel ID is 7d9a7877d4cffb6fec5877f605b975e00e7953c1 18:X 11 Jul 2019 13:25:55.416 # +monitor master mymaster 35.236.172.131 6379 quorum 2 18:X 11 Jul 2019 13:25:55.418 * +slave slave 35.201.200.251:6379 35.201.200.251 6379 @ mymaster 35.236.172.131 6379 18:X 11 Jul 2019 13:25:55.421 * +slave slave 34.80.172.42:6379 34.80.172.42 6379 @ mymaster 35.236.172.131 6379 18:X 11 Jul 2019 13:26:25.460 # +sdown slave 35.201.200.251:6379 35.201.200.251 6379 @ mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:04:23.390 * +sentinel sentinel 09aa7d2098ad2dc52e6e07d7bc6670f00f5ff3e3 172.17.0.3 26379 @ mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:04:25.418 * +sentinel-invalid-addr sentinel 09aa7d2098ad2dc52e6e07d7bc6670f00f5ff3e3 172.17.0.3 26379 @ mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:04:25.418 * +sentinel sentinel 7d9a7877d4cffb6fec5877f605b975e00e7953c1 172.17.0.3 26379 @ mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:04:25.456 * +sentinel-address-switch master mymaster 35.236.172.131 6379 ip 172.17.0.3 port 26379 for 09aa7d2098ad2dc52e6e07d7bc6670f00f5ff3e3 18:X 11 Jul 2019 14:08:34.338 * +sentinel-invalid-addr sentinel 09aa7d2098ad2dc52e6e07d7bc6670f00f5ff3e3 172.17.0.3 26379 @ mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:08:34.338 * +sentinel sentinel 28d3c0e636fa29ac9fb5c3cc2be00432c1b0ead9 172.17.0.3 26379 @ mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:08:36.236 * +sentinel-address-switch master mymaster 35.236.172.131 6379 ip 172.17.0.3 port 26379 for 09aa7d2098ad2dc52e6e07d7bc6670f00f5ff3e3 18:X 11 Jul 2019 14:11:12.151 # +sdown master mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:11:12.214 # +odown master mymaster 35.236.172.131 6379 #quorum 4/2 18:X 11 Jul 2019 14:11:12.214 # +new-epoch 1 18:X 11 Jul 2019 14:11:12.214 # +try-failover master mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:11:12.235 # +vote-for-leader 7d9a7877d4cffb6fec5877f605b975e00e7953c1 1 18:X 11 Jul 2019 14:11:12.235 # 7d9a7877d4cffb6fec5877f605b975e00e7953c1 voted for 7d9a7877d4cffb6fec5877f605b975e00e7953c1 1 18:X 11 Jul 2019 14:11:12.235 # 28d3c0e636fa29ac9fb5c3cc2be00432c1b0ead9 voted for 7d9a7877d4cffb6fec5877f605b975e00e7953c1 1 18:X 11 Jul 2019 14:11:12.235 # 09aa7d2098ad2dc52e6e07d7bc6670f00f5ff3e3 voted for 7d9a7877d4cffb6fec5877f605b975e00e7953c1 1 18:X 11 Jul 2019 14:11:12.294 # +elected-leader master mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:11:12.294 # +failover-state-select-slave master mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:11:12.394 # -failover-abort-no-good-slave master mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:11:12.453 # Next failover delay: I will not start a failover before Thu Jul 11 14:17:12 2019 18:X 11 Jul 2019 14:11:13.050 # +config-update-from sentinel 28d3c0e636fa29ac9fb5c3cc2be00432c1b0ead9 172.17.0.3 26379 @ mymaster 35.236.172.131 6379 18:X 11 Jul 2019 14:11:13.050 # +switch-master mymaster 35.236.172.131 6379 34.80.172.42 6379 18:X 11 Jul 2019 14:11:13.050 * +slave slave 35.201.200.251:6379 35.201.200.251 6379 @ mymaster 34.80.172.42 6379 18:X 11 Jul 2019 14:11:13.050 * +slave slave 35.236.172.131:6379 35.236.172.131 6379 @ mymaster 34.80.172.42 6379 18:X 11 Jul 2019 14:11:43.077 # +sdown slave 35.236.172.131:6379 35.236.172.131 6379 @ mymaster 34.80.172.42 6379 18:X 11 Jul 2019 14:11:43.077 # +sdown slave 35.201.200.251:6379 35.201.200.251 6379 @ mymaster 34.80.172.42 6379 18:X 12 Jul 2019 01:54:05.142 # -sdown slave 35.236.172.131:6379 35.236.172.131 6379 @ mymaster 34.80.172.42 6379 18:X 12 Jul 2019 01:54:15.087 * +convert-to-slave slave 35.236.172.131:6379 35.236.172.131 6379 @ mymaster 34.80.172.42 6379
總結
redis通過主從復制來實現(xiàn)高可用，但是發(fā)生故障時需要人工進行主從切換，效率低下。哨兵機制實現(xiàn)了redis主從的自動切換，提高了redis集群的可用性，提高了redis集群的故障轉移效率。
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
本文主要介紹了Docker搭建Skywalking的實現(xiàn)示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2025-02-02
Docker 是一個開源的應用容器引擎，基于 Go 語言 并遵從Apache2.0協(xié)議開源。本文給大家分享機器學習的基礎知識，docker搭建lnmp環(huán)境的步驟，感興趣的朋友一起看看吧2021-06-06
Docker打包SpringBoot鏡像的實現(xiàn)方式
docker打包springboot鏡像,并不是簡單的將springboot項目的jar包上傳容器里,然后啟動,這個操作很簡單,但是如果我每次要查看容器中的日志就需要每次都進入容器內部進行查看,這就非常麻煩了,所以本文介紹了Docker打包SpringBoot鏡像的實現(xiàn)方式,需要的朋友可以參考下2024-03-03
Docker中Compose與Kubernetes的區(qū)別詳解
這篇文章主要給大家介紹了關于Docker中Compose與Kubernetes區(qū)別的相關資料,Docker Compose和Kubernetes(簡稱k8s)都是容器編排工具,需要的朋友可以參考下2023-08-08
最近在學習docker的時候遇到了不少問題,索性給大家整理下,下面這篇文章主要給大家介紹了關于docker各種報錯解決的相關資料,文中介紹的非常詳細,需要的朋友可以參考下2023-05-05
docker環(huán)境下分布式運行jmeter的教程詳解
這篇文章主要介紹了docker環(huán)境下分布式運行jmeter的教程，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-10-10
這篇文章主要為大家介紹了繼docker之后的podman云原生容器技術崛起的詳細介紹，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步2022-03-03
這篇文章主要為大家介紹了mac使用podman替代docker使用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-07-07
docker實踐之docker-compose部署mysql方式
這篇文章主要介紹了docker實踐之docker-compose部署mysql方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
這篇文章主要介紹了docker安裝kong網(wǎng)關的方法示例，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-05-05