編程學習網(wǎng) > PHP技術 > php高級 > Zookeeper的PHP實踐
2020
09-27

Zookeeper的PHP實踐

attachments-2020-09-pHaMt11y5f6fe1ad1106a.png


Apache Zookeeper是我最近遇到的最酷的技術,我是在研究Solr Cloud功能的時候發(fā)現(xiàn)的。Solr的分布式計算讓我印象深刻。你只要開啟一個新的實例就能自動在Solr Cloud中找到。它會將自己分派到某個分片中,并確定出自己是一個Leader(源)還是一個副本。不一會兒,你就可以在你的那些服務器上查詢到了。即便某些服務器宕機了也可以繼續(xù)工作。非常動態(tài)、聰明、酷。

將運行多個應用程序作為一個邏輯程序并不是什么新玩意。事實上,我在幾年前就已寫過類似的軟件。這種架構比較讓人迷惑,使用起來也費勁。為此Apache Zookeeper提供了一套工具用于管理這種軟件。

為什么叫Zoo?“因為要協(xié)調的分布式系統(tǒng)是一個動物園”。

在本篇文章中,我將說明如何使用PHP安裝和集成Apache ZooKeeper。我們將通過service來協(xié)調各個獨立的PHP腳本,并讓它們同意某個成為Leader(所以稱作Leader選舉)。當Leader退出(或崩潰)時,worker可檢測到并再選出新的leader。

ZooKeeper是一個中性化的Service,用于管理配置信息、命名、提供分布式同步,還能組合Service。所有這些種類的Service都會在分布式應用程序中使用到。每次編寫這些Service都會涉及大量的修bug和競爭情況。正因為這種編寫這些Service有一定難度,所以通常都會忽視它們,這就使得在應用程序有變化時變得難以管理應用程序。即使處理得當,實現(xiàn)這些服務的不同方法也會使得部署應用程序變得難以管理。

雖然ZooKeeper是一個Java應用程序,但C也可以使用。這里就有個PHP的擴展,由Andrei Zmievski在2009創(chuàng)建并維護。你可以從PECL中下載,或從GitHub中直接獲取PHP-ZooKeeper。

要使用該擴展你首先要安裝ZooKeeper。可以從官方網(wǎng)站下載。

$ tar zxfv zookeeper-3.4.8.tar.gz
$ cd zookeeper-3.4.8/src/c
$ ./configure --prefix=/usr/ $ make
$ sudo make install

這樣就會安裝ZooKeeper的庫和頭文件。現(xiàn)在準備編譯PHP擴展。

$ cd $ git clone https://github.com/andreiz/php-zookeeper.git $ cd php-zookeeper $ phpize $ ./configure $ make $ sudo make install

將“zookeeper.so”添加到PHP配置中。

vim /etc/php5/cli/conf.d/20-zookeeper.ini

因為我不需要運行在web服務環(huán)境下,所以這里我只編輯了CLI的配置。將下面的行復制到ini文件中。

extension=zookeeper.so

使用如下命令來確定擴展是否已起作用。

$ php -m | grep zookeeper
zookeeper

現(xiàn)在是時候運行ZooKeeper了。目前唯一還沒有做的是配置。創(chuàng)建一個用于存放所有service數(shù)據(jù)的目錄。

$ mkdir /home/you-account/zoo $ cd $ cd zookeeper-3.4.5/ $ cp conf/zoo_sample.cfg conf/zoo.cfg $ vim conf/zoo.cfg

找到名為“dataDir”的屬性,將其指向“/home/you-account/zoo”目錄。

$ bin/zkServer.sh start $ bin/zkCli.sh -server 127.0.0.1:2181 [zk: 127.0.0.1:2181(CONNECTED) 14] create /test 1 Created /test [zk: 127.0.0.1:2181(CONNECTED) 19] ls / [test, zookeeper]

此時,你已成功連到了ZooKeeper,并創(chuàng)建了一個名為“/test”的znode(稍后我們會用到)。ZooKeeper以樹形結構保存數(shù)據(jù)。這很類似于文件系統(tǒng),但“文件夾”(譯者注:這里指非最底層的節(jié)點)又和文件很像。znode是ZooKeeper保存的實體。Node(節(jié)點)的說法很容易被混淆,所以為了避免混淆這里使用了znode。

因為我們稍后還會使用,所以這里我們讓客戶端保持連接狀態(tài)。開啟一個新窗口,并創(chuàng)建一個zookeeperdemo1.php文件。

<?php class ZookeeperDemo extends Zookeeper { public function watcher( $i, $type, $key ) { echo "Insider Watchern"; // Watcher gets consumed so we need to set a new one $this->get( '/test', array($this, 'watcher' ) );
 }
 
}
 
$zoo = new ZookeeperDemo('127.0.0.1:2181');
$zoo->get( '/test', array($zoo, 'watcher' ) ); while( true ) { echo '.';
 sleep(2);
}

現(xiàn)在運行該腳本:

$ php zookeeperdemo1.php

此處應該會每隔2秒產生一個點。現(xiàn)在切換到ZooKeeper客戶端,并更新“/test”值。

[zk: 127.0.0.1:2181(CONNECTED) 20] set /test foo

這樣就會靜默觸發(fā)PHP腳本中的“Insider Watcher”消息。怎么會這樣的?

ZooKeeper提供了可以綁定在znode的監(jiān)視器。如果監(jiān)視器發(fā)現(xiàn)znode發(fā)生變化,該service會立即通知所有相關的客戶端。這就是PHP腳本如何知道變化的。Zookeeper::get方法的第二個參數(shù)是回調函數(shù)。當觸發(fā)事件時,監(jiān)視器會被消費掉,所以我們需要在回調函數(shù)中再次設置監(jiān)視器。

現(xiàn)在你可以準備創(chuàng)建分布式應用程序了。其中的挑戰(zhàn)是讓這些獨立的程序決定哪個(是leader)協(xié)調它們的工作,以及哪些(是worker)需要執(zhí)行。這個處理過程叫做leader選舉,在ZooKeeper Recipes and Solutions你能看到相關的實現(xiàn)方法。

這里簡單來說就是,每個處理(或服務器)緊盯著相鄰的那個處理(或服務器)。如果一個已被監(jiān)視的處理(也即Leader)退出或者崩潰了,監(jiān)視程序就會查找其相鄰(此時最老)的那個處理作為Leader。

在真實的應用程序中,leader會給worker分配任務、監(jiān)控進程和保存結果。這里為了簡化,我跳過了這些部分。

創(chuàng)建一個新的PHP文件,命名為worker.php:

<?php class Worker extends Zookeeper { const CONTAINER = '/cluster'; protected $acl = array( array( 'perms' => Zookeeper::PERM_ALL, 'scheme' => 'world', 'id' => 'anyone' ) ); private $isLeader = false; private $znode; public function __construct( $host = '', $watcher_cb = null, $recv_timeout = 10000 ) { parent::__construct( $host, $watcher_cb, $recv_timeout );
 } public function register() { if( ! $this->exists( self::CONTAINER ) ) { $this->create( self::CONTAINER, null, $this->acl );
 } $this->znode = $this->create( self::CONTAINER . '/w-', null, $this->acl,
 Zookeeper::<span id="0KSFindDIV">EPHEMER</span>AL | Zookeeper::SEQUENCE ); $this->znode = str_replace( self::CONTAINER .'/', '', $this->znode );
 
 printf( "I'm registred as: %sn", $this->znode );
 
 $watching = $this->watchPrevious(); if( $watching == $this->znode ) {
 printf( "Nobody here, I'm the leadern" ); $this->setLeader( true );
 } else {
 printf( "I'm watching %sn", $watching );
 }
 } public function watchPrevious() {
 $workers = $this->getChildren( self::CONTAINER );
 sort( $workers );
 $size = sizeof( $workers ); for( $i = 0 ; $i < $size ; $i++ ) { if( $this->znode == $workers[ $i ] ) { if( $i > 0 ) { $this->get( self::CONTAINER . '/' . $workers[ $i - 1 ], array( $this, 'watchNode' ) ); return $workers[ $i - 1 ];
 } return $workers[ $i ];
 }
 } throw new Exception(  sprintf( "Something went very wrong! I can't find myself: %s/%s", self::CONTAINER, $this->znode ) );
 } public function watchNode( $i, $type, $name ) {
 $watching = $this->watchPrevious(); if( $watching == $this->znode ) {
 printf( "I'm the new leader!n" ); $this->setLeader( true );
 } else {
 printf( "Now I'm watching %sn", $watching );
 }
 } public function isLeader() { return $this->isLeader;
 } public function setLeader($flag) { $this->isLeader = $flag;
 } public function run() { $this->register(); while( true ) { if( $this->isLeader() ) { $this->doLeaderJob();
 } else { $this->doWorkerJob();
 }
 
 sleep( 2 );
 }
 } public function doLeaderJob() { echo "Leadingn";
 } public function doWorkerJob() { echo "Workingn";
 }
 
}
 
$worker = new Worker( '127.0.0.1:2181' );
$worker->run(); 

打開至少3個終端,在每個終端中運行以下腳本:

# term1 $ php worker.php
I'm registred as: w-0000000001
Nobody here, I'm the leader
Leading # term2 $ php worker.php
I'm registred as: w-0000000002
I'm watching w-0000000001 Working # term3 $ php worker.php
I'm registred as: w-0000000003
I'm watching w-0000000002 Working

現(xiàn)在模擬Leader崩潰的情形。使用Ctrl+c或其他方法退出第一個腳本。剛開始不會有任何變化,worker可以繼續(xù)工作。后來,ZooKeeper會發(fā)現(xiàn)超時,并選舉出新的leader。

雖然這些腳本很容易理解,但是還是有必要對已使用的Zookeeper標志作注釋:

$this->znode = $this->create( self::CONTAINER . '/w-', null, $this->acl,
 Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );

每個znode都是EPHEMERAL和SEQUENCE的。

EPHEMRAL代表當客戶端失去連接時移除該znode。這就是為何PHP腳本會知道超時。SEQUENCE代表在每個znode名稱后添加順序標識。我們通過這些唯一標識來標記worker。

在PHP部分還有些問題要注意。該擴展目前還是beta版,如果使用不當很容易發(fā)生segmentation fault。比如,不能傳入普通函數(shù)作為回調函數(shù),傳入的必須為方法。我希望更多PHP社區(qū)的同仁可以看到Apache ZooKeeper的好,同時該擴展也會獲得更多的支持。

ZooKeeper是一個強大的軟件,擁有簡潔和簡單的API。由于文檔和示例都做的很好,任何人都可以很容易的編寫分布式軟件。讓我們開始吧,這會很有趣的。


掃碼二維碼 獲取免費視頻學習資料

Python編程學習

查 看2022高級編程視頻教程免費獲取