?
快捷搜索:  as  test  1111  test aNd 8=8  test++aNd+8=8  as++aNd+8=8  as aNd 8=8

皇馬國際app:Linux操作系統高性能集群監控管理之道

?

監控是集群治理的核心義務。監控數據可用于調整義務、負載平衡、向治理員申報軟硬件故障,并廣泛地節制系統應用環境。監控信息必須在不影響集群機能的環境下得到。本文將評論爭論應用/proc文件系統和Java來得到監控數據的措施。

Java在Linux集群中的利用

Java技巧為集群治理開拓者供給了許多辦理問題的法子。Java是動態、機動、可移植的,這些不平常的特性使得它成為了在異構收集及平臺上構造集群治理的抱負根基。

Java具有廣泛的例程庫,很輕易處置懲罰IP協議,如TCP、UDP,并可在multi-homed主機長進行收集法度榜樣設計,用它創建收集連接比用C或C++更輕易。經由過程Java本地接口(JNI),運行在Java 虛擬機(JVM)內的Java代碼能夠與用其它說話編寫的利用及庫文件互相操作并匯編。

在構造集群監控和治理時,Java早已是一個可選的說話。然而,Java說話平日只被用于系統的前端或集群主機部分,而將用C 說話編寫的守護進程安裝在集群結點上。只管Java法度榜樣設計說話供給了許多優點,然則,對付高機能集群監控,Java能夠有效地調換運行在每個結點上的C 說話守護進程嗎?這將是本文評論爭論的重點。

高機能監控

監控Linux集群對象傳統上以秒為丈量頻率來供給有限量的數據。而高機能集群監控被定義為“皇馬國際app以intrasecond為丈量頻率,從結點有效地采集數據的能力”。當涉及較大年夜集群時,監控軟件的低效率問題就變得加倍嚴重,這是由于所運行的利用軟件必須相互和諧或共享全局資本。

在一個結點上的阻隔沖突(Interference)能影響其它結點上功課的運行。例如,一個MPI感化必要與所有介入的結點同步。一種辦理法子是網絡少量的數據,并以小頻率傳輸。然而,假如是高機能監控,這種辦理法子是弗成吸收的,由于有較厚使用率的集群應該被頻繁持續地監控。本地功課調整器必須能夠基于資本應用環境做快速決策。治理員常常盼望收到緊急事故的急速看護,并盼望察看到歷史趨勢數據,假如集群不能被頻繁持續地監控,那么這些要求是弗成能實現的。是以,必須采取一些步伐,如應用更有效的算法、增添傳輸的并行性、前進傳輸協議及數據款式的效率、削減冗余等。

在跟蹤運行中的資本應用環境時,壓縮P皇馬國際approfiling利用有助于調試法度榜樣或優化法度榜樣。對一個給定的利用而言,像存儲器、收集、CPU這樣動態資本的應用可能快速地改變著,為了能夠察看利用是如何應用這些資本的,一種可能的法子是應用高頻率的監控。

即應用戶對高頻率監控沒有興趣,假如算法是有效的,不管監控頻率是若干,它也將破費很少的資本。在異構集群中這種效率將更緊張,用戶的功課可以被分散到較快的及較慢的結點上,慢的結點必要整個CPU來跟上較快的結點并與之同步。一個監控法度榜樣花費在較慢結點上的CPU光陰是功課的關鍵路徑。

監控階段

集群監控主要耗損CPU周期與收集帶寬這兩個緊張資本。然而,資本破費問題與這兩個資本是根本不合的。CPU使用問題對結點而言是完全本地化的問題,可經由過程創建有效的網絡與合并算法來辦理。收集帶寬是共享資本,是規模問題,可以經由過程最小化收集上傳輸的數據量來辦理。

為了辦理這兩個問題,我們將集群監控分為三個階段:網絡、合并、傳輸。網絡階段認真從操作系統裝載數據、闡發數據值,并存儲數據。合并階段認真將來自多個數據源的數據合在一路,抉擇命據值是否改變并過濾它們。傳輸階段認真壓縮并傳輸數據。本文集中評論爭論Linux集群監控的網絡階段。

1.網絡階段

Linux有幾種措施來進行體體系計,每種措施都各有其優毛病。

◆ 應用現有的對象

標準及非標準對象能履行一個或多個網絡、合并及傳輸階段,如rstatd或SNMP對象,然而標準的rstat后臺法度榜樣供給的信息是有限的,速率慢而且效率低。

◆ 內核模塊

幾個系統監控工程使用內核模塊來存取監控數據。一樣平常環境下,這是很有效的網絡系統數據的措施。然而這種措施存在的問題是,當主內核源內有其它改變時,必須維持代碼同等性。一個內核模塊可能與用戶想應用的其它內核模塊相沖突。此外,在應用監控系統之前,用戶必須得到或申請模塊。

◆ /proc虛擬文件系統

/proc 虛擬文件系統是一個較快的、高效率履行系統監控的措施。應用/proc的主要毛病是必須維持代碼闡發與/proc 文件款式改變的同步。事實注解,Linux內核的改變比/proc 文件款式的改變要更頻繁,以是,用/proc虛擬文件系統比用內核模塊存在的問題要少。

◆ 混雜系統

某些監控系統采納混雜要領,用內核模塊網絡數據,用/proc虛擬文件系統作為數據接口。

2.合并階段

合并階段的實現可以在結點上、集群治理的主機上,或者散播在兩者上。斟酌到效率,我們只采納在結點上的合并。緣故原由在于結點是監控數據的網絡器與供給者。兩個或多個同時的數據哀求不會引起兩次操皇馬國際app作系統調用來網絡數據,而是將第一次哀求得到的數據緩存,并可以供給給第二次哀求調用。這種措施削減了操作系統的包袱,前進了監控系統的相應性。合并階段也可以用于將多個數據源的數據以互相自力的網絡速度結合,由于并不是所有的數據都以同樣的速率改變,或者必要以同樣的速度網絡。

應用在結點層上合并的另一個緣故原由是,削減了包括傳輸在內的信息量。許多/proc文件既包孕動態數據也包孕靜態數據。刪除近來一次傳輸后沒有改變的值皇馬國際app,一個結點發送的數據量可以大年夜大年夜地削減。合并不僅撤除了不常常改變的動態值的傳輸,也辦理了從不改變的靜態值的傳輸。

3.傳輸階段

監控數據險些老是按一個層次布局組織起來。傳輸階段的義務便是將層次數據進行有效的編碼,形成一皇馬國際app種能高效傳輸的數據款式。Java擁有的文件款式是存儲層次數據的有效措施,并且用供給的Java APIs很輕易完成。S-Expressions已經被覺得是傳輸這種數據的另一個有效的措施。

關于傳輸監控數據普遍評論爭論的問題是,數據應該按二進制編碼照樣按文本款式編碼。二進制數據更輕易壓縮,是以也能更有效地傳輸。然則,當采納/proc文件系統時,監控數據平日以人們易讀的款式存儲。在傳輸之前,將數據轉換為二進制款式將必要更多的處置懲罰資本與光陰。以文本款式保留網絡的數據,結點資本能被用于更多非監控性的相關事情。

采納文本款式的數據將供給如下額外的益處:

◆ 平臺自力性

當監控異構集群時,機械之間數據字節指令的設置設置設備擺設擺設不是永世相同的。文本款式的應用在代碼方面辦理了這個問題,而且體系布局自力不會影響更多的處置懲罰需求。

◆ 易讀的款式

文本數據能以人們易讀的款式進行組織。假如必要的話,這種特機能輕易地進行法度榜樣調試或容許用戶不雅看數據流。

◆ 有效壓縮

數值數據的文本表示由來自10個字節集中的字符組成,而不是二進制下的256個字節集。它們孕育發生的數字及模式的相對頻率容許有效地應用基于壓縮算法的字典及熵(勻稱信息量)。

免責聲明:以上內容源自網絡,版權歸原作者所有,如有侵犯您的原創版權請告知,我們將盡快刪除相關內容。

您可能還會對下面的文章感興趣:

快三平台开户