Ohara Stream

A modern ,real-time ,distributed and easy-to-use streaming platform

Follow me on GitHub

OManager Overview

OManager是一個用於操作與管理Pipeline資料流及Ohara Stream叢集的服務,使用標準的Web技術開發,我們為使用者打造了一個容易上手的使用者介面(User interface, UI),由OManager實現該介面上的所有操作。OManager通過RESTful API與OConfigurator進行溝通,進而執行各種工作。

OManager的設計目標主要是減少大數據系統中經常需要複雜操作的痛苦,使用OManager,你可以建立自己的服務、Pipeline及使用串流數據的好處,而無需面對任何一行代碼。透過瀏覽器進入這個介面,我們可以快速的建立及操作Ohara Stream所提供的多種好用服務。

以下是OManager介面的快速導覽:

Pipelines

在Pipelines頁面可查看、建立、編輯和刪除要運行在Ohara Stream系統中的資料流管道。

Alt text

在編輯頁面,我們提供了圖示化看板幫助使用者視覺化觀察正在處理的Pipeline,同時也可在此頁面啟動或停止Pipeline。使用者可透過點擊圖形元件新增與編輯各種連接器的連線設定。在Pipeline graph中我們可以設計一條包含上千個節點的複雜資料流結構,同時交由Ohara Stream來負責環境佈建與運行管理,可以想見這對於大型專案開發有多大的幫助。

Alt text

Ohara Stream系統同時也允許個別啟用或停止連接器,這功能的設計目的是為了方便使用者需要更新Pipeline時可以隨時暫停其中的一段資料管線,更換完成後系統會自動從上次中斷的時間點開始繼續讓資料往下一個節點流動。

Alt text

Nodes

在Nodes頁面主要是用來新增與編輯Ohara Stream工作節點的地方,在Ohara Stream中啟用的各種服務都會運行在這些節點上,當服務啟用時可在此頁面同步查看節點上正在運行哪些服務。

Alt text

Workspaces

因應多使用者環境下資源分配與隔離的複雜性,我們設計了Workspace的概念,在Workspaces頁面可建立與編輯多個工作區域,每一個工作區內都會提供獨立的Ohara Stream服務環境,互相之間不會干擾,且資料完全隔離,我們甚至可以在同一台機器上運行多個工作區裡的服務,讓我們的機器硬體資源能夠得到妥善利用。

Alt text

Page of OVERVIEW

在OVERVIEW子頁面可快速查看目前這個工作區運行的服務以及部署資訊。

Alt text

Page of NODES

在NODES子頁面可選擇這個工作區的工作要運行在哪些節點,Ohara Stream會把對應的服務自動部署與啟動在所選的節點上。

Alt text

Page of TOPICS

在TOPICS子頁面可查詢、新建及刪除資料流過程中會經過的資料節點。

Alt text

Page of STREAM APPS

在STREAM APPS子頁面可查詢、新建及刪除開發好的各種流處理程式。

Alt text