Ohara Stream

A modern ,real-time ,distributed and easy-to-use streaming platform

Follow me on GitHub

Ohara Stream - QuickStart

在0.7版我們為一般使用者製作了一開箱即用的Ohara Stream quickstart ISO映像檔,該映像檔包裝了Ohara Stream平台所需要的基本元件,採用Kubernetes+Docker的完整安裝架構,包含Demo Pipeline及Workspace,以及本次展示中所使用的第三方服務,例如:MySQL、Postgresql及FTP,同時允許我們將整個Ohara Stream平台運行於單機模式。

Prerequisites

Step 0. 建立虛擬網卡

  • 請確保本機虛擬網卡IPv4位址為:192.167.56.1,IPv4網路遮罩為:255.255.255.0

Alt text

Step 1. 匯入QuickStart虛擬機

  • 匯入oharastream-quickstart-v0.7.0.ova檔案(匯入時請重新初始化網路卡的MAC位址)

  • 將虛擬機的第一張網路卡與虛擬網卡綁定

Alt text

  • 將虛擬機的第二張網路卡與外網綁定(使用橋接介面卡)

Alt text

  • 啟動並測試虛擬機

    • 登入虛擬機:

        帳號/密碼  ohara/ohara
      

Alt text

Step 2. 啟動 Ohara Stream

  • 請執行登入時提示的指令

    ./oharastream-v0.7.0/startup.sh 192.167.56.101

Alt text

  • Try it.

透過瀏覽器連結以下網址:http://192.167.56.101:5050,即可進入Ohara Stream平台開始試用功能

Alt text

Step 3. 新增Ohara Node

開始正式使用Ohara Stream前,最重要的就是先設定好系統實際要運行的工作節點,這樣Ohara Stream才有辦法幫我們自動做到各種服務部署及工作運行。

  • 切換到Nodes頁面,新增Ohara Node

    填入Node資訊:

      Node : ohara-demo
    
      Port : 22
    
      User : ohara
    
      Password : ohara
    
    • 測試連線後即可選擇Save新增。

Alt text

Alt text

Step 4. 新增Workspace

在Ohara Stream平台中所有的工作都會以workspace來進行區分,每個工作區都會擁有自己的Ohara Stream服務,包含Zookeeper、Kafka、Worker cluster及各種StreamApp,因此我們接下來需要建立一個新的workspace,並交由Ohara Stream來協助我們自動做所有底層服務的建置與設定。

  • 切換到Workspace頁面,新增Workspace

Alt text

  • 建立Workspace過程現在可透過進度條來查看系統建立的進度

Alt text

Alt text

  • 點選Action可進入Workspace-OVERVIEW頁面查看該Workspace中所有運行服務狀態與配置資訊

Alt text

  • 在TOPICS頁面添加資料流動過程中會經過的資料節點(Topic)

    • 分別新增t1及t2兩個topic

Alt text

Alt text

Step 5. 使用Pipeline

在Ohara Stream平台上我們提供使用者透過圖形化介面快速設計資料流的強大功能,只要點選元件、填入設定,剩下就交給Ohara Stream幫你完成。

  • 切換到Pipelines頁面,新增一條pipeline

Alt text

Alt text

  • 在Pipeline graph設計畫面,點選第一個圖示(Add a source connector)新增與MySQL介接的元件

Alt text

Alt text

  • 在Pipeline graph設計畫面,點選第二個圖示(Add a topic)新增資料流進來時暫存的中繼資料節點

Alt text

  • 在Pipeline graph設計畫面,點選第四個圖示(Add a sink connector)新增與FTP介接的元件

Alt text

Alt text

  • 幫MySQL元件填寫連線資訊

    MySQL連線資訊:

      jdbc url : jdbc:mysql://ohara-demo:3306/employees
    
      user name : testuser
    
      password : 123456
    
      table name : employees
    
      timestamp column name : update_time
    

Alt text

選擇要從寫資料到哪一個Topic : t1

Alt text

  • 幫FTP元件填寫連線資訊

    FTP連線資訊:

      output folder : ftp/output
    
      hostname of ftp server : ohara-demo
    
      port of ftp server : 21
    
      user of ftp server : ohara-ftp
    
      password of ftp server : oharastream
    

Alt text

選擇要從哪一個Topic接資料 : t1

Alt text

  • 最後只要點一下Start pipeline,Ohara Stream系統就會自動幫你把該啟用的服務、該做的設定都做好並開始運行pipeline

Alt text

  • 在運行的過程中,我們隨時都可以查看到當下資料流動的狀態

Alt text

Alt text

  • 在運行的過程中,點選Topic元件更提供了各種資料流經此處的各項統計值

Alt text