ECS GeoDrive 基本操作與設定
好了,我們開始設定GeoDrive吧?功能很多,代表設定也很多,看你的需求再決定要設定到那邊囉。
首先我們先設定Host也就是ECS資訊,點選Hosts

點選新增 add

還記得之前做的ECS Community Edition嗎?我們來回想一下喔。
點開畫面左邊的Manage,在點選Users,右邊就是預設的兩個帳號,接者點選object_admin1右邊的Edit
在右邊的S3 / Atmos的下方,把Show Secret Key打勾就可以看到Secret Key了,紀錄一下,等等會用到喔

好了,來設定吧:
Server Type:選ECS
Server Name: 填上ECS名稱 (我的習慣後面加IP)
User ID: 填上Object User Name
Secret Access Key:填上剛剛顯示出來的key
Use https or http:我們POC就簡單的使用http來存取吧,預設port:http=9020、https=9021,這兩個port號記起來,有些S3 軟體會需要手動輸入喔
正式使用,或是ECS會聯到外網 的話,建議把https設定起來喔,需要一台憑證Server來認證
Host name/IP: 填上我們設定的ECS IP吧
最後按Add

再來按Test,確認連線沒有問題


再來,我們繼續設定GeoDrive本地磁碟吧

首先我們要決定同步模式還是存根模式
Mirror all content to the cloud. Maintain a local and cloud copy of all data.
同步模式:ECS上有的,本地端(Windows)都會有,也就是ECS有多少空間被使用,本地也要準備同樣的空間,適合以下場景:
1. 把ECS純粹當成備份使用
2. 需要效能,不介意多占用本地空間
3. 把Windows當成File Server,但又不確定有多少冷資料,或是沒有固定存取或固定部存取的資料,那麼全部都保留一份在本地,是確保效能最簡單的方法
Replace recently un-accessed file with a stub file that points to a full copy of the data in the cloud.
存根模式:
ECS上保留全部的資料,本地端一段時間不使用的檔案,就把該檔案刪除,留下一個存根檔(Stub),當使用者再次讀取該檔案(存根)的時候,再把資料從ECS上面撈下來(Restore),最後根據設定的規則,來決定何時又會回到存根模式,適合以下場景:
1. 資料量很大,但是異動量很低的資料
2. 不希望占用本地太多空間,可接受少用的檔案,變成存根後,第一次恢復讀取需要花較多的時間
3. 處理日誌檔或是影音類存檔,本地空間只提供快速寫入,但不做永久保留空間使用,減少本地空間需求
PS:存根檔大小取決於Local Cacahe本身存放的Windows磁碟的磁碟空間最小值
兩個模式到底哪個好呢?其實要看你的用法或需求,好在我們可以在ECS上建立很多個Bucket,也就是可以對應到很多個磁碟機代碼,那麼選好GeoDrive掛載的磁碟代碼後,就按下一步吧。

再來選要同步的ECS主機

再來選Bucket,如同剛剛說的,我們可以創建很多bucket來設定各自不同的用法

如果不選的話,可以建立新的bucket, 這時候可以設定Bucket Options,裡面可以設定資料上鎖 Retention:
Bucket can be accessed during a temporary outage
ECS多站點的場景,如果現在連的ECS失聯或是毀損,則自動存取其他ECS的Bucket,舉例台灣站點、美國站點一紐約、美國站點二加州,當使用者在台灣,正常存取台灣站點ECS,當台灣站點故障,則自動改存取美國站點一或美國站點二,預設是開啟的
Bucket-level Retention
資料上鎖,當資料上傳到ECS後,就自動上鎖,只能讀不能寫,除非超過指定的時間後,才恢復可讀寫的狀態,可搭配下面Synchronous uploaded以及Advanced裡面的關於資料上傳與資料夾的設定
---------------------------------------------------------------------
Synchronous Upload
創建Bucket的畫面,Synchronous Uploaded不打勾的話就是非同步模式
Advanced裡面可以設定:
Delay after file is closed before uploading to the cloud
(Modify Wait Time)
非同步模式下,檔案寫入到GeoDrive後,隔多久才上傳到ECS時間
Create Folder Delay. Used with Bucket retention.
這個選項是跟者Bucket Retention(資料上鎖技術)使用的,當啟用"即時的"Bucket Retention後,資料上傳到ECS就會鎖住,也就沒辦法再改名或是修改權限了,所以可以設定一個緩衝時間,當資料夾建立在GeoDrive後,過一段時間再上鎖,保留修改權限的時間
---------------------------------------------------------------------
File System Access Enabled
節錄一下ECS Version 3.3 Data Access Guide說明:
-------------------------------------------
Swift buckets can also be file system (FS) enabled so that files written using the Swift
protocol can be read using file protocols, such as NFS and HDFS, and vice-versa.
-------------------------------------------
這個我們後面有機會講到NFS,HDFS跟Swift的時候再來說明
再來,我們繼續針對需要注意的選項作說明:
Write all files and folders to cloud in low case
windows 預設是不分檔案名稱大小寫,就維持打勾,提高檔案傳輸速率
注:windows 10 1803的更新後,支持手動開啟區分資料夾大小寫功能,開啟該功能後,請記得把打勾取消

Synchronous Upload
檔案是否要同步上傳,也就是說,檔案編輯完,關閉檔案寫入到GeoDrive,或是從別的資料夾複製到GeoDrive,就馬上傳到ECS,要等上傳到完畢,檔案才算寫入完畢,預設是不打勾,也就是非同步模式,檔案寫入到GeoDrive後,一分鐘後上傳ECS。

------------------------------------------------------------------------------------------------
Delay after file is closed before uploading to the cloud
(Modify Wait Time)
非同步模式下,檔案寫入到GeoDrive後,隔多久才上傳到ECS時間

-------------------------------------------------------------------------------------------
Read Only
簡單說就是只下載不能改也不上傳啦,適合放一些公司宣告的場景,舉例每個部門的公檔區裡面的宣告事項,再提醒一次,這邊選項都是針對Geodrive設定,也就是一整個磁碟機都會套用同樣的設定喔,如果有多種用途,請記得建立多個Bucket,對應到多個Geodrive
Translate ECS/Windows Permissions
是否要把Windows的ACL設定上傳,ECS本身不套用ACL,但是會把ACL的設定變成MetaData上傳,再次下載的時候,也會把透過MataData把ACL的值還原回來。


Local Cache
GeoDrive並不是真的變成一個 windows 磁碟機,而是模擬成一個 windows 磁碟機,真正的資料是放在 Local cache 指定的資料夾,請修改到你要暫存的資料夾或是磁碟機
Delay after file is closed before uploading to the cloud
(Modify Wait Time)
非同步模式下,檔案寫入到GeoDrive後,隔多久才上傳到ECS時間
How long to wait before replacing files with a stub after upload
(Access Wait Time Uploaded)
檔案上傳到ECS後,多久變成存根模式,預設是一天喔
How long to wait before replacing local files with a stub after restore
(Access Wait Time Restore)
檔案變成存根(stub)後, 再次讀取就會從ECS Restore,再來多久後再變成存根呢?就是在這邊設定時間呢
Access Wait Time if free disk space is below XX GB XX hours
Access Wait Time if free disk space is below XX GB XX Minutes
節錄一下GeoDrive User Guild說明:
-------------------------------------------
When disk space is low, speed up the stubbing process to avoid running out of disk space. Use these as example to set one or two levels of faster stubbing.
One option is to stub a file if it has not been accessed in two hours when disk space is below 50 GB.
Second option is to stub after one minute when disk space falls below 5 GB.
-----------------------------------------
也就是說,當磁碟快滿了,我們可以設定更激進的方式使用存根模式,預設值是,當磁碟空間剩下50GB,就把兩個小時沒存取的檔案變成存根,然後當磁碟空間只剩下5GB,就把1分鐘沒存取的都變成存根
有沒有覺得GeoDrive的存根模式非常貼心呢?後面還有呢。
Do not stub a file if its size is greater than
大檔案從存根模式Restore是需要時間的,這邊可以設定多大的檔案就不變成存根
How long to wait before checking the cloud for upload content
(Upload Wait Time)
這個選項很重要喔,因為預設是一天後才把ECS上的異動下載下來,也就是說,如果你的ECS的Bucket同時好幾個地方存取,那就必須把這個值調小,不然就會發生一天之內的檔案都不同步喔。
Maximum time to wait for a file to close before uploading to the cloud
(Open Wait Time)
節錄一下GeoDrive User Guild說明:
-------------------------------------------
Specifies the maximum time to wait for a file to close before GeoDrive uploads a copy of the file to the cloud. If the file does not close within this time period, a shadow copy is created of the volume and a copy of the file is made and uploaded to the cloud from the shadow copy. Once the file is closed, it waits the “Modify Wait Time” before uploading the final copy of the file to the cloud.
-------------------------------------------
這個選項有點像是自動存檔的概念,就是你開始編輯你的檔案,但是一直沒有編輯完,那GeoDrive就幫你定時上傳一份未修改完的檔案上去,預設是關閉的,避免多地使用的場景下資料誤用。
Create Folder Delay. Used with Bucket retention.
這個選項是跟者Bucket Retention(資料上鎖技術)使用的,當啟用"即時的"Bucket Retention後,資料上傳到ECS就會鎖住,也就沒辦法再改名或是修改權限了,所以可以設定一個緩衝時間,當資料夾建立在GeoDrive後,過一段時間再上鎖,保留修改權限的時間

複雜的Advanced講完了,有沒有都了解了呢?看的出來 GeoDrive 盡可能的提供選項給各種場景使用,覺得設定很多的同時,有沒有覺得很貼心呢?
再來講一下USN Journal,這是windows本身的功能,透過Journal的機制,當磁碟發生問題的時候,可以快速的參考Journal Log來決定要修復多少資料,我們只要確認USN Journal File 是Active就好了

好了,輕鬆的USN Journal 講完了,再來繼續講 Versioning,如果沒有這個需求的,可以跳過不設定,就按下一步囉

再來看是否要另外設定log檔位置,然後就完成啦。
再等一下下,Status變成Active,Connection變成Connected,就可以用你的GeoDrive囉。
設定文件的版本控管,適合需要保留版本的場景,舉例,某IC設計廠商發生工程師離職後就把設計的文件全部帶走,甚至很惡毒的把公司的公檔全部刪除,這時候就算把工程師告到做一輩子牢,可能也彌補不回資料損失的傷害,Version Control就可以很好的預防這一點,怎麼說呢?
打開版本控管後,每次存檔的文件都會有一個版本號,每個版本號都會保留下來,除非透過API或是S3相關軟體去刪除,使用者在刪除文件的時候其實只是刪除看到的文件,實際上帶版本號的文件是不會會刪除消失的。
這功能跟最開始建立的Bucket選項裡面的Retention不太一樣
一個是寫入後防修改 ,並且建立Bucket後就不能關掉Retention
一個是保留全部版本的數據
如果有跟歐洲公司合作的話,ECS 的設定是 GDPR 合規的喔!
打勾就開啟Version Control (Enable),也可以打開後暫停版本控管(Suspend)

選Add來新增Lifecycle Rules (生命週期管理)
請注意Lifecycle Rule真的會去保留檔案跟刪除檔案,請確認你要設定的規則是對

Rule ID
可以設定多個版本ID或名稱
Path(optional)
指定某個路徑下,才套用這個設定,也就是說,同一個Bucket (GeoDrive)下可以有不同的生命週期管理
Enabled
可打開或關閉Rule
Current Objects
設定最新的版本要保留幾天,或是幾月幾號以後的都不保留,這應用比較像是教育訓練中心的公檔區,或是暫存區,讓使用者可以上傳資料,但是只保留幾天,請注意日期是從晚上12點開始做計算的。
Non-Current Objects
設定舊版本要保留的天數,適合上面提到的IC設計場的場景,或是保留排班表、航班表等等
需要最近一段時間的資料,需要的時候可以拿舊版本出來比對或是稽核。
Abort Imcomplete Multipart Upload (days)
大檔案GeoDrive會自動切成多等分上傳,超過多少天還是傳不完就取消
Expired Object Delete Marker
不刪除檔案 (含帶版本號的檔案),只是打上刪除標籤,後續再用API刪除,預設啟用,比較安全,請注意,取消這項,檔案就會真正的刪除了,請確認Rule規則合理、正確。

啟用刪除
Path(optional)
指定某個路徑下,才套用這個設定
Filename Patten
針對檔名做篩選
Versions to Keep
設定保留版本數量

留言
張貼留言