剛開始學習處理生物醫(yī)療健康數據的時候,作為初學者可能需要經歷了很長一段在電腦前瘋狂撓頭的日子,翻論壇、翻博客、找經驗貼試圖在龐大的互聯網上查找自己搞不懂的問題。
捉到一個相關文檔,瞬間如獲至寶。
然而,參照的時候你可能會被各種不知名bug提示搞得再次焦頭爛額。而且東一榔頭西一棒子,很難找到成體系,完整集成的軟件流程。
因為不同的文章或者不同領域采用的是軟件、配置、流程組合可能都有差別。
每每學習其他人分析流程中的軟件以及軟件下載時候需要的參數配置,以及跑流程中出現各種不兼容報錯讓人無限的崩潰再崩潰。經驗貼以及科研文章中的內容很難完美的運行下來。問題→學習→更多問題... 本來的一個問題可能伴隨著無數新的問題出現。
當你已經開始入門的時候,你也許也會遇到另外的問題:部門或科室的一個項目中分批量的多次實驗分析或者甚至是多個項目中的類似處理,你可能需要手動一個個進行處理,而這個時候如果你有一個準備好的“SOP”,一個標準工作流程,那是立馬起飛,火速下班或者不再數次的一步步機械無腦煩躁的流水線工作啦。?
WHAT
那有沒有一種軟件、或者流程,只需要我把我的文件數據輸入進去,然后鼠標咔一下,就把數據分析結果給我出來了,然后我就可以去寫文章了?(夢里啥都有好吧)
不過我們可以嘗試盡量讓數據分析順暢絲滑!
一句話,咱們就是想簡單點 簡單點 就簡單點 :分析簡單點、分享簡單點、重現重用簡單點。
我們可以嘗試把生物信息分析流程化標準化,做一個pipeline做成SOP,值得嘗試。
讓它幫我自動化(拯救我的雙十一后斷掉的手),也可以批量化,不管是一個分析的十個步驟,還是無數樣本的相同處理,都不在話下!
理想狀態(tài)下,我們可以把我們的工作一個步驟或者環(huán)節(jié)按照特定的規(guī)則寫成工作流/流程/SOP,所有過程串聯起來形成完整的通路,來達到從數據輸入到最終需要的分析結果的全流程,并且這個全流程是計算機可以理解的形式,最最后,這個流程還可以移植轉移給別人還不會發(fā)生變化(bug...容易重復結果)。
咳咳,我們馬上進入正題哈。這里給大家介紹一個新工具CWL(Common Workflow Language)。
工作流(Workflow),就是“任務過程的部分或整體在計算機應用環(huán)境下的自動化”,它主要解決的是“使在多個參與者之間按照某種預定義的規(guī)則傳遞文檔、信息或任務的過程自動進行,從而實現某個預期的業(yè)務目標,或者促使此目標的實現”。
通俗的說,流程就是多個人在一起合作完成某件事情的步驟,把步驟變成計算機能理解的形式就是工作流。
工作流要解決的主要問題是:為實現某個任務目標,在多個參與者之間,利用計算機,按某種預定規(guī)則自動傳遞文檔、信息或者任務。
相比于shell ,在生物醫(yī)療等數據密集型和復雜性應用場景下,它可以很好的處理算法依賴。流程輸入輸出,腳本共享的門檻,重現性較好等問題哦。用CWL來創(chuàng)建自己的工具和流程,有優(yōu)越的拓展性和規(guī)范性。
針對上述的問題使用CWL是絕佳的選擇哦。
HOW?
CWL這個工具可以幫助你構建明確又獨立的分析流程,也可以測試、部署、優(yōu)化你的流程。
并且靈活、可移植和可擴展:用CWL描述的工具和工作流不僅可以利用Docker等技術,還可以與不同來源的CWL實現一起使用。CWL非常適用于描述集群、云和高性能計算環(huán)境中的大規(guī)模工作流,這些環(huán)境中的任務是在許多節(jié)點上并行調度的。
啊,叨叨了這么多CWL的好處,那么怎么上手呢?
為了讓大家無痛學習,無痛使用,省心省力省事。
對啊,我們的口號是:簡單點,簡單點,還是簡單點。
我們翻譯并托管維護了全網首份CWL中文教程(??點擊文章末尾原文鏈接查看)!里面從簡單到復雜介紹了關于CWL的語法和寫作說明應有盡有,幫助大家快速入門和實踐(如果沒有就聯系我們吧,進群或者去六點了官網反饋喲)。非常貼心了~
從入門到應用的一條龍中文教程快穩(wěn)準狠幫助你快速實踐CWL。
MORE
大家可以使用提供的CWL標準流程,也歡迎大家創(chuàng)建自己的工作流程,
更歡迎大家分享出自己的CWL流程,大家共同學習,共同進步。
如果有問題和疑惑,大家可以一起探討。
這里給大家可以去網頁版提問。
一起來玩兒啊~
參考資料:
1、CWL官網:https://www.commonwl.org/
2、CWL 中文教程https://docs.sixoclock.net/dev_guide/CWL/introduction.html#簡介
3、基因學院:其實,我也啥都不想做?https://mp.weixin.qq.com/s/voZZR9R7oNGd6JsyfhJUxg
4、生信技能樹:生信分析流程構建的幾大流派?https://mp.weixin.qq.com/s/SaU3mMg8XPu6Rj-xDCAOJQ
5、工作流基本介紹.https://blog.csdn.net/lxxiang1/article/details/82229772