@565c25972d57 理論上是的，分步只是為了跑自己想跑的命令
生信log6細菌全基因組建樹|基于GTDB-KT抽單拷貝蛋白序列-iqtree2 && fasttree建樹前言 最近在跑一個很大的數(shù)據(jù)集，大概有3500條以上的基因序列，因為數(shù)量太大，跑樹有點搞不定，特此來記錄一下這個過程 超過3000個基因組iqtree直接跑斷直接跑了iqtr...
IP屬地：廣東
-
-
生信log48|如何在MacOS中安裝和運行Singularity鏡像啊，因為網(wǎng)絡問題無法在服務器中直接用Singularity拉取鏡像了，因此在本地電腦中拉取。由于系統(tǒng)是MacOS, Singularity官方并沒有提供Mac系統(tǒng)的安裝包而是...
-
生信log47|Trim Galore的singularity鏡像用法和構建思路-附我的AI鏡像構建助手
最近重新深入生信分析的學習，重新看一下轉(zhuǎn)錄組還有其他分析方法看新工具和新思路。這篇日志記錄Trim Galore的Singularity鏡像用法（目前沒有singularit...
-
生信log46|如何尋找生信項目練手
經(jīng)常有人問怎么找項目練手，只能說把眼睛打開，學會搜索處處都是修煉場。 在校學生可聯(lián)系有生信分析需求的老師和實驗室人員了； 自己復現(xiàn)領域經(jīng)典文獻里面的內(nèi)容（數(shù)據(jù)處理和圖表，選擇...
-
生信log45|基因組數(shù)據(jù)注釋到底是怎么回事?
生信log|基因組數(shù)據(jù)注釋到底是怎么回事? 在一開始做生信分析的時候，我對下游的分析其實不太了解，當時頻繁接觸到的概念叫“注釋”，注釋后就可獲得關鍵基因相關的一些數(shù)據(jù)。后來深...
-
生信log44|生信就是跑流程嗎？
在求學階段，經(jīng)常聽到老師或者沒有做生信的同學說生信就是跑流程的，一些大佬也有發(fā)文自嘲和解釋過生信不是跑流程。我自己在剛上手生信分析時，對這個說法強烈反對，參加工作或者說上手多...
-
生信log43-聊聊生信就業(yè)前置技能-便利工具和延伸教程總結生信log-不學就虧了，聊聊生信就業(yè)前置技能-便利工具和延伸教程總結 強烈大家去《MIT計算機教育中缺失的一課》， 雖說這個是計算機的課程，但是生物信息不就是一門需要寫代碼的...
-
生信log42|生信數(shù)據(jù)太多怎么辦--聊聊數(shù)據(jù)存放的策略
基因組數(shù)據(jù)的數(shù)據(jù)量一般來說都不小，一個細菌基因組測序clean data的壓縮文件都能去到1個G，更別說其他非原核的物種了。實驗室的數(shù)據(jù)是不能隨便刪除的，更別說公司甚至是公共...
-
生信log41|pdf拆頁小工具-python
因為業(yè)務需求，做了一個按頁數(shù)拆分pdf的小工具，本質(zhì)還是服務于數(shù)據(jù)分析的模塊 0. 思路 按指定頁數(shù)進行拆分 處理的包：PyPDF2, click 環(huán)境：python >= ...
-
學習log5|pytorch常用模塊記錄--附示例代碼
目前網(wǎng)絡上有非常完備的訓練框架，如抱臉蟲的transformers、達摩的modelscope,swift框架，使得模型的調(diào)用和訓練過程都非常的直觀。上述的框架都沒有離開主流...
-
學習log4|神經(jīng)網(wǎng)絡預測的基本流程--附pytorch代碼和基礎概念大白話解釋
此前在疫情期間學習了AI的經(jīng)典算法理論，但一直沒有機會實戰(zhàn)敲敲代碼，總感覺有遺憾，現(xiàn)在抓緊時間實戰(zhàn)一下！下面的筆記其實就是的pytorch官方學習代碼加上個人的理解，代碼已經(jīng)...
-
學習log3|stable-diffusion擴散模型此處選擇趨動云啟動擴散模型，學習手冊參考Datawhale的設置，我不是藝術從業(yè)者所以對畫圖這一塊一直沒太關注，但是身邊有學這個的朋友決定來學習一下。 0、部署 采取的是網(wǎng)頁...
-
學習log2|llm學習之Modelscope-Swift訓練框架--少代碼代碼完成訓練！接著modelscope的學習，今天依靠Swift跑通了訓練的部分，modelscope平臺出了一個Swift框架可以讓小白，愛好者非AI專業(yè)人士無痛訓練大模型，僅需少量代碼...
-
學習log1|llm學習筆記-modelscope框架常用組件
最近終于有時間看大模型相關的教程，由于huggingface國內(nèi)訪問受阻，因此探索了一下阿里的modelscope，并記錄常用的組件和模塊供以后學習工作復查。 0、準備篇 看...
-
生信log40|只有GRCh37或GRCh38的人基因組數(shù)據(jù)怎么辦-CrossMap幫你忙（以轉(zhuǎn)換ExAC數(shù)據(jù)為例）最近在查看一些數(shù)據(jù)集，發(fā)現(xiàn)有些非常老的數(shù)據(jù)庫里面只有GRCh37的數(shù)據(jù)，一些經(jīng)常更新的數(shù)據(jù)庫里面只有GRCh38的數(shù)據(jù)，如果恰好手頭上有兩個版本的基因組數(shù)據(jù)可就非常頭疼了。為...
-
生信log39|使用sqlite構建臨時數(shù)據(jù)庫-附方法和使用sql&python
最近的任務需要做一個工具，這個工具會定期查詢文件或者數(shù)據(jù)庫，原本打算從日志中提取，但日志中太多其他標準輸出的內(nèi)容了，提取信息可能很困難，也很容易導致錯誤，因此考慮了sqlit...
-
利用 bioconda 管理生物信息軟件1 了解 conda，anaconda，miniconda，bioconda 1.1 conda conda是一個軟件模塊管理工具，也是一個可執(zhí)行命令，其核心功能是包管理與環(huán)...
-
生信log38|拿到的數(shù)據(jù)就是想要的數(shù)據(jù)嗎？-數(shù)據(jù)校驗最近需要下載和傳輸?shù)臄?shù)據(jù)，還有傳輸數(shù)據(jù)，過程中涉及到好多驗證的問題，因此小記這一篇，關于驗證的原理有機會再探討，本log不作贅述。 為什么需要校驗數(shù)據(jù)及導致數(shù)據(jù)不一致的原因是...
-
生信log37|如何在HPC計算節(jié)點上獲取進程資源消耗的信息及合理分配資源-深挖nextflow資源統(tǒng)計bash腳本知識點2有使用超算或者服務器的同學應該會接觸過超算投遞系統(tǒng)，在提交生信任務時，我們需要設置好資源，比如說cpu用多少，內(nèi)存給多少。學生時代的我是有多大內(nèi)存提供就設多大內(nèi)存，有多少CP...
-
生信log36|如何處理超大的文件：以處理VCF文件為例附python解決方法和策略以前自學機器學習的時候經(jīng)常遇到一些，10幾個G甚至更大的數(shù)據(jù)集，自己的電腦的存儲不太夠，就沒有做那些數(shù)據(jù)集了。直到最近因分析需求需要清洗100G+的數(shù)據(jù)，才真正接觸到真正意義...