背景 部署了很多LLM模型，接口很多，特別是內(nèi)網(wǎng)硬件和模型經(jīng)常變化，有時候不得不改LLM的url，所以通過統(tǒng)一的入口方便維護配置。litellm proxy是一個非常輕量化的...
IP屬地：安徽
-
litellm proxy——統(tǒng)一多個LLM模型入口的配置方法
-
linux離線安裝包和依賴的下載和安裝
背景 最近在處理國產(chǎn)系統(tǒng)銀河麒麟v10下離線安裝wine的問題，但是剛開始用了多種離線安裝方式都沒能很好的解決依賴問題，用到的庫包括apt-offline apt-rdepe...
-
業(yè)主議事規(guī)則(兼容民法典版本)
我們?yōu)榱诵^(qū)業(yè)主真正當家做主，為小區(qū)建設建言獻策，讓小區(qū)變得更加美好設定此規(guī)則[1]。1.小區(qū)決策機構1.1.小區(qū)決策權利歸屬小區(qū)決策權力歸屬業(yè)主大會、業(yè)主代表會、業(yè)主委員會...
-
ubuntu18.04安裝指定版本python3
失敗嘗試(通過apt安裝) 查資料發(fā)現(xiàn)ppa:deadsnakes/ppa不再維護舊版本ubuntu 成功嘗試（從源碼編譯） 速度挺快的 參考鏈接：https://blog....
-
業(yè)主議事規(guī)則（理想版）
我們?yōu)榱诵^(qū)業(yè)主真正當家做主，參與小區(qū)的建設，讓小區(qū)變得更加美好設定此規(guī)則。 第一章 小區(qū)規(guī)章制度制定權利 第一條 小區(qū)規(guī)章制度制定權利歸屬小區(qū)的規(guī)章制度的制定授予業(yè)主代表大...
-
huggingface模型下載和docker啟動下載的模型
背景 因為可惡的墻，連技術網(wǎng)站都上不去了，嚴重阻礙了技術的發(fā)展。 嘗試用代理下載，但是也經(jīng)常出現(xiàn)代理不穩(wěn)定總是掉線的情況。 無奈只能走國內(nèi)鏡像下載，但是下載格式和在線下載又有...
-
RapidOCR_Web Dockerfile踩坑記錄
正確安裝過程 官方給出的Dockerfile缺少各種依賴報錯，于是我把缺少的依賴放了進去提示，build最好設置代理 Dockerfile 構建 運行 附錄 參考鏈接 調(diào)用方...
-
qwen2-vl用VLLM啟動報錯解決過程
解決方法 經(jīng)查資料，我的系統(tǒng)是ubuntu18.04,不支持最新的qwen2-vl模型，似乎至少要20.04，于是重裝系統(tǒng)升級到24.04解決了.注意vllm也需要最新版 啟...
-
qBittorrent在ubuntu桌面版上設置開機啟動步驟 同樣的過程適用于其他在收藏夾又找不到命令的程序 將通過flatapk安裝的qBittorrent的快捷方式添加到收藏 查看收藏夾的文件名字 得到如下內(nèi)容 通過文件名查找...
-
ollama 離線安裝文檔
ollama 離線安裝文檔 官方文檔提供了多種安裝方式，命令行一鍵安裝、手動安裝、docker安裝，但是教程比較復雜，我最推薦手動安裝，可以進行一些自定義配置，并且速度非?？?..
-
@sheeppurple 官網(wǎng)驅(qū)動也基本上提供最新的，按理說以前的顯卡都支持
pytorch、顯卡、顯卡驅(qū)動、cuda版本是如何對應的
背景 做深度學習的小伙伴們可能都會在安裝環(huán)境的時候經(jīng)常遇到的cuda版本驅(qū)動版本以及和顯卡是如何對應的，經(jīng)常搞得特別糊涂，官網(wǎng)沒有直接提供他們的對應關系，導致我們在升級顯卡的...
-
-
2023年了，AMD顯卡做深度學習怎樣
總結 個人認為Nvidia顯卡目前依然是比較好的方案，使用AMD顯卡需要針對性的看具體用途并做測試，原因如下： 1 CUDA具備先發(fā)優(yōu)勢，開源生態(tài)成熟，可能在很長一段時間內(nèi)都...
-
把環(huán)境變量加到~/.bashrc就行，似乎不用加到/etc/profile
ubuntu22.04安裝nvidia驅(qū)動+cuda11.7+cudnn8.6
寫在前面：虛擬機用戶別試了，不適用于虛擬機。 更新日期：2023/04/05 顯卡配置：3080ti雙卡 一、下載驅(qū)動 https://www.nvidia.cn/Downl...
-
-
原創(chuàng)不易，轉(zhuǎn)載請注明出處
pytorch、顯卡、顯卡驅(qū)動、cuda版本是如何對應的
背景 做深度學習的小伙伴們可能都會在安裝環(huán)境的時候經(jīng)常遇到的cuda版本驅(qū)動版本以及和顯卡是如何對應的，經(jīng)常搞得特別糊涂，官網(wǎng)沒有直接提供他們的對應關系，導致我們在升級顯卡的...
-
pytorch、顯卡、顯卡驅(qū)動、cuda版本是如何對應的背景 做深度學習的小伙伴們可能都會在安裝環(huán)境的時候經(jīng)常遇到的cuda版本驅(qū)動版本以及和顯卡是如何對應的，經(jīng)常搞得特別糊涂，官網(wǎng)沒有直接提供他們的對應關系，導致我們在升級顯卡的...
-
理解/dev/shm目錄
理解/dev/shm目錄 dev == deviceshm == shared memorylinux中/dev目錄下一般都是一些設備文件，例如磁盤、內(nèi)存、攝像頭等。/dev...
-
最臨近插值和雙線性插值插值在圖像中的應用一般為處理圖像的縮放。所謂縮放就是縮小和放大。在所有插值縮放算法中要數(shù)最鄰近插值最簡單最暴力，當然效果也是最不好的。經(jīng)過該算法進行放大的圖片會出現(xiàn)馬賽克現(xiàn)象...