依賴 關(guān)于依賴包的安裝請看文檔 docxtpl文檔地址: https://docxtpl.readthedocs.io/en/latest/[https://docxtpl....
發(fā)簡信
IP屬地：遼寧
-
Python+docxtpl+plotly實現(xiàn)模板word文檔圖表生成
-
go語言resty庫并發(fā)爬取bing大圖實戰(zhàn)前言 最近開始好好在看go語言，拖延很久終于把小伙伴給的《Go語言實戰(zhàn)》書看完了，但是還沒實際上手操作過，想著當年學(xué)python的時候也是從爬蟲實戰(zhàn)開始的，那就先寫個go的并...
-
分布式、多節(jié)點系統(tǒng)下定時任務(wù)重復(fù)執(zhí)行問題解決方案在分布式多節(jié)點系統(tǒng)下，或者是使用gunicorn等工具啟用多個worker的情況下，如何保證后端的定時任務(wù)、初始化任務(wù)只執(zhí)行一次呢？比如使用apscheduler或者flas...
-
Gitlab-CI使用及.gitlab-ci.yml配置入門一篇就夠了Gitlab-CI/CD 持續(xù)集成測試篇 一、 Gitlab-CI/CD使用場景 首先，公司使用Gitlab作為工作倉庫進行代碼發(fā)布及版本控制，Gitlab內(nèi)置了CI/C...
-
Flask+gunicorn+nginx部署python1. 目標 由于Flask是一個輕量級的Web框架，自帶app.run()方法能夠提供http接口服務(wù)，測試環(huán)境下測試非常方便，但是如果在生產(chǎn)環(huán)境上單純使用Flask還是會有...
-
Python大型文件數(shù)據(jù)讀取及并行高效寫入MongoDB代碼分享記錄最近一個大文件數(shù)據(jù)處理入庫任務(wù)，需求大致是這樣： 數(shù)據(jù)處理需求： 需要定期拉取一個千萬行級的大型文件，文件內(nèi)容是按照指定分隔符進行分割的數(shù)據(jù)表內(nèi)容. 每行結(jié)束按照\n換行...
-
Python SFTP使用生成器方式讀取遠端大文件到內(nèi)存
項目背景 之前項目中經(jīng)常使用paramiko模塊SFTP下載遠端文件到本地，再讀取本地文件進行相關(guān)操作后入庫，最終再刪除該本地文件。 思考優(yōu)化 但是最近開始思考到，其實很多情...
-
使用唯一字段索引解決MongoDB并發(fā)下插入重復(fù)數(shù)據(jù)的問題
最近遇到一個需求，大致情景是這樣的：多個worker同時從rabbitmq消息隊列中取數(shù)進行處理，并將處理后的數(shù)據(jù)插入或更新到同一個MongoDB表中，該過程會存在大量并發(fā)，...
-
MongoDB的upsert在并行程序中應(yīng)該注意的問題Oct. 12th, 2018 最近使用python的多進程編程來處理一個MongoDB的數(shù)據(jù)庫。這個程序中，每一個進程都要對數(shù)據(jù)庫中的某些數(shù)據(jù)進行更新。如果目標數(shù)據(jù)不存在的...
