發(fā)簡信
IP屬地：福建
-
-
XSS深入分析幾種加載XSS Payload的不常見標(biāo)簽 和我們能想到的一樣，預(yù)防是最好的治療方法，而且去嘗試和緩解一些意外的攻擊也不失為一種好的策略實踐。通常情況下，大多數(shù)組織機(jī)構(gòu)只會部...
-
pyspider通用API學(xué)習(xí)文檔
本文參照官方文檔譯 API 參考 self.crawl Response self.send_message @every @catch_status_code_error ...
-
邊讀pyspider源碼邊學(xué)習(xí)邊使用
用了一段時間的pyspider，一直沒有研究源碼。這兩天抽空看了看，稍微拿幾個點出來研究一下，如果讀到哪里不對的地方，請及時指出我好糾正，本文我也會在今后實際使用過程中不斷修...
-
Python 爬蟲 PySpider 使用說明因為工作原因，最近一段時間都在做項目的數(shù)據(jù)建設(shè)工作，涉及到使用Pyspider進(jìn)行數(shù)據(jù)的爬取及入庫，所以此處系統(tǒng)的整理一下； pyspider簡介 一個國人編寫的強(qiáng)大的網(wǎng)絡(luò)爬...
-
滴滴數(shù)據(jù)通道服務(wù)演進(jìn)之路
桔妹導(dǎo)讀：滴滴數(shù)據(jù)通道引擎承載著全公司的數(shù)據(jù)同步，為下游實時和離線場景提供了必不可少的源數(shù)據(jù)。隨著任務(wù)量的不斷增加，數(shù)據(jù)通道的整體架構(gòu)也隨之發(fā)生改變。本文介紹了滴滴數(shù)據(jù)通道的...
-
大型分布式業(yè)務(wù)平臺數(shù)據(jù)庫優(yōu)化方法（上）微信版的原文轉(zhuǎn)載出處 文章摘要：一個小小的MySQL數(shù)據(jù)庫B-Tree索引可能會帶來意想不到的性能優(yōu)化提升…… 一、數(shù)據(jù)庫優(yōu)化的必要性 目前在云計算、大數(shù)據(jù)、電商、金融支付等...
-
大型分布式業(yè)務(wù)平臺數(shù)據(jù)庫優(yōu)化方法（下）微信版的鏈接地址 文章摘要：當(dāng)單表數(shù)據(jù)達(dá)到千萬以上時，通過加索引或者表分區(qū)優(yōu)化提升的效果就比較有限了，應(yīng)該如何應(yīng)對呢？？？ 當(dāng)MySQL數(shù)據(jù)庫的單表數(shù)據(jù)量達(dá)到千萬級別以上時，...
-
分庫分表 vs NewSQL數(shù)據(jù)庫最近與同行科技交流，經(jīng)常被問到分庫分表與分布式數(shù)據(jù)庫如何選擇，網(wǎng)上也有很多關(guān)于中間件+傳統(tǒng)關(guān)系數(shù)據(jù)庫（分庫分表）與NewSQL分布式數(shù)據(jù)庫的文章，但有些觀點與判斷是我覺得是偏...
-
《數(shù)據(jù)之路》數(shù)據(jù)管理本文的內(nèi)容來自數(shù)據(jù)之路閱讀并記錄一些知識點和流程摘取博客上的ETL流程,也是數(shù)據(jù)治理的一部分 1.元數(shù)據(jù) 元數(shù)據(jù)的質(zhì)量直接影響到數(shù)據(jù)管理的準(zhǔn)確性,如何把元數(shù)據(jù)建設(shè)好將起到至關(guān)...
-
阿里云官網(wǎng)（<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.aliyun.com%2F" target="_blank">https://www.aliyun.com/</a>），每日分享最新產(chǎn)品技術(shù)內(nèi)容、官網(wǎng)活動資訊！
-
交易型系統(tǒng)的設(shè)計原則高并發(fā)原則 1.1無狀態(tài) 如果應(yīng)用設(shè)計成無狀態(tài)的，應(yīng)用比較容易水平擴(kuò)展。但是在實際的生產(chǎn)環(huán)境中，應(yīng)用是無狀態(tài)的，但是配置文件是有狀態(tài)，例如不同的機(jī)房需要訪問不同的數(shù)據(jù)源，此時...
-
大數(shù)據(jù)系統(tǒng)架構(gòu)轉(zhuǎn)：https://www.sohu.com/a/227887005_487103 數(shù)據(jù)分析工作雖然隱藏在業(yè)務(wù)系統(tǒng)背后，但是具有非常重要的作用，數(shù)據(jù)分析的結(jié)果對決策、業(yè)務(wù)發(fā)展...
-
數(shù)據(jù)庫VS數(shù)倉VS數(shù)據(jù)平臺VS數(shù)據(jù)中臺，7000字詳解數(shù)據(jù)平臺的演進(jìn)
目前，外界與業(yè)內(nèi)很多人對于數(shù)據(jù)中臺的理解存在誤區(qū)，一直只是在強(qiáng)調(diào)技術(shù)的作用。為了統(tǒng)一大家的認(rèn)知，更加清晰的認(rèn)識數(shù)據(jù)中臺出現(xiàn)的意義。本文將從數(shù)據(jù)平臺進(jìn)化演變的角度，對數(shù)據(jù)中臺進(jìn)...
-
企業(yè)業(yè)務(wù)數(shù)據(jù)整合利器-異構(gòu)數(shù)據(jù)同步系統(tǒng)ArkgateArkgate源起 隨著數(shù)據(jù)庫、大數(shù)據(jù)生態(tài)的普遍應(yīng)用和數(shù)據(jù)聯(lián)動的重要性，MySQL數(shù)據(jù)庫運維過程中關(guān)于數(shù)據(jù)同步需求不斷增多，常見的需求有： 1.從源端分庫分表的MySQL集群...
-
CSAPP: Bomb Lab 實驗解析這是CSAPP課本配套的第二個實驗，主要任務(wù)是“拆炸彈”。所謂炸彈，其實就是一個二進(jìn)制的可執(zhí)行文件，要求輸入六個字符串，每個字符串對應(yīng)一個phase。如果字符串輸入錯誤，系統(tǒng)...
