原創(chuàng)：顧遠山
著作權(quán)歸作者所有，轉(zhuǎn)載請標明出處。

TALK IS CHEAP! SHOW ME YOUR CODE!
OK... Here comes my code...

let main pathIn = 
    pathIn |> Directory.GetFiles |> Array.filter (fun f -> f.ToLower().EndsWith(".pdf")) 
           |> Array.map (fun filename -> filename |> readAllText |> Regex(@"(?<=￥)\d+?\.\d+?").Matches |> Seq.cast<Match> |> Seq.map (fun m -> m.Value |> decimal) |> Seq.max) 
           |> Array.sum

!@##@!
CODE IS CHEAP! SHOW ME YOUR POINT!
OK... Here comes my point...

前言： 在日常生活中我們經(jīng)常會遇到一些實際問題，比如少量數(shù)據(jù)的非常規(guī)處理，人肉手工做又累又傻，現(xiàn)成的工具或平臺卻要么過于通用要么過于笨重以至于無法直接被應(yīng)用在特定場景，空有百般本領(lǐng)卻無從下手。也許真相是好多人對它們的功能不夠熟悉，例如筆者并不從事數(shù)據(jù)分析工作，類似Power BI這種入門級的簡單工具學(xué)了又忘忘了又學(xué)也用不好，一來是工作中缺乏足夠案例實踐，二來是年紀大了確實記不住。對于這種情況，輕量級編程可以靈活快速地把問題解決。

導(dǎo)讀： 這是一篇用輕量級編程方式解決實際問題后復(fù)盤的文章，主要圍繞軟件工程實踐中的設(shè)計和開發(fā)階段展開，順便推廣一下F#編程語言（和正則表達式）在日常生活中的應(yīng)用。

關(guān)鍵字： 輕量級編程，軟件工程，F#，正則表達式

第零部分：問題描述

現(xiàn)有格式相同的電子發(fā)票PDF文件若干，我們使用Edge瀏覽器或Reader類工具打開它們后，能選取和復(fù)制里面的文字內(nèi)容，比如下面兩個截圖中，發(fā)票樣本1選取到的是發(fā)票金額￥1029.40，發(fā)票樣本2選取到的發(fā)票金額￥799.70，即藍色高亮部分。如果不想逐個點開PDF文件找到發(fā)票金額進行復(fù)制粘貼或手抄匯總，如何快速求得這堆電子發(fā)票的總金額？

發(fā)票樣本1

發(fā)票樣本2

這個問題的實質(zhì)無非是數(shù)據(jù)抽取+類型轉(zhuǎn)換+數(shù)值計算，解決思路五花八門。同事S早前做過各大公司年報抽數(shù)分析的項目，她建議用輕量級編程的方法直接從PDF文件中讀取發(fā)票金額然后匯總求解。思路很有創(chuàng)意，那具體怎么求出這個值呢？實現(xiàn)的方式也是豐富多彩的，筆者使用了其中一種，僅供參考。

第一部分：高階設(shè)計

目標： 實現(xiàn)一個程序。
輸入： 一個包含電子發(fā)票文件的Windows文件夾。
輸出： 所有電子發(fā)票金額（含稅）的匯總值。
假設(shè)： 該文件夾存在且可被訪問但沒有子文件夾，該文件夾里有符合指定格式的電子發(fā)票文件（PDF格式），且這些文件能被Edge或者Reader類工具打開并選取和復(fù)制發(fā)票金額。

高階設(shè)計

1. 文件夾里只有文件20200831.pdf（發(fā)票含稅金額￥1029.40）時，輸出1029.40。
2. 文件夾里有文件20200831.pdf（發(fā)票含稅金額￥1029.40）和20200921（發(fā)票含稅金額￥799.70）時，輸出1829.10。

第二部分：詳細設(shè)計

我們把期望實現(xiàn)的程序功能按模塊進行了簡單分解。
主程序由三個子模塊組成，其中：

• 子模塊1：收集待處理發(fā)票文件列表；
• 子模塊2：對每個發(fā)票文件進行操作，打開發(fā)票文件，獲取發(fā)票金額；
• 子模塊3：匯總發(fā)票金額。

程序功能的模塊化分解

按函數(shù)式編程的范式進一步把模塊對應(yīng)為函數(shù)，則整個程序?qū)⒂伤膫€函數(shù)構(gòu)成，一個主函數(shù)（main）和三個子函數(shù)（getPDFs、getInvoiceAmount、sumUp），四者與輸入輸出的關(guān)系如下圖所示：

main函數(shù)關(guān)系圖

其實上面的getInvoiceAmount函數(shù)有兩個坑，穩(wěn)妥起見先把它們填了：第一，打開目標文件（PDF格式）并讀取所有內(nèi)容為文本并非編程語言的內(nèi)置功能，必須依賴第三方的包間接實現(xiàn)。第二，讀取出來的文本是一個字符串，實現(xiàn)時把字符串里所有（￥數(shù)值）全部抓出來取最大值即可。為此我們對getInvoiceAmount函數(shù)進一步分解為兩個子函數(shù)readAllText和getTargetValue，三者與輸入輸出的關(guān)系如下圖所示：

getInvoiceAmount函數(shù)關(guān)系圖

通過把高階設(shè)計分解為主程序和三個模塊，對應(yīng)的四個函數(shù)(加兩個子函數(shù))組合起來可以實現(xiàn)程序期望的功能，小結(jié)如下：

• main: string -> decimal
• getPDFs: string -> string []
• getInvoiceAmount: string -> decimal
  • readAllText: string -> string
  • getTargetValue: string -> decimal
• sumUp: decimal [] -> decimal

第三部分：代碼實現(xiàn)

準備條件: 創(chuàng)建F# Console Application (.NET Framework 4.7+)解決方案，通過Nuget Package Manager安裝PDFSharp包（最新穩(wěn)定版1.50.5147)，并打開代碼實現(xiàn)所依賴的以下命名空間：

open System.Text
open PdfSharp.Pdf.IO
open PdfSharp.Pdf.Content
open PdfSharp.Pdf.Content.Objects
open System.Text.RegularExpressions
open System.IO

System.IO用于獲取文件夾里的文件名，System.Text.RegularExpressions用于通過正則表達式從文本中獲取目標值，其他是PDFSharp相關(guān)的命名空間。
實現(xiàn)詳細設(shè)計里面的四個函數(shù)（加兩個子函數(shù)）
由于main函數(shù)在最后調(diào)用，我們先實現(xiàn)它的三個子函數(shù)，然后再實現(xiàn)它。

• getPDFs函數(shù)

let getPDFs pathIn = 
    pathIn 
    |> Directory.GetFiles //獲取該文件夾下所有文件
    |> Array.filter (fun f -> f.ToLower().EndsWith(".pdf"))//篩選PDF文件

• getInvoiceAmount函數(shù)
  詳細設(shè)計中提到，實現(xiàn)這個函數(shù)需要先實現(xiàn)它的兩個子函數(shù)readAllText和getTargetValue，我們逐個實現(xiàn)。

  • readAllText函數(shù)
    在F# Snippets的網(wǎng)站上，直接有可用的代碼，直接引用。

  • getTargetValue函數(shù)

let getTargetValue filecontent =
    let regex = new Regex(@"(?<=￥)\d+?\.\d+?") //獲取金額文本的正則表達式
    filecontent  |> regex.Matches |> Seq.cast //詳細設(shè)計中的getMatchedStrings
    |> Seq.map (fun m -> m.Value |> decimal) //詳細設(shè)計中的decimal 
    |> Seq.max //詳細設(shè)計中的max

實現(xiàn)了readAllText子函數(shù)和getTargetValue子函數(shù)之后，根據(jù)詳細設(shè)計易得：

let getInvoiceAmount filename = filename |> readAllText |> getTargetValue

• sumUp函數(shù)
  F#內(nèi)置有匯總函數(shù)Array.sum，直接使用。

• main函數(shù)
  基于上述三個子函數(shù)的實現(xiàn)，根據(jù)詳細設(shè)計即得：

let main pathIn = pathIn |> getPDFs |> Array.map getInvoiceAmount |> Array.sum

把實現(xiàn)完畢的main函數(shù)對比高階設(shè)計里的概念圖，數(shù)據(jù)流過程并無二致。

至此四個函數(shù)（加兩個子函數(shù)）都已用F#代碼實現(xiàn)完畢，設(shè)定輸入?yún)?shù)pathIn便可運行測試。

第四部分：用戶接受測試

測試用例1：
期待值1029.40，實際值1029.40，通過。

測試用例1驗證通過

測試用例2：
期待值1829.10，實際值1829.10，通過。

測試用例2驗證通過

測試用例驗證通過后，筆者認為用戶驗收測試完成，程序可用，問題解決。

結(jié)語

筆者最后用這個小程序快速匯總了60個PDF電子發(fā)票文件的含稅總金額，非常方便。之所以說這是輕量級編程解決方案，是因為除去引用的外部代碼之外，實現(xiàn)所有功能只需要不到10行代碼，如下：

let getPDFs pathIn = pathIn |> Directory.GetFiles 
                            |> Array.filter (fun f -> f.ToLower().EndsWith(".pdf"))

let getTargetValue filecontent = 
    let regex = new Regex(@"(?<=￥)\d+?\.\d+?")
    filecontent |> regex.Matches |> Seq.cast<Match> 
                |> Seq.map (fun m -> m.Value |> decimal) 
                |> Seq.max

let getInvoiceAmount filename = filename |> readAllText |> getTargetValue

let main pathIn = pathIn |> getPDFs |> Array.map getInvoiceAmount |> Array.sum 

使用F#進行輕量級編程解決實際問題

時下很多人都在學(xué)Python，對于日常應(yīng)用類的輕量級編程非常容易上手。但其實F#也同樣適合這種場景，而且很多時候F#的語法比其他語言更簡潔。
比如F#中被廣泛應(yīng)用的前向管道運算符|>，它的定義為：

let (|>) x f = f x

前向管道運算符|>可以非常直觀地把輸入輸出按照流的形式直接串起來，相比其他語言省了不少括號從而增加了代碼的可讀性。這個運算符在函數(shù)式編程語言里其實是標配。
我們不妨用縮進的方式細看一下本案例的main函數(shù)：

let main pathIn = 
    pathIn 
    |> getPDFs //輸入文件夾路徑，獲取文件夾里所有PDF文件名
    |> Array.map getInvoiceAmount //對每個PDF文件，獲取里面的含稅發(fā)票金額
    |> Array.sum //匯總所有含稅發(fā)票金額

這樣的代碼，數(shù)據(jù)流的順序基本遵循業(yè)務(wù)邏輯，即便不是程序員也能猜個七七八八。但同樣的邏輯如果換成C#來寫，就算用上Linq的擴展方法也最多精簡如下：

public static int Main(string pathIn)
{
    return getPDFs(pathIn).Select(file=>getInvoiceAmount(file)).Sum();
}

其中各種括號和莫名其妙的關(guān)鍵字，邏輯要再復(fù)雜一點的話別說業(yè)務(wù)人員了，就算程序員讀起來恐怕也是云里霧里。

另外，在F#中代碼的復(fù)用比其他語言更靈活，因為不同的函數(shù)之間可以相互之間組合產(chǎn)生新的函數(shù)，而這些函數(shù)又可以作為參數(shù)傳給高階函數(shù)進行運算。函數(shù)組合運算符>>的應(yīng)用也是相當(dāng)高頻，比如本案例中的main函數(shù)，就算我們沒有顯式實現(xiàn)getInvoiceAmount，也可以臨時用readAllText和getTargetVaule組合起來用，于是有：

let main pathIn = 
    pathIn 
    |> getPDFs
    |> Array.map (readAllText >> getTargetValue) //臨時組合的匿名函數(shù)作為高階函數(shù)的入?yún)?    |> Array.sum

用>>操作符我們很方便就把readAllText和getTargetValue兩個函數(shù)結(jié)合成一個匿名函數(shù)，然后這個匿名函數(shù)被作為參數(shù)傳到Array.map高階函數(shù)里參與計算。這個操作符在函數(shù)式編程語言里同樣是標配。

F#中也有語法糖。還用本案例中的main函數(shù)舉例，Array.map f array |> Array.sum等效為Array.sumBy f array，所以這句代碼可以寫得更簡潔一些：

let main pathIn = 
    pathIn 
    |> getPDFs 
    |> Array.sumBy (readAllText >> getTargetValue)

其實函數(shù)式編程語言還有很多有趣且實用的特性。比如函數(shù)調(diào)用傳入?yún)?shù)可以不加括號這一點，就讓有些寫得足夠好的F#代碼看起來跟自然語言（英文）相當(dāng)接近，甚至一般人也能看懂，所以F#的用戶群里有固定一部分是做領(lǐng)域特定語言編程的。領(lǐng)域特定語言是另一個話題了，就算只用于解決日常小問題，筆者還是強烈推薦產(chǎn)品經(jīng)理學(xué)一學(xué)F#這門開源的全平臺語言，挺有用的。

另外，既然PDF格式的文件有特定的文件結(jié)構(gòu)，為什么不通過文件結(jié)構(gòu)分析獲取發(fā)票金額？這樣做的確沒問題，但筆者不熟悉PDFSharp包深入研究必然花費一定時間，且筆者有信心用正則表達式能把目標值提取出來，就直接讀取PDF所有內(nèi)容為文本了。實際上抽取發(fā)票金額的正則表達式很短，各部分用不同的顏色標注如下：

案例中的正則表達式拆解

• (?<=￥)為肯定式后向查找字符￥，零寬度斷言，僅匹配不捕獲
• \d+?，向前惰性匹配所有數(shù)字，直到遇到第一個非數(shù)字字符（得到整數(shù)部分1029）
• \.，字符 . 是正則表達式里的保留字（通過\字符轉(zhuǎn)義得到普通字符 . ）
• \d+?，向前惰性匹配所有數(shù)字，直到遇到第一個非數(shù)字字符（得到小數(shù)部分40）

正則表達式簡單暴力可行，但并不是出色的解決方案，慎用。