創(chuàng)作背景

大家好，我是老馬。

敏感詞初期在實現(xiàn)的時候，為了用戶開箱即用將詞庫與核心算法庫放在一起。

有一些用戶希望只用自己的詞庫，于是內(nèi)置了各種自定義的策略方法。

但是還是不夠，比如有些 andriod 研發(fā)希望內(nèi)置包的信息是干凈的，不要有任何敏感信息。

為了保障開箱即用+支持將文件排除，我們在將敏感詞庫獨(dú)立為另外一個項目。

系統(tǒng)內(nèi)置詞庫及如何排除

內(nèi)置詞庫文件說明

v0.27.0 將詞庫和當(dāng)前項目拆分開，詞庫可以在 https://github.com/houbb/sensitive-word-data 項目查看。

對應(yīng)的資源文件在 https://github.com/houbb/sensitive-word-data/tree/main/src/main/resources 目錄下

文件	說明	默認(rèn)加載類
`sensitive_word_allow.txt`	內(nèi)置自定義白名單詞庫	`WordAllowSystem`
`sensitive_word_deny.txt`	內(nèi)置自定義黑名單詞庫	`WordDenySystem`
`sensitive_word_dict.txt`	內(nèi)置黑名單詞庫	`WordDenySystem`
`sensitive_word_dict_en.txt`	內(nèi)置黑名單英文詞庫	`WordDenySystem`
`sensitive_word_tags.txt`	內(nèi)置敏感詞標(biāo)簽詞庫	`WordTagSystem`

如何排除

比如一些 android app 引入時不希望包中內(nèi)置敏感的信息，希望對詞庫加解密或者是放在服務(wù)端初始化加載。

系統(tǒng)的內(nèi)置詞庫通過下面的 maven 依賴導(dǎo)入

<dependency>
    <groupId>com.github.houbb</groupId>
    <artifactId>sensitive-word-data</artifactId>
    <version>${sensitive-word-data.version}</version>
</dependency>

依賴排除

所以可以按照 maven 排除規(guī)范，如下將其排除

<dependency>
    <groupId>com.github.houbb</groupId>
    <artifactId>sensitive-word</artifactId>
    <version>${sensitive-word.version}</version>
    <exclusions>
        <exclusion>
            <groupId>com.github.houbb</groupId>
            <artifactId>sensitive-word-data</artifactId>
        </exclusion>
    </exclusions>
</dependency>

排除后自定義

不希望使用內(nèi)置詞庫，那就需要將原來內(nèi)置的詞庫依賴改為自己的依賴

默認(rèn)配置項：

SensitiveWordBs sensitiveWordBs = SensitiveWordBs.newInstance()
                .wordAllow(WordAllows.defaults())
                .wordDeny(WordDenys.defaults())
                .wordTag(WordTags.defaults())
                .init();

你可以將用到的這3個配置，改為自己的實現(xiàn)。

可以通過加解密，或者加載遠(yuǎn)程服務(wù)的文件信息都可以。