敏感詞庫

敏感詞概述：大部分論壇，為了方便管理，都進行了關于敏感詞的設定。比如，當你發(fā)貼的時候帶有某些事先設定的詞時，這個貼是不能發(fā)出的�；蛘哌@個詞被自動替換為星號(*)或叉號(X)等，或者說是被和諧掉了。在多數網站，敏感詞一般是指帶有敏感政治傾向（或反執(zhí)政黨傾向）、暴力傾向、不健康色彩的詞或不文明語。也有一些網站根據自身實際情況，設定一些只適用于本網站的特殊敏感詞，例如很多電子商務網站會將一些涉及侵犯知識產權，不宜銷售的商品，例如“山寨”、“水貨”、“盜版”、“刻錄”等設置為敏感詞，在商品簡介中這些詞是發(fā)不出來的。

例如“Pi”這個詞，在國內“Pi”絕對算的上是敏感詞語，主要原因一是不雅，二是與黃色有連帶關系，但在現實中，“Pi”的使用率卻出奇的高，比如人們憤憤然說的“Pi民”、“Pi話”、“狗Pi不通”、“Pi滾尿流”等等，在正常的行文中經�？梢钥吹健Ｍ瑫r“Pi”在泰國一般用于稱呼某個人，如您叫陳，則在泰國就會被稱為“Pi陳”，同時果稱誰為“Pipi”，那更是尊稱，比如某老人或女人姓王，你叫她“Pipi王”，她會高興得不得了。顯然，在泰國“Pi”是個尊稱，類似我們說老王、小羅之類。

敏感詞庫 圖一

【詞庫簡介】

敏感信息詞庫內含最新、最全的敏感詞，內容覆蓋兩萬多條，包括色情、暴恐、反動、民生及貪腐等六大類詞庫。敏感詞主要的范圍指的就是帶有敏感政治傾向（或反執(zhí)政黨傾向）、暴力傾向、不健康色彩的詞或不文明語言。在現實中，隨著網絡科技的發(fā)展，隨著而來的網絡暴力也越來越嚴重，越來越的人因為網絡上的留言而走上輕生的地步，因此國家有關部分特意針對此類問題分布了一系列禁止出現的敏感詞，當用戶在網絡上發(fā)帖或者發(fā)文章的時候，若出現此類敏感信息系統(tǒng)就將自動屏蔽，或者直接不允許分布。

【詞庫分類】

1、色情詞庫

2、暴恐詞庫

3、反動詞庫

4、民生詞庫

5、其他詞庫

6、貪腐詞庫

【詞庫特點】

1、敏感信息詞庫整合了多個敏感詞庫，并添加java實現敏感詞過濾的工具類，需要根據具體業(yè)務適當調整詞庫內容

2、敏感詞集合，共2W+的敏感詞，已通過程序算法去除重復項

3、里面整理了最新網絡詞庫

4、考慮到各行各業(yè)需要的分詞規(guī)則不同，故沒有合并

5、文件為txt、xlsx文本用于敏感詞過濾

敏感詞庫 圖二