通过Java语言实现敏感词过滤器软件的设计

良好的网络文化对培养青少年的爱国意识、创新精神、促进青少年良好的个性发展以及文化学习等方面都有积极的作用。但是网络文化中混杂着种种不良因素,对青少年造成许多负面影响:网络中的不健康内容不利于青少年的成长,甚至造成许多青少年犯罪行为的不断发生;网络世界的虚拟性还会造成青少年对现实社会的不满,青少年对网络世界的过分迷恋会导致网络孤独,网络中多元化的内容会导致青少年认识偏差,网络的隐匿性容易使青少年道德弱化[1].特别令人担忧的是不良的网络文化对青少年的犯罪起着推动作用,值得全社会关注和重视。
本文提出了一种敏感词过滤器软件的设计,对网络中不良的内容进行查找、发现,避免这些不良网络文化侵蚀青少年的心灵健康。
1 敏感词过滤器的设计原理
敏感词过滤器的原理图如图1所示。其原理如下:(1)对敏感词库的内容进行分割,把敏感词库中所有的敏感词或词组分开,并把这些敏感词或词组存入数组中;(2)将待测文件库中的文件进行逐个读取,并记录文件的内容;(3)在待测文件中查找是否存在刚存放敏感词或脏词组内容的数组里面的内容,如果有,进行标注等操作;如果没有,继续检查待测文件库中的下一个待测文件,直到待测文件库中的待测文件都被检查完为止;(4)输出结果。即输出待测文件库中每个待测文件中包含敏感词或脏词组的个数及出处等信息。
2 算法实现
软件开发环境:myeclipse平台,java语言。首先以myeclipse平台新建一个java project,在新建的project中需要导入下面相关文件:
import java.io.bufferedreader;
import java.io.file;
import java.io.filenotfoundexception;
import java.io.filereader;
import java.io.ioexception;
import java.io.inputstreamreader;
import java.util.stringtokenizer;
过滤器软件中main函数的主要内容如下:
public static void main(string[] args) {
bufferedreader br=new bufferedreader(new inputstreamreader(system.in));
string ans=null;
int cnt=0;//字库中关键词个数
int number=0;//敏感词出现次数
string filepath=“d:\\敏感词待测文件库”;
//待检测文件路径,此文件夹下可以放若干个待检测的文件
string filelibrarypath=“d:\\敏感词典\\file.txt”;
//敏感词库文件的存放路径
file file = new file(filepath);
try {
//读入用户输入的回车键信息
system.out.println(“请按回车键,查看过滤信息:”);
string str = null;
str = br.readline();
if (str != null) {
if (!file.isdirectory()) {
system.out.println(“待检测文件路径
不对,请修改路径。”);
} else if (file.isdirectory()) {
ans=getcontent(filelibrarypath);
int k;
stringtokenizer sst=new
stringtokenizer(ans, “|”);
k = sst.counttokens();
string[] record = new string[k];
while (sst.hasmoreelements()) {
record[cnt] = sst.nexttoken();
cnt++;
}
string[] filelist = file.list();
for (int i = 0, flen = filelist.length; i
< flen; i++){
string temp = filepath +
“\\” + filelist[i];
number = searchkeyword(record,
cnt, temp);
system.out.println(“第”+(i+1) +“文件中敏感词出现的次数:” + number);
//字库中关键词个数
}
} else {
//提示用户按回车键
system.out.println(“你还没有输入回
车键信息”);
}
}
} catch (ioexception e) {
e.printstacktrace();
}
//输出查询结果
if (ans != null) {
system.out.println(“字库中关键词个数:”+ cnt);//字库中关键词个数
system.out.println(“敏感词库内容如下:”+ ans);
} else {
system.out.println(“没有可以匹配的信息”);
//输出敏感词库中的内容
}
}
//得到指定路径文件中的内容
private static string getcontent(string filepath) {
string all = “”;
file file = new file(filepath);
try {
if (!file.isfile()) {
system.out.println(“文件路径不对,请修改路径”);
} else {
file readfile = new file(filepath);
bufferedreader br = new bufferedreader(new filereader(readfile));
string ss = br.readline();
while (ss != null) {
all = all + ss;
//all中存放读取的文件内容信息
ss = br.readline();
}
}
} catch (filenotfoundexception e) {
e.printstacktrace();
} catch (ioexception e) {
e.printstacktrace();
}
return all;
}
//在待测文件中匹配敏感词出现的次数
private static int searchkeyword(string[] str, int cnt, string filepath){
int number = 0;
string s = “”;
s = getcontent(filepath);
for (int i = 0; i -1) {
number++;
}
}
return number;
}
至此,完成了敏感词过滤器软件代码的编写工作,接下来可以进行run操作,即可以得到待测文件库中的待测文件包含敏感词次数及出处等相关信息的结果。
3 实验结果分析
敏感词库的存放路径:d:\敏感词典\file.txt;敏感词库文件中的内容略。
待测文件库的存放路径:d:\敏感词待测文件库;文件库中存放了三个文件,分别为:test1.txt、test2.txt、test3.txt.
运行该过滤器软件后,得出的检测结果如图2所示。
由图可以看到把待测文件中敏感词及脏词组出现的次数全部显示出来,结果与实际情况完全一致。
本文设计的敏感词过滤器软件,已在myeclipse环境下通过java语言实现,并对整个过滤器软件进行了测试,测试结果显示该设计完全可以达到对网页文件中的敏感词进行过滤,还能指出这些敏感词的数目及其出处。为网络管理员的管理带来方便,并给网络管理方面的编程人员提供了一个良好的开发平台。

射频导纳液位开关的安装与注意事项
ARMv7-A指令集、架构与处理器概述
英特尔10nm芯片再次跳票,最早也要等到2019年
面向低成本及中端应用的28nm FPGA
惠而浦冻龄Pro体验评测 有实力就不用低调
通过Java语言实现敏感词过滤器软件的设计
微雪电子XNUCLEO-F302R8 STM32开发板简介
安徽联想电脑维修网点及联系电话
开源共建携手并进 OpenHarmony使能千行百业生态成果亮相HDC2022
电池包结构仿真:GB/T31467.3的随机振动、冲击挤压碰撞跌落
精选全面的电机知识整理
2万亿日元!东芝宣布完成芯片业务出售
调幅波和调频波哪种调制方式传输距离更长?
介绍Python中文件创建与写入的基本方法
奇异电气性能石墨被确认
基于将子区块链变为树形的想法Plasma
2020年,京东方出货柔性折叠OLED产品近百万片
2018年世界移动大会开幕,共谋智慧未来
智慧城市建设,视觉跳动智能激光屏助力城市精细化管理
如何排除盐雾试验箱的疑难问题,排查方法的介绍