您当前的位置:首页 > 电脑百科 > 安全防护 > 服务器/网站

网站信息安全检测、敏感词过滤设计方案

时间:2022-01-21 10:09:58  来源:  作者:炎弟天天向上

功能目标

针对客户(业务员、用户)输入的信息、上传的文件(后期),实现自动审核过滤,以达成尽可能少的人工参与!

通过程序中对文本对象进行检测,有效降低内容违规风险。但是不能彻底解决内容违规。

我们会将大部分的违规内容,通过前端js、后台服务自动处理,并返回处理结果;小部分违规内容,由人工参与处理,具体逻辑根据不同的业务场景提供不同的功能支持。

后期如需对图片、音视频文件进行内容检测,需要对接第三方接口实现。

内容审核自动化(半)

网站信息安全检测、敏感词过滤设计方案

内容检测

内容审核方案

网站信息安全检测、敏感词过滤设计方案

内容检测方案

以上第三方支持直接针对网站内容进行检测判断。

文本内容检测实施方案

1,违规词汇检测审核。

2,第三方接口检测审核。

3,人工审核。

 

图片、音视频内容检测方案

1,第三方接口检测审核。

2,人工审核。

 

文本反垃圾汇总

网站信息安全检测、敏感词过滤设计方案

反垃圾算法

文本信息检测流程(半)自动化

核心是通过前端结合后端程序,对信息进行违规检测,将大部分的违规信息,通过应用程序自动判定处理,并返回对应的处理结果。有效降低内容违规风险。

 

针对程序没有检测到的违规信息,通过人工审核的策略,下架或删除遗漏的违规信息。

网站信息安全检测、敏感词过滤设计方案

文本信息检测处理流程

信息检测流程概述:

1,用户输入文本信息,前端通过敏感词库进行JS校验判断,如果不合法,返回结果;合法,执行下一步;

2,服务端,通过敏感数据库对信息进行检测判断,如果不合法,返回结果;合法,执行下一步;

3,调用第三方接口,检测判断,如果不合法,返回结果;合法,保存到数据库中。【此步骤,前期可省略】

4,人工审核,功能包括:巡查审核、信息审核、禁言等操作。作为保全方案!(主要针对广告、刷屏、添加重复数据的情况)

注意:【词库大,需要注意检测方法执行时长,不影响业务的情况下,需控制在50ms以内;时长根据业务容错而定】

 

补充

以上方案,对于文本内容检测程序会增加程序响应时间(尽量控制在10ms以内),从而会进一步影响整个应用的吞吐量。

 

前期:代码实现,优化方法执行逻辑,缩短程序执行时间。(测试方法执行时间)

后期可考虑应用集群。

审核结果处理方案

针对违规信息处理方案,根据不同的场景,可考虑不同的落地设计方案:

1,弹框提示

2,接口信息提示

3,信息提示

4,频繁发送,限制

5,信息下架

6,账号锁定或禁用

图片、音视频检测审核

前期主要针对文本信息进行检测处理。

后期如需对图片、音视频文件进行内容检测,需要对接第三方接口实现。

文本信息检测算法

检测方法,可参考--DFA算法/AC自动机,可有效缩短检测方法时间。

  • DFA全称为:Deterministic Finite Automaton,即确定有穷自动机。

大致是将敏感数据构建成树的结构,完成搜索命中,然后进行处理。

  • AC自动机

多模式匹配算法:在主串中查找多个模式串。(字典树+kmp算法+失配指针)

(原理todo)

前端

针对客户输入的信息,采用js检测,判断是否会命中敏感词。

后端

服务端:通过已有的敏感词数据表,查询判断。如果敏感词较多,可使用redis进行缓存处理。

数据库:敏感词数据表(后期可后台维护新增)

功能设计

场景1:添加数据

  • 方案1,敏感词打码处理。
  • 方案2,提示填写的数据违规。

结合人工审核,信息下架处理,网站不再显示。

视频检测

对接第三方,todo



Tags:敏感词   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
功能目标针对客户(业务员、用户)输入的信息、上传的文件(后期),实现自动审核过滤,以达成尽可能少的人工参与!通过程序中对文本对象进行检测,有效降低内容违规风险。但是不能彻底解决...【详细内容】
2022-01-21  Tags: 敏感词  点击:(11)  评论:(0)  加入收藏
题目:实现论坛网站中常见的留言板功能,可以过滤敏感词汇,如图所示: 实现思路如下:在网页中写入一个空列表 ul, 监听 发布 按钮的点击事件,动态向 ul 中添加列表项。具体实现步骤:基...【详细内容】
2021-12-07  Tags: 敏感词  点击:(42)  评论:(0)  加入收藏
需求背景大家有没有做过屏蔽敏感词的需求呢,这个需求一般来说很常见了。比如,系统中有一段话:我爱吃肯德基要求【肯德基】三个词被屏蔽掉,屏蔽后的语句显示为:我爱吃***常规的做...【详细内容】
2021-04-01  Tags: 敏感词  点击:(542)  评论:(0)  加入收藏
今天是刘小爱自学Java的第94天。感谢你的观看,谢谢你。话不多说,开始今天的学习: 一、用户评论功能网络上很多平台都会有敏感词屏蔽,有些词语打出来会被和谐掉。虽说现在主张言...【详细内容】
2020-07-17  Tags: 敏感词  点击:(230)  评论:(0)  加入收藏
背景介绍直播系统主要是以内容为主,好的内容可以吸引用户来欣赏,也能为公司带来可观的收益,既然有传播的入口,那么必然有负面内容的出现,随着平台用户量不断扩大,内容的监管也是必...【详细内容】
2020-06-02  Tags: 敏感词  点击:(66)  评论:(0)  加入收藏
很多外贸小伙伴吐槽,他们辛辛苦苦找了几千甚至几万的客户资源,结果照着上面的邮箱发了开发信之后,就石沉大海了。如果运气好,还能收到一些回信——系统退信。看到这里...【详细内容】
2019-10-30  Tags: 敏感词  点击:(244)  评论:(0)  加入收藏
PHP实现的敏感词过滤方法,你们有好的编码和好的实现方法吗,可以发出来一起交流一下。以下是一份过滤敏感词的编码。有需要偶读可以参考参考。敏感词的过滤方法/** * @todo 敏...【详细内容】
2019-09-06  Tags: 敏感词  点击:(283)  评论:(0)  加入收藏
▌简易百科推荐
功能目标针对客户(业务员、用户)输入的信息、上传的文件(后期),实现自动审核过滤,以达成尽可能少的人工参与!通过程序中对文本对象进行检测,有效降低内容违规风险。但是不能彻底解决...【详细内容】
2022-01-21  炎弟天天向上    Tags:敏感词   点击:(11)  评论:(0)  加入收藏
“最可怕”的搜索引擎--Shodan运维必备之概念Shodan搜索引擎与baidu、 Google、DuckDuckGo等搜索网址引擎不同,Shodan 是用来搜索网络空间中在线设备的,通过Shodan 可以搜索指...【详细内容】
2022-01-18  磊氏信息安全    Tags:服务器安全   点击:(6)  评论:(0)  加入收藏
01使用top或者ps -aux | sort -k4nr | head -n 10命令查看占用cpu较高的进程:02使用systemctl status 19084查看Main PID,可以看到是定时任务:03使用cd /proc/681ls -ail查看所...【详细内容】
2022-01-11  走码客    Tags:CPU使用率   点击:(14)  评论:(0)  加入收藏
远程代码漏洞对广大程序员来并不陌生,远程代码执行是指攻击者可能会通过远程调用的方式来攻击或控制计算机设备,无论该设备在哪里。如果远程代码执行的是一个死循环那服务器...【详细内容】
2021-12-31  Java架构新资讯    Tags:Log4j2   点击:(20)  评论:(0)  加入收藏
Apache Log4j2 远程代码执行漏洞的问题最近闹得沸沸扬扬的,很多人都被大半夜叫起来紧急修复这跟问题。有很多人在微信上问我:这种漏洞还能怎么修?下次有问题还要再升级版本吗?有...【详细内容】
2021-12-30  Java架构新资讯    Tags:Log4j漏洞   点击:(20)  评论:(0)  加入收藏
在最近的一波攻击中,黑客利用多个插件中未修补的漏洞攻击了 160 万个 WordPress 网站。 易受攻击的插件对 WordPress 网站产生了的巨大攻击数据。 Wordfence 最近发现 WordPr...【详细内容】
2021-12-16  蚁安    Tags:WordPress   点击:(28)  评论:(0)  加入收藏
事件起因从安全分析系统里面发现一条带有病毒的下载,然后针对这条记录展开了一系列的分析分析过程1.登录到被感染服务器,查看系统状况,hadoop 这个用户在 2020/6/18 20:32 从这...【详细内容】
2021-11-23  Z2990Lig    Tags:SSH   点击:(42)  评论:(0)  加入收藏
1、除了服务器需要用的一些正规软件,其它都不要安装。2、在用户中把administrator改名,这样做的目的是即使对方暴破了我们的密码用户名也不容易猜住,相当于又加了一道关卡。...【详细内容】
2021-11-01  IT小哥吧    Tags:服务器   点击:(51)  评论:(0)  加入收藏
账户安全(1)更名administrator本地用户并禁用guest账户步骤:点击“开始”,找到“管理工具”,点击里面的“计算机管理”,找到“本地用户和组” (2)设定账户锁定策略尝试5次失败...【详细内容】
2021-10-12  Kali与编程  今日头条  Tags:Windows主机   点击:(77)  评论:(0)  加入收藏
本文主要介绍以Microsoft的Windows Server 2019 ,版本:Datacenter(Domain Controller)安全加固保护.企业随着规模不断扩大,业务增多,信息安全建设是企业里一条只有重点没有终点...【详细内容】
2021-09-17  Vireshark    Tags:服务器安全   点击:(86)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条