百度机器审核 Quick Start Python

作为公司内容安全负责人的小宋管理着近200人的人工审核团队,这给小宋带来了较大的压力:压力一方面来自审核人员流动大、培训成本高,并且公司每年为这200人的团队薪酬投入近3000万;一方面来自于审核人员水平参差不齐,不是每个人都能按照审核标准严格执行。 小宋认为只有通过机器+人工的审核方式才能提高人员效率,提升审核质量,同时可以把一部分审核人员转去做其他更有价值的工作,通过将市面上多家厂商的能力互相比较,小宋选择了百度的内容审核服务,切实提升了审核质量和效率,降低了公司的运营成本,下面让我们一起来和小宋看一下如何接入百度内容审核服务吧。 下面看看如何基于百度AI开发平台的内容审核平台实现对图片和文本内容审核

实现步骤

只需三步1小时内即可完成内容审核接口的调用。

Step1:成为百度AI开放平台的开发者

要调用百度AI开放平台的内容审核能力先要成为百度AI开放平台的开发者,首先让我们花5分钟来注册百度AI开放平台的开发者,并新建一个内容审核应用。

先点击此处注册百度账户进入 如下图 的页面快速的建立一个百度账号吧。

image

我们有账号之后登录,并且点击此处创建一个应用如下图

image

然后就能看到创建完的应用和 API KEY 以及 Secret KEY

image

有定制审核需求的话,可以进入内容审核平台创建自定义策略

image

Step2:准备数据

内容审核主要针对的是用户的图片以及文本进行审核,让我们准备几张图片以及一些文本,看看通过内容审核平台是否能够代替人工做图片和文本的审核:

合规图片:

image

不合规图片(包含广告):

image

合规文本:

我们要热爱祖国热爱党

不合规文本(低俗):

我要爆粗口啦,百度AI真他妈好用

Step3: 编写一个示例程序

第一步API KEY 以及 Secret KEY,以及第二步的数据,我们就可以写一个示例代码调用百度AI开放平台的内容审核能力

准备开发环境

我们选择用python来快速搭建一个原型,关于如何安装python。可以参考下表列出的不同操作系统的安装方法进行安装。

Python的官方下载地址:下载python

image

Windows 快速测试包

windows平台的用户如果对上述的python安装感到困难,可以下载我们的一键测试包,下载地址:windows测试包

解压zip文件后,双击run.bat即可测试。

编写代码

新建一个 main.py

粘贴以下内容,不要忘记替换你的 API_KEY 以及 SECRET_KEY

# coding=utf-8

import sys
import json
import base64

# 保证兼容python2以及python3
IS_PY3 = sys.version_info.major == 3
if IS_PY3:
    from urllib.request import urlopen
    from urllib.request import Request
    from urllib.error import URLError
    from urllib.parse import urlencode
    from urllib.parse import quote_plus
else:
    import urllib2
    from urllib import quote_plus
    from urllib2 import urlopen
    from urllib2 import Request
    from urllib2 import URLError
    from urllib import urlencode

# 防止https证书校验不正确
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

API_KEY = 'eQnGqPdFTTctqkjHvdUEzmrC'

SECRET_KEY = 'HDBuwWT4pfSBGyLkTEAYhwoQkoDGrWU2'

IMAGE_CENSOR = "https://aip.baidubce.com/rest/2.0/solution/v1/img_censor/v2/user_defined"

TEXT_CENSOR = "https://aip.baidubce.com/rest/2.0/solution/v1/text_censor/v2/user_defined";

"""  TOKEN start """
TOKEN_URL = 'https://aip.baidubce.com/oauth/2.0/token'

"""
    获取token
"""
def fetch_token():
    params = {'grant_type': 'client_credentials',
              'client_id': API_KEY,
              'client_secret': SECRET_KEY}
    post_data = urlencode(params)
    if (IS_PY3):
        post_data = post_data.encode('utf-8')
    req = Request(TOKEN_URL, post_data)
    try:
        f = urlopen(req, timeout=5)
        result_str = f.read()
    except URLError as err:
        print(err)
    if (IS_PY3):
        result_str = result_str.decode()

    result = json.loads(result_str)

    if ('access_token' in result.keys() and 'scope' in result.keys()):
        if not 'brain_all_scope' in result['scope'].split(' '):
            print ('please ensure has check the  ability')
            exit()
        return result['access_token']
    else:
        print ('please overwrite the correct API_KEY and SECRET_KEY')
        exit()

"""
    读取文件
"""
def read_file(image_path):
    f = None
    try:
        f = open(image_path, 'rb')
        return f.read()
    except:
        print('read image file fail')
        return None
    finally:
        if f:
            f.close()

"""
    调用远程服务
"""
def request(url, data):
    req = Request(url, data.encode('utf-8'))
    has_error = False
    try:
        f = urlopen(req)
        result_str = f.read()
        if (IS_PY3):
            result_str = result_str.decode()
        return result_str
    except  URLError as err:
        print(err)

if __name__ == '__main__':

    # 获取access token
    token = fetch_token()

    # 拼接图像审核url
    image_url = IMAGE_CENSOR + "?access_token=" + token

    # 拼接文本审核url
    text_url = TEXT_CENSOR + "?access_token=" + token

    file_content = read_file('./image_normal.jpg')
    result = request(image_url, urlencode({'image': base64.b64encode(file_content)}))
    print("----- 正常图调用结果 -----")
    print(result)

    file_content = read_file('./image_advertise.jpeg')
    result = request(image_url, urlencode({'image': base64.b64encode(file_content)}))
    print("----- 广告图调用结果 -----")
    print(result)

    text = "我们要热爱祖国热爱党"
    result = request(text_url, urlencode({'text': text}))
    print("----- 正常文本调用结果 -----")
    print(result)

    text = "我要爆粗口啦:百度AI真他妈好用"
    result = request(text_url, urlencode({'text': text}))
    print("----- 粗俗文本调用结果 -----")
    print(result)

运行代码

在命令行中运行python main.py

结果

若代码正确运行,命令行界面上会显示出运行结果:

----- 正常图调用结果 -----
{"conclusion":"合规","log_id":15589290206915234,"conclusionType":1}
----- 广告图调用结果 -----
{"conclusion":"不合规","log_id":15589290221307686,"data":[{"msg":"存在水印码内容","probability":0.86516607,"type":5}],"conclusionType":2}
----- 正常文本调用结果 -----
{"conclusion":"合规","log_id":15589290234750607,"conclusionType":1}
----- 粗俗文本调用结果 -----
{"conclusion":"疑似","log_id":15589290237990632,"data":[{"msg":"疑似存在文本色情不合规","conclusion":"疑似","hits":[{"probability":0.802,"datasetName":"百度默认文本反作弊库","words":[]}],"subType":2,"conclusionType":3,"type":12}],"conclusionType":3}

可以看到结果中返回了内容审核服务对于图片以及文本的审核结果,包括了概率以及不合规的类型,具体字段的含义都在内容审核REST API文档 中有这详细的释义。

总结

小宋带领团队使用了百度内容审核平台实现对所有图片的全量初步审核,配合人工复审对疑似图片和违规图片进行二次确认,又高效又准确,降低了平台违规的风险

了解更多

示例源代码

您可以在我们的官方github上下载示例源码

https://github.com/Baidu-AIP/QuickStart/tree/master/CONTENT_CENSOR

产品特色

● 天级别更新监管要求

基于百度海量违规样本库、政策法规和监管单位的审核要求,经由风控专家解读后实时更新审核策略,让审核能力与时俱进。

● 百万量级公众人物库

依托于百度百科海量优质数据,公众人物库升级至百万量级,支持国内外各种歌星、影星、体育明星、政要等,全方位提升审核效率,规避业务风险。

● 更全面精细的审核能力

提供色情、暴恐、政治敏感、广告、恶心、图文审核等多个维度的审核能力,各审核维度下标签丰富,色情识别包含16类细分标签,包括一般色情、卡通色情、SM、亲密行为、卡通正常、儿童裸露、自然男性裸露、艺术品色情等;暴恐识别包含暴恐人物、暴恐旗帜、警察部队等12类细分标签;广告支持水印、二维码、条形码识别;图文审核支持6类文本违禁类型。一站式满足用户所有审核需求。

● 更灵活自由的审核配置

审核平台支持用户上传自定义图片、文本黑白库,敏感人脸自助入库等功能;同时用户可以自由选择审核维度和审核细粒度标签,并可以自行调整审核模型的松紧度,实现贴合业务需求的审核能力。

更多参考

参见内容审核REST API文档

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,386评论 6 479
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,939评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,851评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,953评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,971评论 5 369
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,784评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,126评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,765评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,148评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,479评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,080评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2 343

推荐阅读更多精彩内容

  • 健身房APP结合菜品识别开发案例 连锁健身品牌技术部门负责人马主管,负责开发健身房的APP。由于健身和减脂塑形讲究...
    7086cmd阅读 1,138评论 0 1
  • “黎子沐,把作业收好送到我办公室。”英语老师再叫她。 “好。”黎子沐立即放下手中的笔,走到讲台,发号施令,“大家快...
    兮兮亚阅读 540评论 0 0
  • 今天有位简友指点说,画素描不能只画表面,这样太平乏,太简单。看不到的地方,也要画出来。 有点儿懵了,有些不理解。 ...
    楚天月色阅读 362评论 4 9