声明:本文仅代表个人观点,与其它个人或组织无关。文中对社区守护者联盟管理者 任真 的发言引用已获得许可,其内容仅供参考,文中对其进行了不影响原意的修改,以切合书面语风格。
动机
昨天我在社区守护者联盟客服群看到了这样一件事:一名作者的文章被锁定,申诉被驳回,给出的理由是文章内容由 AI 生成。
审核方给出的证据是一张 AI 生成内容检测工具的截图,上面显示文章有 95% 概率由 AI 生成。
借此机会,我询问了官方对于 AI 生成内容的看法,得到的回复如下:
简书是原创平台,不接受使用人工智能创作的内容,没有权重与是否推文之分。如果被其它用户举报,查证属实后会进行处理。
——任真
于是我继续追问,如果只使用 AI 生成大纲,然后自己完成内容撰写呢?没有人给出意见。
之后,我又询问了他们使用工具的来源,并通过搜索找到了对应工具,对相同文段进行了检测,确认检测结果属实。
注意,结果属实不代表结果正确,只意味着结果没有被恶意篡改。
于是围绕这个问题,我们进行了一番讨论,期间我提出要和社区商议这一问题,没有人明确表态,至此,我打算写篇文章聊聊这个话题。
于是在讨论结束后我表示了自己的计划,并申请到了相关发言的使用许可。
另外,上述提到被锁的文章在经过多工具比对,并对作者其它文章进行检测后判定为人工创作内容,现已解锁。
问题
从这一事件中,我们找到了几个疑问点。
首先,平台以使用 AI 创作为由对作者进行锁定文章、限制发文等处罚是否合规?如果是,这一规定是否与监管因素有关?还有哪些因素导致了这一规定的设立?
对于 AI 内容对人工创作带来的冲击,简书目前如何应对?其它平台如何应对?几种应对方式孰优孰劣?
AI 生成内容检测工具的原理是什么?是否准确?
作为创作者,我们是否要使用 AI 辅助创作?
AI 创作的内容版权归属于谁?
AI 内容的泛滥会影响自身发展吗?
平台能不能管?是不是必须管?为什么要管?
首先,作为互联网平台,简书有权利在法律允许范围内对用户的创作行为做出规定,并对违规行为进行相应处理,因此本事件中简书并无过错。
关于合规问题,我找到了网信办发布的《生成式人工智能服务管理暂行办法》,这份文件目前已经审议通过,将在 2023 年 8 月 15 日起施行。
关于内容合规,《办法》中的规定如下:
第四条 提供和使用生成式人工智能服务,应当遵守法律、行政法规,尊重社会公德和伦理道德,遵守以下规定:
(一)坚持社会主义核心价值观,不得生成煽动颠覆国家政权、推翻社会主义制度,危害国家安全和利益、损害国家形象,煽动分裂国家、破坏国家统一和社会稳定,宣扬恐怖主义、极端主义,宣扬民族仇恨、民族歧视,暴力、淫秽色情,以及虚假有害信息等法律、行政法规禁止的内容;
而这一规定在简书用户协议中已有涵盖,此事件中作者发布的内容也并未违反该款规定。
由此可见,简书平台的这一规定并非监管强制要求。
不知道大家是否记得社区守护者联盟宣布禁止非伯乐推荐诗歌上榜的公告:
由于诗歌类内容文字较少,且可以通过机器进行自动生成,同时也存在部分用户利用三行诗撸钻的行为......
这一规定发布于 2022 年 7 月,早于 ChatGPT 为代表的大语言模型兴起的时间,但在那时,已经有大量工具可以通过简单的韵脚匹配和小型神经网络进行诗歌生成了。
社区想要打击的是「低成本、高度自动化创作获取收益」以及「利用大量非原创文章占据排行榜高位,影响榜单发挥其应有功能」的行为。
注意,这里的「原创文章」特指「由人类作者自己创作,且未使用任何自动生成工具辅助,未大量引用他人内容的文章」,关于 AI 生成内容的版权问题,我们会在后文进行讨论。
简书文章收益排行榜的收益分配遵循齐夫定律,因此收益的长尾现象较为严重,使用大量稍低质量的文章可以较稳定地获取尾部收益,是一种可行的撸钻手段,而这一行为会降低平台的整体文章质量(推荐算法中获赞量 / 获钻量不是唯一决定因素),继而影响平台的发展。
同时,由于简书允许用户使用真实货币交换简书资产,继而提升自身权重,而对社区的观察表明,高权重且创作频率较高,内容偏文学性的作者更容易得到同样高权重作者的关注,因此在原创文章中夹杂 AI 生成文章,从而利用高权重用户人脉登上排行榜是可行的。
这一行为将影响榜单内容质量,与通过自动化工具生成诗歌、撰写「内容价值相对较低」的日记类、句子摘抄类文章带来的负面影响类似。同时,此类文章也会导致由 LP 理事会小赞助力、社区多合伙人助力的文章难以登上排行榜低位,从而影响相关作者和组织的收益,使其通过点赞助力对社区做出贡献的意愿下降。
综上所述,简书有权力管,上级没有要求必须管,但为了社区的良性发展不得不管。
简书怎么管?其它平台怎么管?怎么管更好?
简书
简书官方账号、任真(社区守护者联盟管理者)、LP 理事会都没有对 AI 创作内容发布明确的管理规定,简书用户协议中也未对此做出要求。根据对社区的观察,我们推测的管理规则如下:
检测条件:发布文章后机器审核不包含 AIGC 检测,仅在向官方专题投稿、被官方组织推文、文章登上收益排行榜,或接到用户主动举报时才会进行检测,且目前不确定检测是否为全量。
检测标准:使用公开的 AI 内容检测工具进行判定,暂不确定是否仅使用一款工具进行检测,但若主动要求复议,将对文章进行多工具联合比对,并同时检测作者近期发布的其它文章。
处罚措施:违规文章将被锁定,大量使用 AI 文章获取收益将被临时禁止发布文章和点赞,对严重行为可能处以临时封禁或永久封禁处罚,若对应文章被官方组织拟推荐,将取消推荐排期,并可能影响其后续被相关组织推荐的资格。可能影响在社区官方组织的职位和称号。
(目前仅能找到一例相关的违规记录:对于用户 @南浔难寻 利用 A I文章投稿伯乐专题并被推荐上榜的处罚)
申诉 / 复议方式:简书 App 内申诉、在社区守护者联盟客服群直接提出、发邮件到 help@jianshu.com。
免责方式:在文章中声明内容使用 AI 创作可不因用户主动举报受到处罚,由于官方未提供相关选项,这一行为不会影响文章在推荐引擎中的权重,但该文章将无法被官方专题收录、无法被官方组织推文。目前不确定由社区高权重用户自发点赞上榜是否会使作者和点赞者受到处罚。
那其它平台如何管理 AI 生成内容?
知乎
知乎是国内的 UGC / PGC 创作平台,其内容以文字为主,多采用问答形式。
知乎在发布回答 / 文章时允许作者主动声明使用了 AI 创作,相关内容开头将被标注相应提示,不确定此声明是否会对推荐权重造成影响。
对于未主动声明的疑似 AI 创作内容,其推荐权重将受到影响。
用户可在举报内容时选择「扰乱社区秩序 - AI 生成内容」选项,该举报分类将导致内容进入复审。
回答场景中未主动声明的 AI 创作内容将被折叠,展示在问题页最下方,附有「疑似 AI 创作」折叠提示。
在 AI 生成内容集中出现的场景,平台将介入进行干预。
平台将打击批量发布 AI 生成内容的账号。
参考资料:
哔哩哔哩
哔哩哔哩是国内的 UGC / PGC 创作平台,内容以视频为主。
官方未对生成式人工智能创作的内容表态,但曾在 2021 年发布过关于 AI 换脸内容的相关规定,原因在于该项技术的潜在风险。
对于疑似使用 AI 合成技术的视频,其标题下方将出现「该视频疑似使用智能合成技术,请谨慎识别」的提示。
此类内容将不会参与推荐,同时禁止其在排行榜和热门位置展示。
参考资料:
StackOverflow
StackOverflow 是国外的软件开发问答平台,在相关领域拥有极高的知名度。
StackOverflow 的临时政策禁止用户向 ChatGPT 等大语言模型输入内容,并将其回复不加检查地发布到平台上,此政策对平台中的全部内容有效,但用户的个人简介除外。
即使内容没有技术性错误,若被核实为 AI 生成,也将受到处罚。
官方给出的原因是 AI 生成内容的正确率过低,但措辞看上去足够专业,发布相关内容的用户可能没有相关专业知识 / 不愿验证 AI 生成的内容是否正确,因此这些内容将损害其他用户的权利,并降低平台的内容质量。
管理员可在不事先警告的前提下将违反这一规定的用户封停最多 30 天。
StackOverflow 中的管理员不一定是其员工,通过回答问题等方式,普通用户也可以积累足够的信誉分,从而成为管理员,拥有对站内内容和用户的部分管理权限。
参考资料:
- Temporary policy: Generative AI (e.g., ChatGPT) is banned
- Why posting GPT and ChatGPT generated answers is not currently acceptable
Pixiv
Pixiv 是国外的插画创作与分享平台,同时具有约稿(付费私人创作、可买断版权)功能,在美术创作爱好者和专业画师群体中拥有极高的知名度。
Pixiv 对 AI 生成内容的定义包括生成后略加修改的作品,以及大部分或完全使用 AI 生成故事情节等内容创作的作品,但不包括仅使用 AI 提供灵感,由用户参考 AI 画作人工完成的作品。
Pixiv 不禁止发布 AI 生成内容,作者在发布作品时可主动声明其为 AI 创作内容,声明后的作品将带有对应标签,浏览 / 搜索作品时可选择过滤 AI 生成内容,且此类内容仅可参与 AI 作品专用排行榜排名。
在生成式 AI 刚刚兴起时,Pixiv 允许将 AI 生成作品投递到付费约稿区域,但由于大量用户使用 AI 创作投稿,从而获得大量收益,自 2023 年 5 月 29 日起,不再允许使用 AI 作品投递付费约稿,作者在投稿前需在个人主页设置承诺不投稿 AI 生成作品。
参考资料:
除 StackOverflow 禁止 AI 生成内容外,各平台对 AI 普遍持接受态度。
除简书外,其它接受 AI 生成内容的平台均允许作者声明内容为 AI 创作。
我们不可能强制所有人不使用 AI,即使是 StackOverflow,也允许作者在人工审核内容,确保其正确可信后发布到平台上。
各平台用户对 AI 生成内容的接受程度不同,如 AI 绘画模型 Stable Diffusion 刚刚发布时曾引起绘圈作者的抵制,Pixiv 还未对此表态时曾被大量用户声讨。
若简书想要以较为开放的姿态迎接 AI 生成内容,首先需要对相关规则进行完善,在充分征求社区意见后公开告知,力求达到与 800 字上榜限制相当的知名度。
同时,允许作者主动标注 AI 生成内容,通过已有的每日发文数量限制减少审核压力,同时允许读者在首页信息流 / 搜索页面过滤 AI 生成内容,专题也应支持设置为不接受 AI 生成内容投稿,对于已声明 AI 创作的文章,在投稿页面对专题进行过滤。
在无法控制 AI 生成内容质量时,可考虑与诗歌内容相同的处理方案,即普遍禁止该类文章上榜,高权重用户点赞 AI 生成内容时进行警告,对上榜的 AI 生成文章,可同时处罚作者和对热度贡献较大的点赞者。
对于官方组织,应给出合理的 AI 内容判定手段,力求对推荐上榜文章进行全量检测,这就引出了我们的下一个问题:
AI 生成内容检测工具的原理是什么?是否准确?
AI 检测工具也是 AI,是一种识别 AI 的 AI,可以认为是「生成对抗网络(GAN)」中的「判别器」。
什么是「生成对抗网络」?拿 AI 绘画举个例子,我们可以让两个 AI 互相 PK,这两个 AI 分别叫「生成器」和「判别器」。
生成器的任务是生成足够逼真的图片,让判别器认为这张图片是真实的。
判别器的任务是识别出不真实的图片。
于是生成器和判别器不断进化,最终版本的生成器就是我们使用的作画 AI。
AI 检测工具的原理类似,通过使用大量的人类创作内容和 AI 生成内容进行训练,让 AI 具有识别内容是否为 AI 生成的能力。
机器学习问题主要分两部分:分类问题和回归问题。
分类问题的输出是一个类别,例如让 AI 识别手写数字、识别猫和狗。
回归问题的输出是一个或一系列数据点,例如用 AI 预测围棋胜率、预测股票涨跌。
AI 生成内容检测就属于分类问题。
而提高分类准确率最有效的途径之一,就是增大训练数据量。
数据从哪里来?人类数据简单,选一些无版权的作品即可,AI 内容呢?当然是从各种生成式 AI 本身来。
如何批量获取 AI 数据?写程序自动化。
但大批量使用生成式 AI 是收费的,虽然 ChatGPT 等模型的调用成本已经很低,但想要获取到足够的数据量,依然有较高的成本消耗,除了自己训练生成式 AI 的公司(他们一般会训练对应的检测模型用于数据清洗等用途,而且他们最懂自己的模型缺陷在哪里),没有人可以规避这个成本。
同时,由于生成式 AI 模型的复杂性,检测模型也要拥有较大的规模,而大规模模型训练的算力成本是很高的。
ChatGPT 在 2022 年 11 月发布,大语言模型这个行业兴起才不到半年,拥有足够动机、掌握充足算力并有意愿将成果公开的公司寥寥无几。
由此,我们可以推断出目前 AI 生成内容检测模型的准确率依然受限,上文知乎的案例中也有大量用户反馈自己的内容被误判。
简书想要检测 AI 内容,大量使用 AI 自动化是行不通的,一方面会导致更多的锁文和申诉驳回问题,另一方面会被他人恶意利用,使用 AI 检测工具批量检测社区核心作者的文章,对检测工具误判为 AI 生成内容的文章进行举报,从而影响这些文章的流通,同时降低作者的创作热情。
人工检测不可或缺,数据基础也是重要的一环,通过对文章自动保存历史的分析,可以识别出复制大段文字后少量修改这种典型的「AI 辅助创作」行为,但这一手段可通过使用第三方创作软件进行规避,同时也会误伤部分作者,需要谨慎考虑。
作为创作者,我们是否要使用 AI 辅助创作?
简短回答:It depends.(不一定)
但这个 Depend 的因素与简书的受众有关。
如果生成式人工智能革命在五年前爆发,那时简书还是一个技术分享为主的平台,那我肯定会说 Yes,并提醒你注意审查 AI 生成的内容。
StackOverflow 2023 开发者年度报告 调查了开发者对 AI 技术的看法,在 89184 份有效数据中,有 70% 的开发者表示他们已经,或者打算使用 AI 来辅助开发,而在初学者中,这一比例是 82%。
现在,简书已经变成一个低门槛、面向大众的创作平台,技术内容占比正在不断下滑,虽然简书本身是一个年轻化的社区,但并非所有人都对 AI 持接受态度。
如果抛开平台的规则限制,我会鼓励文学类创作者使用 AI 生成小片段,并在其基础上进行润色,但不建议用它生成长篇文章。受模型可存储的信息限制,AI 的记忆也是暂时的,随着对话的深入,它会忘记刚开始的内容。
对于专业类文章,由于 AI 在理论知识上经常出现「我不懂,我回答的不对,但我看起来是个专家」的情况,我更建议作者使用 AI 辅助创作文章的引言和后记部分,主体内容依然以人工创作为主,毕竟如果需要整合网络上的参考资料,将有意义的信息喂给 AI 还是有点复杂的一件事。
对于诗歌创作,我不建议大家使用 AI。诗歌是传递情感的工具,而不是遵循韵脚规则机械生成的文字,使用 AI 生成诗歌内容没有情感意义,不能引发读者共鸣,但在想不出合适单字时让 AI 帮帮忙未尝不可。
回到平台规则限制的框架中来,对于上述内容,如果你使用了 AI,强烈建议你在文章开头进行声明,同时由于大家的接受程度差异,这可能会导致你的读者流失,也有可能因为跳出率增加影响文章推荐。
作为创作者,对方没表态,就视为不接受 AI 生成内容,写文章稳妥一点,评论文章大胆一点,参与活动谨慎一点,简书生活才能轻松愉快一点。
作为专题管理者和活动举办者,也该找个机会和团队成员商议一下,对于不会推荐上榜的文章,是否允许使用 AI 创作,这类文章是否参与奖励评定,提早制定规则并公开总是好的。
另外,现在有一些通过个人知识库数据训练小型生成式 AI 模型的项目,有技术能力,且自己积累了一些原创内容的简友可以尝试一下,通过使用正确的基模型,在自己原创内容的基础上进行训练,可以获得相对贴近自己知识领域的生成结果,同时也能规避我们即将谈到的问题——版权风险。
AI 创作的内容版权归属于谁?
事先声明:本文作者并非法律相关从业者,以下内容仅供参考,不构成法律建议。
这个问题目前还处在争论中,我国《著作权法》规定创作的主体必须是人,因此使用极少量的提示词,甚至直接复制粘贴现有提示词生成的内容,是存在较大版权风险的。
与此相对的另一个极端,如果你从零开始搭建神经网络模型,使用在公有领域数据训练的基模型,用自己的原创文章数据进行调优,最后生成的内容当然是属于自己的,因为「设计并验证模型」也是你在创作过程中付出的脑力劳动。
而在这两者之间,我们日常能接触到的 AI 模型,主要版权风险并非在于人机对创作贡献的占比,而是模型本身——这个模型是否完全使用免版权的内容进行训练?如果不是,那使用它会面临一定版权风险。
当然,如果你的内容并不会被印制出版,也并非商业用途,声明由 AI 创作可以规避一小部分风险。现行法律并没有明确规定「使用他人作品进行 AI 训练,并生成完全不同的内容」是否构成对原作品的「衍生创作」。
另外,发布 AI 的公司也可能有自己的限制,如百度文心一言生成的内容,其著作权归属于百度公司。
总之,风险无法避免,如果你需要保证自己作品的绝对安全,请不要使用 AI 创作。
AI 内容的泛滥会影响自身发展吗?
在研究上文 StackOverflow 的案例时,我看到了这样一种说法:如果放任 AI 内容流入平台,将导致现有的、完全由人类创作的语料库受到污染,致使 AI 无法持续学习,继而阻碍其迭代。
这是一个很有意思的切入点,如果以此展开,可以写一篇科幻小说了,不过我们还是从技术角度探讨这个问题,语料库受到自身生成的内容污染,是否会阻止 AI 进化?
会,但不绝对。「AI 会自己找到出路」。
真实的互联网环境太复杂,我们先设置一些边界条件:
- 世界上只存在一种 AI,且这个 AI 只有一种神经网络模型
- 语料库可以被完全获取,不存在隐藏的内容,无论其是否为人类所作
- 语言一定会随时间持续改变,并产生新的词汇和句法
物理学中有一个名词叫做熵,简单解释就是物质的混乱程度,且存在一条基本公理:在一个独立的系统中,熵会自发增加。
那我们可以仿照熵来定义「语料数据中可被 AI 提取并利用的最大信息量」,称为 X。
根据边界条件三,随着语言的发展,X 的值会不断增加。
同时,定义当前 AI 实际提取并利用的信息量,称为 Y。
显然,由于算力有限,Y 只能无限接近 X。
当语料库中 AI 生成的,信息量为 Y 的数据占比增加,X 值的导数(变化速率)将放缓。
理论部分结束,得到结论:在这个框架下,AI 内容占比的增多将导致其自身进化放缓。
但如果我们拿掉边界条件一,允许世界上存在多种 AI,且允许希望 AI 持续迭代的人优化其模型,同时赋予其近乎无限的算力,则 Y 值会随着模型优化,更快逼近 X,模型优化带来的收益,在 X 不断增长时或许可以抵消有效数据占比减小的影响。
如果我们拿掉边界条件二,使部分内容无法被 AI 获取,由于无法被获取的内容是随机的,并不存在选择性,因此对 AI 进化无影响。
也就是说,部分平台禁止以 AI 目的抓取其内容,在这个 AI 本身具有足够强泛化(将其它领域知识进行整合)能力,且算力增长可基本覆盖训练需要的情况下是无效的。
而提升 AI 模型的泛化性,是人工智能领域的重要研究方向。
也许会有人研究 AI 研发公司的数据抓取逻辑,使用大量无效数据污染数据集,达到合法阻止 AI 发展的目的?上文提到的检测模型对此效果如何?有没有可能训练出一种对现有 AI 生成内容进行改写,使其通过 AI 生成内容检测的新 AI?
我们不知道未来会走向何处,但我们于 AI 而言已不再是独立的个体。
引用「AI 孙燕姿」事件中孙燕姿本人评论的一段话:「你并不特殊,并且你可被计算」。
后记
一篇有点跑题,有点专业的文章,从简书社区的一个现象聊到其它平台的做法,谈了谈简书本身需要改进的地方,给了大家一点拙劣的建议,简单说了下版权问题,最后用并不严谨的证明给了一个不确定的结果。
看了眼右下角,已经七千字了,本来打算四千字结束的。
简书上一千多字的文章最受欢迎,如果推荐算法把完读率和阅读时间纳入考量的话(这是大概率的事),这估计又是一篇没人看的文章。
也罢,面对未来的洪流,你选择什么航向取决于自己。
我选右满舵,翻就翻了,至少背浪那一面相对平静点。
future = model.predict(data) if confidence_in_ai > 0.5 else human.think(present)