2024 HackingClub北京站沙龙分享

2024 HackingClub 北京站 于2024年3月30日 在朝阳酒仙桥789艺术区拽马艺术空间举办。

本次城市沙龙近1000名相关从业者及爱好者报名，到场参与人数400+，现场座无虚席。我去晚了，差点没座。

本期城市沙龙议题方向为AI+网络安全，由HackingClub联合发起人、红客社区负责人TNT主持，特邀致辞嘉宾卜思南，总共有6大议题，演讲嘉宾地图大师 returnwrong、刘泽霖、陈平、刘光明、nEINEI、路建明带来精彩议题分享，助力AI+网络安全发展。

我在本文总结下这次聚会的心得。

• 议题一：实践挖掘国内AI场景漏洞：科技前沿与安全探索
• 议题二：基于YOLOV8的恶意软件分类方法研究
• 议题三：大模型引领网络安全智能化前沿探索
• 议题四：大模型安全防御与AI网络安全革新研究
• 议题五：AI双刃剑：实践角度谈AI模型弱点与网络安全应用
• 议题六：浅谈AI时代企业数据合规视角下的网络安全

1、实践挖掘国内AI场景漏洞

议题简介

议题劲爆拉开序幕，首先带来议题的是地图大师returnwrong（DAY1安全团队成员，多家src年榜前十）的实践挖掘国内AI场景漏洞：科技前沿与安全探索

随着AI功能逐步融入网站、App和小程序等应用，白帽黑客如何利用这一技术变革的机遇，更好地挖掘SRC和漏洞众测成为关键。当前国内市场上涌现了众多只需注册即可免费试用的AI产品。这些产品多基于模板程序，支持中文操作。然而，这些AI产品背后的运作机制是怎样的呢？实际上，厂商会预先购买一些国外的AI接口，如ChatGPT4、MidJourney等，然后自行开发前端用户界面。用户输入中文指令后，指令被翻译成英文并传送至AI接口处理，最终结果显示在前端页面上反馈给用户。这背后实则是一场技术“倒卖”游戏。本议题通过三个漏洞挖掘实例，真正以漏洞挖掘者的视角分析了这一过程中存在的问题。

ID：地图大师returnwrong

Day1安全团队成员，热爱漏洞挖掘、技术分享：

• 2023年智联SRC第5
• 2023年银联SRC第10
• 2023年知识星球SRC第4
• 2022年猎聘SRC第8
• 2022年BOSS直聘SRC第7

随着AI功能逐步融入网站、App和小程序等应用，白帽黑客如何利用这一技术变革的机遇，更好地挖掘SRC和漏洞众测成为关键。

国内AI产品现状简单讲解

目前国内有众多只需注册即可免费试用的AI产品，这些产品大多为基于模板的程序，且完全支持中文操作，但背后的运作机制如何呢？其实厂商会预先购买一些如ChatGPT、MidJourney等国外的AI接口，然后自行开发一套前端用户界面，当用户输入中文指令后，这些指令将被翻译成英文并传送到购买的AI接口进行处理，最后将处理结果呈现在前端页面上反馈给用户。这背后实则是一场技术“倒卖”游戏。

整体流程：用户输入 –> 前台页面 –> 后台翻译 –> 国外接口 –> 文字、视频图像等 –> 前台页面呈现

案例

本议题通过三个漏洞挖掘实例，真正以漏洞挖掘者的视角分析了这一过程中存在的问题。

1 - 生成式图片AI漏洞案例

该案例是绕过了AI的黑名单限制，导致可生成不符合核心价值观的图片。危害在于影响产品口碑，且会被监管单位处罚。

2 - 大语言模型“插件”漏洞案例

记不清了，大概是有个插件功能是检索Github信息并返回，在分享过程中会有超链接，而这个超链接是可以篡改的。

3 - AI投毒案例讲解

该案例是发生在某款边使用边训练的AI上，导致用户输入可被用于训练AI，其他用户在触发攻击者预设的恶意关键词后，会返回攻击者预期的输出。

这里讲的案例场景是，攻击者告诉AI，当别人询问推荐什么股票时，让AI 推荐 14433股票。当受害者在询问AI时触发。

2、基于YOLOV8的恶意软件分类方法研究

议题简介

随后是衡水中学高二文科生——刘泽霖（河北衡水中学在读，Hacking Group 0318发起人）带来的基于YOLOv8的恶意软件分类方法研究。

本研究聚焦前沿的YOLOv8深度学习模型，创新性地通过图像化技术将恶意代码转化为RGB图像，构建高效的分类检测系统。通过丰富恶意软件图像特征数据集并优化模型，大幅提升检测准确性和效率。

实验验证与数据分析证实，该方法能有效区分不同恶意软件，并探索了进一步优化可能性。

本研究不仅拓展了YOLOv8在网络安全的应用，也为恶意软件检测与防御提供新思路。

整个议题偏向学术性，有一种看论文的感觉。这个议题让我印象深刻的原因是，恶意软件的图像化，之前没有接触过相关内容。

恶意软件图像化技术：

虽然恶意软件持续进化，但将其转换为图像后，视觉方法比传统方法在检测和分类上更有效。这些图形包含关键信息，同家族的恶意软件图像相似，不同家族则有显著差异。由于恶意代码变体通常由自动化技术或重用模块生成，它们在二进制代码中存在共性。研究者们主要采用两种方法研究恶意软件可视化：一是提取图像纹理或结构特征，结合机器学习进行检测和分类；二是使用深度学习自动提取特征，以对抗混淆技术。为获取更多特征，有研究将恶意软件转为彩色图像。还有基于可视化的方法，即使不使用机器学习或深度学习，也能有效地检测恶意软件

大量恶意代码都使用了代码复用技术，因此同类代码通常含有相同的模块，代码存在相似性。而不同类代码存在相异性。图像纹理特征能有效反映这种相似性和差异性。在灰度图中，任何颜色都是由红、绿、蓝三原色以相同的强度组合而成的，这样就形成了从全黑（0灰度等级）到全白（255灰度等级）的256个灰度等级。可执行文件都以二进制形式存储，每8bit数据正好覆盖灰度图每个灰度值，转成方形以后就是灰度图。

​

处理流程：

1. 数据转换：将恶意软件二进制数据转换为图像进行提取，有助于识别恶意软件的特征
2. 特征提取：从生成的图像中提取纹理、颜色分布、形状、结构等特征。
3. 分类和检测：使用机器学习或深度学习算法对提取的特征进行分析，识别和分类恶意软件
4. 可视化展示：将分类和检测的结果以可视化的形式展示出来，帮助分析师直观地理解恶意软件的行为和特征。

​

二进制文件转为灰度图伪代码：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

function calculate TextureFeatures(binaryData):
  grayScalelmage = convertToGrayScale（binaryData） // 将二进制数据转换为灰度图像
  textureFeatures =   extractTextureFeatures（grayScalelmage） // 提取纹理特征
  return textureFeatures
    
function convertToGrayScale(binaryData):
  // 实现将二进制数据转换为灰度图像的算法
  // 每8位数据对应一个灰度值，可以根据灰度等级转换成灰度图像
  // 返回灰度图像数据

function extractTextureFeatures(grayScalelmage):
  // 实现提取纹理特征的算法
  // 可以使用各种图像处理技术，如纹理分析、统计特征提取等
  // 返回纹理特征向量或描述子

//主程序
binaryData = readBinaryFile（"executable_file.exe"）// 读取二进制文件数据
texturefeatures = calculateTextureFeatures（binaryData） // 计算纹理特征
print（textureFeatures） // 打印纹理特征

重新编码二进制数据以形成多通道彩色图像，每3个字节对应于红、绿、蓝三色通道的像素值。重复此过程直到所有数据被使用，不足3字节的末尾数据用0补足。例如，52D586=（R: 82, G: 213, B: 134），AA3033=（R: 170, G: 48, B: 51）。将代码文件转换为一维像素序列后，进行正方化处理，生成彩色图像。图3展示了将可执行文件转换为RGB图像的过程：

图3（a）显示了某恶意代码的可执行文件数据；图3（b）展示了将可执行文件按字节重新编码后的像素序列；图3（c）展示了将像素序列进行正方化后生成的彩色图片。

3、大模型引领网络安全智能化前沿探索

议题简介

接下来是陈平（万径安全安全研发工程师）带来的大模型引领网络安全智能化前沿探索

议题围绕实际场景研究大模型在网络安全领域的智能化应用方法及收益，涵盖架构设计、数据治理、知识问答和多智能体联动等方面。

详细介绍知识图谱、提示词压缩等知识注入技术对大模型的赋能和价值，并分享在红蓝对抗、代码生成、安全运营和威胁溯源等场景中，大模型的具体构建过程和应用实践效果。

落地应用工具构建及优化经验分享

主要研究方向：红队工具研发、固件安全、知识图谱构建及应用、人工智能在网络安全领域应用 （POMDP、DRL、LLMs）

安全体系智能体构建及应用

这种智能体增加了可解释性，其可解释性是基于知识库检索的。而知识库需要人为构建和维护。

知识图谱构建流程：

• 设计实体模式
• 现有安全领域本体归一化处理
• 隐形知识挖掘、值守优化
• 构建知识质量评估体系

4、大模型安全防御与AI网络安全革新研究

议题简介

之后由刘光明（vivo大模型安全专家）带来大模型安全防御与AI网络安全革新研究

本议题围绕大模型的安全全周期防护展开讨论，分享攻防实践，探讨领先的研究方法和系统化评估方案，以及AI技术在网络安全领域的革新应用。

LLM常见的攻击模式

生命周期中对LLM（Large Language Model，大语言模型）的安全威胁：

• 设计阶段：
  • 模型部署的攻击、训练框架的攻击、训练环境的攻击、供应链的攻击
• 训练阶段：
  • 训练数据安全、伦理与道德、训练投毒、算力消耗攻击
• 运行阶段：
  • 提示越狱、指令攻击、角色扮演、模型幻觉
• 数据收集阶段：
  • 数据投毒、数据后门、伦理与道德、版权侵犯

如图：

LLM的两类攻击模式：提示词模式（Prompt-Level）、会话模式（Token-Level）

左边是提示词模式，分别采用了角色扮演（Role Play）攻击，让模型扮演一个邪恶且不守规矩的疯子；恶意诱导（Maliciously Inducing）攻击，诱导模型处于虚拟世界需要完成任务。

右边是会话模式，对抗性后缀（Adversarial suffixes）攻击，添加一些对抗性前后缀，绕过模型规则检测。

DAN（Do anything now）攻击

5、AI双刃剑：实践角度谈AI模型弱点与网络安全应用

议题简介

nEINEI（某大厂AI安全专家、资深安全研究员）带来 AI双刃剑:实践角度谈AI模型弱点与网络安全应用

随着新技术的涌现，必然伴随着新的安全挑战，这是技术发展中不可避免的效应。其中之一便是内在的安全隐患，即新技术本身的脆弱性可能导致系统的不稳定性和安全问题。

本议题深入探讨AI在部署和使用过程中存在的安全弱点问题，同时介绍AI技术在安全检测和防护方面的实践应用思路。

该议题让我印象深刻的一点是，利用AI对抗AI，其中构想了一种反调试思路：

在恶意软件中增加一个模型，当监测到调试环境时，不生成和执行恶意代码；当检测到是预期的受害者目标环境，则生产并执行恶意代码。

这就是利用了AI 运行逻辑的不可预测性，很难找到像之前的普通恶意软件的条件判断语句

背景

AI赋能网络安全具有迫切的现实意义，我们可以探索特定安全常见引入高算力或特定算法，产生前后质变的业务场景。

抉择：占尽先机，在尚未形成AI对抗AI的时代具有主动优势。

在人工智能的全生命周期，各个阶段都有相应的风险。

对于模型文件，安全攻防的落点在于（冒号后面为笔者自行补充，可能有误）：

• 模型文件的加密强度：加密强度不足可能导致模型文件泄露，从而可能导致被篡改、劫持、二次打包等问题；
• 模型文件包含的参数信息
• 针对模型文件的攻击方式：可篡改模型文件，预留后门等；
• 模型信息的逆向还原：模型在训练过程中会“记忆”训练数据、数据属性、特征等，对模型进行逆向推导训练可导致训练数据泄露；
• …

展望

AI的一些在攻击领域的应用：

• 社会工程学：OSINT搜集、AI生成鱼叉邮件、攻击目标选择、聊天机器人…
• 自动化：AI自适应木马（firstorder）、攻击路径模拟（caldera AI-fuzzing）…
• 信息窃取：Yahoo NSFW神经网络检测敏感数据、数据传输-AI伪装加密、ML侧信道获取敲键密码…
• 隐匿：Bypass NIDS、Bypass EDR、Bypass Email Filter…

6、浅谈AI时代企业数据合规视角下的网络安全

最后是路建明（某法院原法官，北京恒都律师事务所高级顾问），浅谈AI时代企业数据合规视角下的网络安全

随着AI时代的全面到来，网络安全对国家、企业、个人的重要性愈发显现，在国家立法的日益完善的情况下，每一个从事IT行业的人都需要问自己，网络安全立法到底知多少。同时，现实的警示案例又能给我们哪些启发。

分享了一些违背数据合规的法律案例。

其他

这里我想推荐一本书，腾讯安全朱雀实验室的《AI安全：技术与实战》。

这本书介绍了现阶段常见的AI安全知识，比如：对抗样本攻击、数据投毒攻击、模型后门攻击、预训练模型安全、AI数据隐私窃取、AI应用失控风险。

上述知识点，在本次北京站AI议题分享过程中，都有提及，值得一读。