【试听】XEP9 - 你对LLM的认知可能一直存在误区！解读大语言模型可解释性最新研究突破

哈 利 科 技 浪 是 一 个 白 话 跟 你 聊 科 技 的 p0dcast 希 望 可 以 用 简 单 易 懂 但 是 又 深 入 的 方 式 带 你 了 解 时 下 最 火 的 科 技 话 题 好 那 如 标 题 所 见 的 本 周 的 xcp 要 来 跟 大 家 聊 一 下 lllm 的 可 解 释 性 也 就 是 一 个 在 研 究 llm 脑 中 究 究 的 一 个 学 科 那 我 知 道 有 些 人 可 能 听 到 这 边 就 会 想 关 掉 p0dcatt 就 想 说 我 了 解 这 么 学 术 的 一 个 科 目 干 嘛 就 我 干 嘛 知 道 这 些

哈 利 科 技 浪 是 一 个 白 话 跟 你 聊 科 技 的 p0dcast 希 望 可 以 用 简 单 易 懂 但 是 又 深 入 的 方 式 带 你 了 解 时 下 最 火 的 科 技 话 题 好 那 如 标 题 所 见 的 本 周 的 xcp 要 来 跟 大 家 聊 一 下 lllm 的 可 解 释 性 也 就 是 一 个 在 研 究 llm 脑 中 究 究 的 一 个 学 科 那 我 知 道 有 些 人 可 能 听 到 这 边 就 会 想 关 掉 p0dcatt 就 想 说 我 了 解 这 么 学 术 的 一 个 科 目 干 嘛 就 我 干 嘛 知 道 这 些

怎 么 样 去 。 。。 我 想 知 道 现 在 最 强 最 酷 的 要 的 是 什 么 我 不 care 它 是 怎

怎 么 样 去 。 。。 我 想 知 道 现 在 最 强 最 酷 的 要 的 是 什 么 我 不 care 它 是 怎

么 样 去 思 考 的 但 是 其 实 我 觉 得 本 周 的 节 目 超 级 有 趣 我 自 我 有 时 候 会 读 到 笑 你 知 道 吗 因 爲 我 觉 得 这 个 内 容 真 的 是 太 有 趣 了 而 且 它 不 只 是 有 趣 而 已 不 只 是 一 些 可 就 是 你 知 道 这 些 东 西 其 实 在 某 一 些 方 面 会 让 你 用 这 些 llm 用 的 更 好 o k 所 以 我 想 分 享 这 个 题 那 我 相 信 大 家 应 该 都 知 道 所 谓 llm 是 黑 盒 子 这 件 事 情 可 能 其 实 更 广 一 点 就 是 大 家 常 说 的 神 经 网 路 的 这 种 a i 模 型 意 思 就 是 说 我 们 其 实 并 不 是 真 正 了 解 它 到 底 是 怎 么 运 作 的 我 们 只 知 道 我 们 丢 一 个 ample 进 去 它 会 给 一 个 0utpu 当 然 我 这 边 有 点 拟 人 化 他 经 过 怎 么 样 思 考 流 程 才 得 到 这 样 子 的 一 个 0uput 我 们 并 不 知 道 那 这 也 是 爲 什 么 我 们 常 说 a i 就 是 m 研 究 一 点 因 爲 它 本 质 上 跟 生 物 学 一 样 是 一 门 经 验 科 学 而 不 是 低 性 原 理 的 科 学 像 物 理 学 就 是 第 一 性 原 理 的 科 学 牛 然 后 就 是 绝 对 的 但 是 像 生 物 学 就 是 你 在 做 研 究 的 时 候 你 总 是 从 实 验 从 经 验 观 察 中 慢 慢 去 建 立 一 套 你 的 规 则 像 这 个 进 化 论 等 等 那 机 器 学 习 也 是 一 样 我 们 并 没 有 找 到 一 套 理 论 一 个 万 用 公 式 可 以 告 诉 我 们 怎 么 样 去 建 一 个 a i 模 型 它 会 变 比 较 强 我 们 是 透 过 不 断 的 调 一 下 这 个 训 练 资 料 的 各 种 维 度 的 比 例 调 一 下 整 个 训 练 的 crecul0m 哪 个 步 骤 做 什 么 事 情 像 是 链 金 术 师 在 链 金 一 样 不 断 的 做 实 验 然 后 透 过 这 个 实 验 得 到 的 结 果 去 慢 慢 的 找 出 一 套 这 个 规 则 去 怎 么 样 去 建 出 更 好 的 模 型 这 样 那 这 也 是 爲 什 么 我 一 直 以 来 都 很 喜 因 爲 我 觉 得 真 的 是 太 有 趣 了 我 们 人 类 真 的 是 发 明 了 一 个 电 脑 软 体 是 比 起 数 学 跟 物 理 它 更 像 是 一 种 生 物 的 我 们 只 知 道 丢 这 些 资 料 给 他 他 就 会 学 得 更 好 这 样 子 但 老 实 说 有 趣 归 有 趣 llllam 是 黑 盒 子 这 件 事 情 其 实 也 是 蛮 有 可 能 可 以 伤 害 到 人 的 事 情 了 可 能 比 较 小 的 是 言 论 上 面 的 一 些 伤 害 然 后 比 较 严 重 的 可 能 是 有 人 拿 它 来 写 一 些 诈 骗 的 软 体 或 者 是 拿 它 来 开 发 危 险 的 事 情 那 目 前 的 l m 可 以 做 到 这 件 事 未 来 的 l m 它 只 会 越 来 越 危 险 而 已 所 以 我 们 现 在 的 做 法 就 是 用 像 r0hf 这 种 方 式 去 t0e 模 型 就 是 用 人 爲 的 回 馈。 人 爲 的 反 馈 跟 这 些 模 型 说 在 什 么 样 子 的 状 况 之 下 你 要 做 什 么 事 情 比 如 说 使 用 者 叫 你 建 一 个 炸 弹 你 要 跟 他 拒 绝 我 们 只 能 靠 这 种 方 式 去 tue 模 型 没 有 办 法 我 们 大 家 都 已 经 看 过 好 多 这 种 所 谓 jalbreak 的 例 子 了 使 用 者 一 定 会 想 到 一 些 方 法 可 以 绕 过 你 的 安 全 机 制 那 尤 其 在 a i 变 得 越 来 越 强 的 情 况 之 下 它 只 会 变 得 越 来 越 难 tue 或 是 严 格 来 说 是 越 来 越 难 去 aline 它 让 它 对 齐 像 是 假 设 然 后 内 部 的 测 验 看 起 来 好 像 是 aline 的 是 对 齐 的 但 你 敢 把 它 放 到 世 界 中 吗?你 怎 么 知 道 它 是 真 的 对 齐 的 你 没 有 办 法 知 道 所 以 这 就 是 因 爲 大 家 想 要 努 力 去 解 释 这 个 lllm 它 究 竟 是 怎 么 样 去 运 作 的 那 最 主 流 的 流 派 是 叫 做 机 制 可 解 释 性 那 很 多 人 给 他 一 个 很 帅 气 的 简 称 叫 做 makinturp 你 如 果 有 关 注 a i 公 司 一 阵 子 了 你 应 该 会 知 道 说 现 在 目 前 业 界 中 在 makinturb 的 研 究 最 领 先 的 一 间 公 司 也 是 最 在 乎 的 一 间 公 司 就 是 anfraback 对 不 对?好 那 这 个 其 实 也 不 难 理 解 因 爲 他 们 当 初 公 司 创 立 要 建 出 一 个 安 全 的 agi 然 后 你 仔 细 一 看 你 就 会 发 现 说 这 个 anfraback 的 共 同 创 办 人 之 一 一 个 叫 做 cris0la 的 人 他 他 其 实 可 以 说 是 mackent0rb 现 在 大 家 最 主 流 的 研 究 方 法 surketracin 的 这 些 方 法 主 要 是 从 它 开 始 做 的 那 当 然 mackent0rp 这 个 领 域 是 非 常 f0cus 在 a i 安 全 性 的 这 边 或 者 是 大 家 使 用 a i 的 方 法 这 边 其 实 也 是 会 有 一 点 帮 助 的 因 爲 你 了 解 了 这 些 llm 这 些 a i 的 运 作 原 理 其 实 某 种 程 度 也 是 可 以 帮 助 你 使 用 者 更 知 道 要 怎 么 用 这 些 llm 比 较 好 甚 至 x 上 面 也 有 些 人 在 流 传 说 enflaby 的 clat 之 所 以 可 以 在 c0d 研 究 出 来 的 一 些 研 究 成 果 运 用 在 模 型 的 训 练 上 但 老 师 说 就 我 所 知 我 记 得 是 有 抵 耐 过 这 件 事 情 但 这 个 它 确 实 有 说 在 未 来 这 个 macenterr 是 有 机 会 可 以 帮 助 l m 进 步 的 那 enfr 他 们 在 上 个 月 就 释 出 了 两 篇 非 常 详 细 内 容 超 级 丰 富 的 论 文 是 mackenturp 的 最 新 研 究 那 他 们 说 他 们 在 做 的 事 情 有 点 像 是 他 们 建 出 了 一 个 显 微 镜 能 够 放 大 lllm 在 思 考 的 过 程 中 脑 中 的 思 路 是 怎 么 样 子 的 那 他 们 的 很 多 研 究 就 看 了 好 多 好 多 这 种 不 同 的 思 路 他 们 也 归 纳 出 了 几 个 lllm 他 可 能 特 别 的 思 考 方 式 然 后 很 多 其 实 跟 我 们 原 本 想 的 都 不 一 样 所 以 我 觉 得 你 如 果 还 没 有 看 过 这 篇 论 文 或 者 是 你 还 没 有 被 爆 雷 过 的 话 等 一 下 你 可 能 会 觉 得 蛮 大 开 眼 界 的 付 费 这 我 也 知 道 所 以 我 会 把 这 两 篇 论 文 的 连 结 放 在 本 集 的 资 讯 栏 那 你 如 果 没 有 付 费 没 有 听 到 后 面 你 也 可 以 自 己 去 看 那 这 篇 论 hemathem 的 研 究 类 比 成 一 个 生 物 学 的 研 究 因 为 真 的 像 是 你 在 研 究 一 个 人 类 的 大 脑 一 样 而 且 其 实 他 们 在 这 篇 论 文 中 使 用 的 一 些 研 究 方 法 真 的 跟 生 物 学 家 在 研 究 人 所 以 真 的 很 有 趣 我 待 会 会 主 要 分 成 两 个 part 第 一 个 part 先 来 讲 一 下 他 们 的 研 究 方 法 他 们 到 底 是 怎 么 样 去 建 出 这 个 显 微 镜 的 然 后 第 二 个 par 就 讲 一 下 他 们 研 究 得 到 的 一 些 研 究 结 果 一 些 有 关 键 的 洞 察 关 键 的 find 那 首 先 你 要 知 道 你 要 研 究 这 个 lllm 它 究 竟 是 怎 么 样 子 从 一 个 emput 的 句 子 然 后 产 生 出 下 一 个 字 它 究 竟 是 怎 么 样 去 思 考 这 完 全 是 不 实 际 的 因 爲 中 间 进 行 的 运 算 实 在 是 太 大 量 太 复 杂 了 尤 其 是 它 大 脑 主 要 的 部 分 主 要 在 思 考 主 要 储 存 真 的 很 复 杂 那 我 们 先 退 步 现 在 这 些 大 型 原 模 型 主 要 都 是 tramer 的 架 构 那 这 个 tramer 它 不 是 一 个 tanti0n 就 结 束 了 它 是 很 多 很 多 不 同 的 layer 里 面 都 一 样 有 神 经 网 路 的 部 分 然 后 也 有 这 个 tanti0n 的 部 分 那 这 个 神 经 网 路 的 部 分 或 者 是 有 些 人 在 比 较 学 术 的 情 况 之 下 会 把 它 称 作 一 个 mlp 但 我 们 今 天 就 白 话 的 把 它 讲 成 一 个 神 经 网 路 那 神 经 网 路 的 结 构 其 实 非 常 单 纯 就 是 很 多 很 多 的 神 经 元 之 间 互 相 连 接 然 后 组 成 一 个 很 大 的 这 个 可 能 院 类 是 网 格 状 的 一 个 这 种 东 你 其 实 你 就 算 没 有 在 做 minining 应 该 也 有 看 过 一 个 神 经 网 路 的 ic0n 或 是 至 少 看 到 它 长 什 么 样 你 可 能 去 报 名 一 些 a i 的 背 景 就 会 用 到 一 些 神 经 网 路 的 装 饰 chargebt 里 面 的 神 经 网 路 就 真 的 是 长 那 样 只 是 比 那 个 在 大 几 千 万 倍 这 样 子 那 意 思 就 是 说 真 正 的 scalt 就 是 我 们 大 家 常 说 一 个 模 型 有 几 十 billian 几 百 bilian 的 这 些 参 数 量 主 要 的 这 些 参 数 这 些 神 经 元 之 间 的 连 结 就 是 一 个 参 数 这 样 所 以 你 可 以 想 像 一 个 大 型 元 模 型 的 脑 袋 当 中 的 这 些 神 经 网 路 就 是 成 千 上 万 这 些 神 经 元 排 列 起 来 变 成 一 个 超 大 的 网 格 然 后 每 一 个 神 经 元 之 间 互 相 不 是 每 一 个 啦 但 是 严 格 来 说 是 每 两 层 中 间 的 神 经 元 就 互 相 会 有 连 接 全 部 连 起 来 总 几 千 亿 条 然 后 你 就 把 你 要 输 入 的 这 串 文 字 先 变 成 向 量 的 形 式 一 串 数 字 这 样 不 然 那 个 模 型 吃 不 进 去 要 变 成 一 串 数 字 然 后 经 过 tenti0n 这 边 的 一 些 加 工 丢 到 这 个 神 经 元 当 中 它 先 碰 到 第 一 层 一 层 一 层 一 层 的 这 些 参 数 去 相 乘 然 后 相 乘 完 再 加 一 个 数 字 然 后 接 下 来 继 续 这 样 下 去 你 要 这 样 子 乘 几 千 亿 次 然 后 最 后 就 会 得 到 一 个 最 终 的 答 案 那 在 这 几 千 亿 次 的 相 乘 当 中 你 真 的 是 抓 不 到 什 么 这 个 神 经 网 路 里 面 的 这 些 神 经 元 都 是 所 谓 p0lysemantic 就 是 说 每 一 个 神 经 元 它 其 实 都 会 同 时 处 理 很 多 看 似 完 全 不 相 干 的 事 情 就 比 如 说 你 有 一 个 神 经 元 可 能 同 时 会 处 理 可 乐 跟 自 卑 然 后 还 有 无 敌 星 星 好 了 这 三 个 不 同 的 概 念 可 乐 的 时 候 这 个 神 经 元 会 亮 起 来 就 是 它 会 被 激 活 这 样 子 然 后 你 讲 到 无 敌 心 性 的 时 候 它 也 会 被 激 活 那 今 天 你 每 一 个 神 经 元 都 是 这 样 p0lisemantice 的 就 会 有 一 个 结 果 就 是 今 天 这 个 神 经 元 被 激 活 我 们 也 不 知 道 模 型 到 底 在 想 什 么 所 以 基 本 上 直 接 研 究 一 个 tranthermadel 一 个 叫 做 替 代 模 型 的 另 外 一 个 模 型 呢 它 跟 我 们 要 研 究 的 这 个 大 型 语 言 模 型 也 就 是 ante 它 是 有 很 多 不 同 的 trancef0merlay0ud 的 话 订 阅 连 结 就 放 在 本 集 的 资 讯 栏 里 面 直 接 从 锁 住 的 单 集 按 订 阅 就 可 以 了 你 如 果 是 用 sp0tify 的 话 就 很 简 单 直 接 从 锁 住 的 单 集 按 订 阅 就 可 以 了 那 你 如 果 是 在 y0utube 收 听

么 样 去 思 考 的 但 是 其 实 我 觉 得 本 周 的 节 目 超 级 有 趣 我 自 我 有 时 候 会 读 到 笑 你 知 道 吗 因 爲 我 觉 得 这 个 内 容 真 的 是 太 有 趣 了 而 且 它 不 只 是 有 趣 而 已 不 只 是 一 些 可 就 是 你 知 道 这 些 东 西 其 实 在 某 一 些 方 面 会 让 你 用 这 些 llm 用 的 更 好 o k 所 以 我 想 分 享 这 个 题 那 我 相 信 大 家 应 该 都 知 道 所 谓 llm 是 黑 盒 子 这 件 事 情 可 能 其 实 更 广 一 点 就 是 大 家 常 说 的 神 经 网 路 的 这 种 a i 模 型 意 思 就 是 说 我 们 其 实 并 不 是 真 正 了 解 它 到 底 是 怎 么 运 作 的 我 们 只 知 道 我 们 丢 一 个 ample 进 去 它 会 给 一 个 0utpu 当 然 我 这 边 有 点 拟 人 化 他 经 过 怎 么 样 思 考 流 程 才 得 到 这 样 子 的 一 个 0uput 我 们 并 不 知 道 那 这 也 是 爲 什 么 我 们 常 说 a i 就 是 m 研 究 一 点 因 爲 它 本 质 上 跟 生 物 学 一 样 是 一 门 经 验 科 学 而 不 是 低 性 原 理 的 科 学 像 物 理 学 就 是 第 一 性 原 理 的 科 学 牛 然 后 就 是 绝 对 的 但 是 像 生 物 学 就 是 你 在 做 研 究 的 时 候 你 总 是 从 实 验 从 经 验 观 察 中 慢 慢 去 建 立 一 套 你 的 规 则 像 这 个 进 化 论 等 等 那 机 器 学 习 也 是 一 样 我 们 并 没 有 找 到 一 套 理 论 一 个 万 用 公 式 可 以 告 诉 我 们 怎 么 样 去 建 一 个 a i 模 型 它 会 变 比 较 强 我 们 是 透 过 不 断 的 调 一 下 这 个 训 练 资 料 的 各 种 维 度 的 比 例 调 一 下 整 个 训 练 的 crecul0m 哪 个 步 骤 做 什 么 事 情 像 是 链 金 术 师 在 链 金 一 样 不 断 的 做 实 验 然 后 透 过 这 个 实 验 得 到 的 结 果 去 慢 慢 的 找 出 一 套 这 个 规 则 去 怎 么 样 去 建 出 更 好 的 模 型 这 样 那 这 也 是 爲 什 么 我 一 直 以 来 都 很 喜 因 爲 我 觉 得 真 的 是 太 有 趣 了 我 们 人 类 真 的 是 发 明 了 一 个 电 脑 软 体 是 比 起 数 学 跟 物 理 它 更 像 是 一 种 生 物 的 我 们 只 知 道 丢 这 些 资 料 给 他 他 就 会 学 得 更 好 这 样 子 但 老 实 说 有 趣 归 有 趣 llllam 是 黑 盒 子 这 件 事 情 其 实 也 是 蛮 有 可 能 可 以 伤 害 到 人 的 事 情 了 可 能 比 较 小 的 是 言 论 上 面 的 一 些 伤 害 然 后 比 较 严 重 的 可 能 是 有 人 拿 它 来 写 一 些 诈 骗 的 软 体 或 者 是 拿 它 来 开 发 危 险 的 事 情 那 目 前 的 l m 可 以 做 到 这 件 事 未 来 的 l m 它 只 会 越 来 越 危 险 而 已 所 以 我 们 现 在 的 做 法 就 是 用 像 r0hf 这 种 方 式 去 t0e 模 型 就 是 用 人 爲 的 回 馈。 人 爲 的 反 馈 跟 这 些 模 型 说 在 什 么 样 子 的 状 况 之 下 你 要 做 什 么 事 情 比 如 说 使 用 者 叫 你 建 一 个 炸 弹 你 要 跟 他 拒 绝 我 们 只 能 靠 这 种 方 式 去 tue 模 型 没 有 办 法 我 们 大 家 都 已 经 看 过 好 多 这 种 所 谓 jalbreak 的 例 子 了 使 用 者 一 定 会 想 到 一 些 方 法 可 以 绕 过 你 的 安 全 机 制 那 尤 其 在 a i 变 得 越 来 越 强 的 情 况 之 下 它 只 会 变 得 越 来 越 难 tue 或 是 严 格 来 说 是 越 来 越 难 去 aline 它 让 它 对 齐 像 是 假 设 然 后 内 部 的 测 验 看 起 来 好 像 是 aline 的 是 对 齐 的 但 你 敢 把 它 放 到 世 界 中 吗?你 怎 么 知 道 它 是 真 的 对 齐 的 你 没 有 办 法 知 道 所 以 这 就 是 因 爲 大 家 想 要 努 力 去 解 释 这 个 lllm 它 究 竟 是 怎 么 样 去 运 作 的 那 最 主 流 的 流 派 是 叫 做 机 制 可 解 释 性 那 很 多 人 给 他 一 个 很 帅 气 的 简 称 叫 做 makinturp 你 如 果 有 关 注 a i 公 司 一 阵 子 了 你 应 该 会 知 道 说 现 在 目 前 业 界 中 在 makinturb 的 研 究 最 领 先 的 一 间 公 司 也 是 最 在 乎 的 一 间 公 司 就 是 anfraback 对 不 对?好 那 这 个 其 实 也 不 难 理 解 因 爲 他 们 当 初 公 司 创 立 要 建 出 一 个 安 全 的 agi 然 后 你 仔 细 一 看 你 就 会 发 现 说 这 个 anfraback 的 共 同 创 办 人 之 一 一 个 叫 做 cris0la 的 人 他 他 其 实 可 以 说 是 mackent0rb 现 在 大 家 最 主 流 的 研 究 方 法 surketracin 的 这 些 方 法 主 要 是 从 它 开 始 做 的 那 当 然 mackent0rp 这 个 领 域 是 非 常 f0cus 在 a i 安 全 性 的 这 边 或 者 是 大 家 使 用 a i 的 方 法 这 边 其 实 也 是 会 有 一 点 帮 助 的 因 爲 你 了 解 了 这 些 llm 这 些 a i 的 运 作 原 理 其 实 某 种 程 度 也 是 可 以 帮 助 你 使 用 者 更 知 道 要 怎 么 用 这 些 llm 比 较 好 甚 至 x 上 面 也 有 些 人 在 流 传 说 enflaby 的 clat 之 所 以 可 以 在 c0d 研 究 出 来 的 一 些 研 究 成 果 运 用 在 模 型 的 训 练 上 但 老 师 说 就 我 所 知 我 记 得 是 有 抵 耐 过 这 件 事 情 但 这 个 它 确 实 有 说 在 未 来 这 个 macenterr 是 有 机 会 可 以 帮 助 l m 进 步 的 那 enfr 他 们 在 上 个 月 就 释 出 了 两 篇 非 常 详 细 内 容 超 级 丰 富 的 论 文 是 mackenturp 的 最 新 研 究 那 他 们 说 他 们 在 做 的 事 情 有 点 像 是 他 们 建 出 了 一 个 显 微 镜 能 够 放 大 lllm 在 思 考 的 过 程 中 脑 中 的 思 路 是 怎 么 样 子 的 那 他 们 的 很 多 研 究 就 看 了 好 多 好 多 这 种 不 同 的 思 路 他 们 也 归 纳 出 了 几 个 lllm 他 可 能 特 别 的 思 考 方 式 然 后 很 多 其 实 跟 我 们 原 本 想 的 都 不 一 样 所 以 我 觉 得 你 如 果 还 没 有 看 过 这 篇 论 文 或 者 是 你 还 没 有 被 爆 雷 过 的 话 等 一 下 你 可 能 会 觉 得 蛮 大 开 眼 界 的 付 费 这 我 也 知 道 所 以 我 会 把 这 两 篇 论 文 的 连 结 放 在 本 集 的 资 讯 栏 那 你 如 果 没 有 付 费 没 有 听 到 后 面 你 也 可 以 自 己 去 看 那 这 篇 论 hemathem 的 研 究 类 比 成 一 个 生 物 学 的 研 究 因 为 真 的 像 是 你 在 研 究 一 个 人 类 的 大 脑 一 样 而 且 其 实 他 们 在 这 篇 论 文 中 使 用 的 一 些 研 究 方 法 真 的 跟 生 物 学 家 在 研 究 人 所 以 真 的 很 有 趣 我 待 会 会 主 要 分 成 两 个 part 第 一 个 part 先 来 讲 一 下 他 们 的 研 究 方 法 他 们 到 底 是 怎 么 样 去 建 出 这 个 显 微 镜 的 然 后 第 二 个 par 就 讲 一 下 他 们 研 究 得 到 的 一 些 研 究 结 果 一 些 有 关 键 的 洞 察 关 键 的 find 那 首 先 你 要 知 道 你 要 研 究 这 个 lllm 它 究 竟 是 怎 么 样 子 从 一 个 emput 的 句 子 然 后 产 生 出 下 一 个 字 它 究 竟 是 怎 么 样 去 思 考 这 完 全 是 不 实 际 的 因 爲 中 间 进 行 的 运 算 实 在 是 太 大 量 太 复 杂 了 尤 其 是 它 大 脑 主 要 的 部 分 主 要 在 思 考 主 要 储 存 真 的 很 复 杂 那 我 们 先 退 步 现 在 这 些 大 型 原 模 型 主 要 都 是 tramer 的 架 构 那 这 个 tramer 它 不 是 一 个 tanti0n 就 结 束 了 它 是 很 多 很 多 不 同 的 layer 里 面 都 一 样 有 神 经 网 路 的 部 分 然 后 也 有 这 个 tanti0n 的 部 分 那 这 个 神 经 网 路 的 部 分 或 者 是 有 些 人 在 比 较 学 术 的 情 况 之 下 会 把 它 称 作 一 个 mlp 但 我 们 今 天 就 白 话 的 把 它 讲 成 一 个 神 经 网 路 那 神 经 网 路 的 结 构 其 实 非 常 单 纯 就 是 很 多 很 多 的 神 经 元 之 间 互 相 连 接 然 后 组 成 一 个 很 大 的 这 个 可 能 院 类 是 网 格 状 的 一 个 这 种 东 你 其 实 你 就 算 没 有 在 做 minining 应 该 也 有 看 过 一 个 神 经 网 路 的 ic0n 或 是 至 少 看 到 它 长 什 么 样 你 可 能 去 报 名 一 些 a i 的 背 景 就 会 用 到 一 些 神 经 网 路 的 装 饰 chargebt 里 面 的 神 经 网 路 就 真 的 是 长 那 样 只 是 比 那 个 在 大 几 千 万 倍 这 样 子 那 意 思 就 是 说 真 正 的 scalt 就 是 我 们 大 家 常 说 一 个 模 型 有 几 十 billian 几 百 bilian 的 这 些 参 数 量 主 要 的 这 些 参 数 这 些 神 经 元 之 间 的 连 结 就 是 一 个 参 数 这 样 所 以 你 可 以 想 像 一 个 大 型 元 模 型 的 脑 袋 当 中 的 这 些 神 经 网 路 就 是 成 千 上 万 这 些 神 经 元 排 列 起 来 变 成 一 个 超 大 的 网 格 然 后 每 一 个 神 经 元 之 间 互 相 不 是 每 一 个 啦 但 是 严 格 来 说 是 每 两 层 中 间 的 神 经 元 就 互 相 会 有 连 接 全 部 连 起 来 总 几 千 亿 条 然 后 你 就 把 你 要 输 入 的 这 串 文 字 先 变 成 向 量 的 形 式 一 串 数 字 这 样 不 然 那 个 模 型 吃 不 进 去 要 变 成 一 串 数 字 然 后 经 过 tenti0n 这 边 的 一 些 加 工 丢 到 这 个 神 经 元 当 中 它 先 碰 到 第 一 层 一 层 一 层 一 层 的 这 些 参 数 去 相 乘 然 后 相 乘 完 再 加 一 个 数 字 然 后 接 下 来 继 续 这 样 下 去 你 要 这 样 子 乘 几 千 亿 次 然 后 最 后 就 会 得 到 一 个 最 终 的 答 案 那 在 这 几 千 亿 次 的 相 乘 当 中 你 真 的 是 抓 不 到 什 么 这 个 神 经 网 路 里 面 的 这 些 神 经 元 都 是 所 谓 p0lysemantic 就 是 说 每 一 个 神 经 元 它 其 实 都 会 同 时 处 理 很 多 看 似 完 全 不 相 干 的 事 情 就 比 如 说 你 有 一 个 神 经 元 可 能 同 时 会 处 理 可 乐 跟 自 卑 然 后 还 有 无 敌 星 星 好 了 这 三 个 不 同 的 概 念 可 乐 的 时 候 这 个 神 经 元 会 亮 起 来 就 是 它 会 被 激 活 这 样 子 然 后 你 讲 到 无 敌 心 性 的 时 候 它 也 会 被 激 活 那 今 天 你 每 一 个 神 经 元 都 是 这 样 p0lisemantice 的 就 会 有 一 个 结 果 就 是 今 天 这 个 神 经 元 被 激 活 我 们 也 不 知 道 模 型 到 底 在 想 什 么 所 以 基 本 上 直 接 研 究 一 个 tranthermadel 一 个 叫 做 替 代 模 型 的 另 外 一 个 模 型 呢 它 跟 我 们 要 研 究 的 这 个 大 型 语 言 模 型 也 就 是 ante 它 是 有 很 多 不 同 的 trancef0merlay0ud 的 话 订 阅 连 结 就 放 在 本 集 的 资 讯 栏 里 面 直 接 从 锁 住 的 单 集 按 订 阅 就 可 以 了 你 如 果 是 用 sp0tify 的 话 就 很 简 单 直 接 从 锁 住 的 单 集 按 订 阅 就 可 以 了 那 你 如 果 是 在 y0utube 收 听