不插电的计算机科学
  • Introduction
  • 前言
  • 特别鸣谢
  • 第一部分 - 数据:最原始的材料
    • 活动1 - 计算“点”-二进制数
      • 素材:二进制数
      • 二进制数
      • 活动学习单1: 二进制数
      • 活动学习单2: 使用二进制表示数字
      • 活动学习单3: 传送秘密信息
      • 活动学习单4: 电子邮件与数据机
      • 活动学习单5: 数到31以上
      • 活动学习单6: 更多关于二进制数的知识
      • 这个活动在说什么?
      • 答案和提示
    • 活动2 - 用数字表示颜色 — 图像展示
      • 用数字表示颜色1
      • 用数字表示颜色2
      • 活动学习单1: 儿童传真
      • 活动学习单2.1: 做出自己的图片
      • 活动学习单2.2: 做出自己的图片
      • 这个活动在说什么?
      • 答案和提示
    • 活动3 - “你说什么?” - 文字压缩
      • “你说什么?”
      • 活动学习单1:“你说什么?”
      • 这个活动在说什么?
    • 活动4 - 翻转卡片魔术 - 错误的检测和修正
      • 魔术般的技巧
      • 一个现实的范例:书码与条码
      • 这个活动在说什么?
    • 活动5 - 二十个问题 - 信息理论
      • 二十个问题
      • 活动:二十个问题
      • 活动学习单1: 决策树
      • 这个活动在说什么?
      • 答案和提示
  • 第二部分 - 让计算机运行:算法
    • 活动6 - 海战棋:搜索算法
      • 海战棋活动 — 暖身
      • 线性搜索游戏
      • 二元搜索游戏
      • 哈希法搜索
      • 延伸活动
      • 这个活动在说什么?
    • 活动7 — 从最重到最轻:排序算法
      • 最重与最轻
      • 学习活动单:重量的排序
      • 学习活动单:分治法(Divide and Conquer)
      • 这个活动在说什么?
      • 答案和提示
    • 活动8 — 与时间赛跑:排序网络
      • 排序网络
      • 这个活动在说什么?
Powered by GitBook
On this page
  1. 第一部分 - 数据:最原始的材料
  2. 活动5 - 二十个问题 - 信息理论

这个活动在说什么?

Claude Shannon(克劳德•香农),著名的美国数学家(同时也是杂耍者,独轮车车手),做了很多关于这个游戏的实验。他用信息的比特(bit)数来测量信息的量 —— 每个“是”和“不是”分别用一个比特(1 或 0)来表示。他发现一段信息所包含的信息量与已知的信息量有关。有时,我们能通过问一个问题来免去问其他问题的必要。在这种情况下,说明这段信息的信息量比较低。比方说,投掷一枚硬币的信息量通常用一个比特来表示:正面或背面。但如果掷一枚不公正的硬币,十次中有九次是正面,那此信息就不能再用一个比特来表示了 —— 其实,它的信息量更少。

香农将一段信息的信息量称为“熵”(entropy)。熵不仅与可能的结果数有关 —— 以掷硬币为例,有两种结果 —— 也与这些结果发生的概率有关。我们需要问更多的问题才能获得一些不可思议或者令人惊讶的信息,因为这些事件透露更多我们不知道的事情 —— 像是搭直升机去学校。

一段信息的熵对信息科学家来说非常的重要。理论上,你无法将一段信息压缩到比它的熵所占据的空间还小;而一个最佳的压缩系统就相当于一个猜数字的游戏。电脑程序对信息进行猜测,所猜测的问题清单可以事后重复使用,所以只要将答案(比特)记录下来,我们就能重现原来的信息!最佳的压缩系统可以将文字内容压缩到原始大小的四分之一 —— 大大节省存储空间。

这种猜测的方法也被用于设计一个可以预测使用者输入的电脑界面!比如对打字有困难的人士来说非常有帮助。电脑建议他们接下来可能要输入什么,而他们只要选择他们想要的字就可以了。这样的系统也可以用于在手机上打字的时候。

Previous活动学习单1: 决策树Next答案和提示

Last updated 7 years ago