以复杂对抗复杂--机器学习vs复杂系统新书计划

两个月前,我进行了机器学习vs复杂系统的特训课, 特训课把非常热门的机器学习和一个低调但威力无穷的基础学科复杂系统联系在一起,给我们世界观和方法论的一次洗礼。而新书将是对课程的一次系统性升华。 这本书的名字就是以复杂对抗复杂,副标题机器学习vs复杂系统。

现实生活中预测的根本难题在于无处不在的复杂性,比如股市,自然灾害,长久的天气预测,都很难做到精准。复杂系统帮助我们理解复杂性产生的根源,而机器学习让我们利用数据最大可能的预测和掌控复杂。这本书内容涉及机器学习基本方法,非线性动力学,复杂系统,随机过程,神经网络这些正在深刻的改变我们世界的学科。讲述机器学习和复杂系统的基本原理和如何影响了我们日常生活的方方面面:小到微信里的语音识别,大到我们到底能不能预测经济和金融危机。

核心内容围绕机器学习和复杂系统指导下的预测和决策, 以及机器学习,复杂系统这两门课程是如何帮助我们解决预测与决策,解决复杂问题的。

本书将由我和瑞东联手完成,书目大纲是:

第一部分: 复杂世界的决策引言

1. 预测与决策引言- 预测是困难的,尤其是有关未来的

预测未知是巫师的魔法还是有迹可循?哪些预测比较简单? 哪些比较难?

2. 物理学预测的胜利(动力学的世界观),四大力学概述

物理预测问题的核心方法是什么?四大力学是如何用数学攻克宏观到微观 的广阔世界的?

3. 物理预测的失败,为什么物理预测会失败

物理预测问题的核心方法是什么?四大力学是如何用数学攻克宏观到微观 的广阔世界的?

4. 预测会失败,但模式无处不在

为什么物理定律无法预测你的寿命,或明天大盘的走势? 这些问题比量子力学还难?

第二部分: 复杂系统对抗复杂世界

复杂系统阐述模式的产生,生活中模式无处不在, 比如同类型的商店往往比邻而居,分久必合合久必分 , 热恋过后不是分手就是回归平淡。 甚至那些我们不认为是模式的,比如生命过程本身,其实都可以看做自然界中模式涌现的过程。 这些模式往往可以归结为组成系统的个体通过简单相互作用达到某种非同寻常的集体现象, 复杂系统用动力学的思想阐述这一过程的发生。

1. 复杂系统的世界观

一个联系宏观与微观世界的桥梁学科, 是如何重塑我们世界观的? 那些日常生活中的东西是复杂系统? 你会吓一跳

2. 复杂网络与物理学

2.1 复杂系统与传统物理

复杂系统起源于物理,尤其是固体物理的一些方法, 当微观粒子的相互作用很弱,我们通常可以把系统分解为一个个小部分的和,当微观粒子发生强关联, 已有的物理还原思想很难适用,这时候我们需要非线性科学。

2.2 非线性动力学描述的世界

相互作用使得物理系统不再给可以轻松的由整体拆成部分理解-非线性即其根源, 我们还有什么招来解决这个问题?

2.2 非线性动力学描述的世界

相互作用使得物理系统不再给可以轻松的由整体拆成部分理解-非线性即其根源, 我们还有什么招来解决这个问题?

2.3 混沌与预测梦想的破灭
混沌说的是由于系统内自由维度的增加, 系统的动力学属性不在归于闭合轨道而是开放而不可预测的轨迹,初始条件的稍微变化在未来的影响远未可知, 想想真是脊背发凉。

2.4 易辛模型

易辛模型讲的是一种最简单的集体模式生成的方法,是统计物理和复杂系统的交叉点, 它甚至可以预测大选选区或候鸟运动的模式

2.5 复杂系统与相变

所谓相关, 是某些条件系统的宏观属性在某些条件下发生跃变的而非连续的变化, 它的微观源泉是什么? 为什么说相变点上一切皆有可能?

2.6 非平衡态物理的故事- 耗散系统

平衡是我们理解的物理体系的常态, 然而复杂系统却往往处在非平衡的状态下, 这时候 “流” 而非 “ 形” 成为事物存在的本质,所谓耗散系统。

2.7 分形理论

分形,是自然界中复杂结构的范式,云,山脉, 闪电,河流走向, 闪电都具有分形结构, 所谓一花一世界, 这其中的奥妙也藏在动力学的规律里。

2.8 复杂网络

复杂网络可以帮我们分析很多互联网行为, 甚至文学小说。

3. 复杂系统视角下的经济金融

3.1 复杂系统视角下的经济学

经济学简直是一门复杂系统的应用学科,市场是什么? 价格是怎么形成的? 供求平衡真的存在吗? 这些都可以用复杂系统的思维理解, 从此经济学不是干巴的两条供求曲线 。

3.2 市场经济的效率与不稳定性

市场的高效和稳定可以同时存在吗 ? 经济危机可以避免吗? 如果人人都是理性人, 人人都有完全信息,是否市场波动可以消除?

3.3 复杂网络在产业升级中的应用- 国家与人技术升迁的启示

一些国家能够实现有效工业化,一些国家始终是能源或农业品提供国, 为什么? 复杂网络给你一个全新的解释, 并且告诉你的事业规划该如何做起(说不定可以用这个idea开个创业公司) 。

3.4. 复杂系统视角下的股票市场

股票市场为什么很难预测? 基本面分析为何常常不准? 股灾能够避免吗? 复杂系统角度下, 股市是典型的复杂开放系统,信息流导致的相变可以成为理解股市的指导思想之一。

3.5 Agent Base Model 应用于交易市场

代理人模型是如何指导我们合理调控市场的?

3.6. 复杂系统里的哈耶克思想

如何用复杂系统指导我们理解哈耶克的经济学?

3.7. 复杂系统视角谈财富积累

如何用复杂系统思维指导我们积累财富? 保守主义和复杂系统思维的内在联系是什么?

4. 复杂系统视角下的生命现象

4.1 生物是个复杂系统

生物是典型的复杂系统

4.2 涌现,图灵斑纹与生命起源

如何用相变的思维去猜测生命起源的过程?

4.3 复杂系统谈人生-人生之有序与混沌

如何用复杂系统的思维指导人生? 我们可以用高屋建瓴的思维看人生过程正是模式从无序的细节中涌现出来的过程。 而复杂系统可以让我们懂得如何用进化的角度看事业路径以及人的内在特点是如何被映射到他与世界的整个关系里的。 对人生创业都有指导。

4.4 . 复杂系统视角谈路径依赖

我们什么时候该过说走就走的人生? 什么时候该在决策中高度考虑过去的经历? 沉没成本到底该如何界定? 复杂系统视角下的路径依赖将帮助你解答这些问题。

5 .复杂系统视角谈反脆弱

尼古拉斯塔勒布的核心思想反脆弱其根基正是复杂系统, 如何从复杂系统的角度看我们如何从困境中变得更强大?

6.复杂系统下的决策, 分布式决策与区块链

复杂系统也成为现代决策理论的基础,对于一些特别复杂的问题, 分布式决策远好于中央式,这一基本原理根植于复杂系统中, 而其最火应用正是区块链技术。

7.复杂系统研究的基本方法- 开启机器学习时代

复杂系统的研究方法包括模拟, 分析, 和数据挖掘, 目前这些方法已经被机器学习全面渗透。 用几个示例描述这些是如何发生的。

/pic/1_5CqEib5XlNIT4nK3k86iaOQTPrYv1w.jpg

第三部分: 机器学习对抗复杂系统

机器学习是一套从数据中发现模式的方法论, 复杂系统阐述模式的生成, 却不能告诉我们在实际中如何发现模式 ,这一点正是机器学习可以做的。“机器”的含义是算法,“学习”其实是“统计学习”的简称。机器学习是一套数学方法。 当机器学习尤其是其新近内核深度学习辅之以GPU并行运算这些技术, 它就成为计算机自动在数据中挖掘模式(有效信息)的利器, 所谓大数据和人工智能的引擎。

事实上我们的大脑认知过程本身, 正是在大量随机数据中发现模式。 而机器学习, 实则模拟人类学习。 这是复杂对抗复杂的最好诠释,在书中将有阐述 。

机器学习帮助我们挖掘中复杂系统的模式, 而复杂系统的思维, 可以帮助我们设计机器学习的算法。

  1. 开发大数据的利刃-机器学习 机器学习与大数据, 数据挖掘这些名词的关联是什么? 大数据是如何在实际中应用的? 3. 机器学习的基础-统计学习

2.1. 谈谈随机性

了解随机性的数学表示, 如何在随机的数据中学习掌握 2.2 统计学的两大流派

频率学派和贝叶斯学派是统计学的两大基本分支,以它们各自为基础我们可以得到统计学习的不同表述, 此种意义博大精深。 2.3 贝叶斯分析

信贝爷,得永生,贝叶斯分析那是妥妥的世界观加方法论利器,承载了整个科学方法。 你真理解了感觉眼睛都明亮了。 2.4. 贝叶斯决策与机器学习

贝叶斯决策是什么? 它的基本步骤一旦自动化,即得到大名鼎鼎的机器学习。 2.5. 从朴素贝叶斯到贝叶斯网络

贝爷是如何在实际的机器学习里应用的?这里要知道两个大神级方法,一个是朴素贝叶斯, 一个是贝叶斯网络。 贝叶斯网络可以处理需要复杂因果推理的场景,在医学诊断中都很常见。 2.6. 趣谈: 贝叶斯框架下的人类大脑

贝叶斯框架同样可以用于理解我们的大脑。 如同之前说的, 机器学习其实是一种仿生。 3. 机器学习理论方法

此处讨论机器学习的经典方法及在实际数据中的应用。

3.1. 有监督学习

3.1.1. 回归问题

什么,线性回归也是机器学习的方法? 对, 而且线性回归可以用到很高维的数据处理里,通过线性回归了解机器学习的训练和测试过程,

3.1.2 分类问题

a. 线性分类问题

b. SVM(支持向量机),初克非线性

支持向量机算法能够阐述升高维度的思路是如何解决非线性分类问题的。支持向量机本身就是以复杂对抗复杂的例子。

c.群体的智慧,ensemble learning,随机森林算法

随机森林是二叉树算法的一个推广, 它用很多的二叉树来进行决策, 如同之前讲过的分布式决策原理,我们将在再次看到复杂系统思想在机器学习中的现行,我们将再次理解以复杂对抗复杂。

3.2. 无监督学习

3.2.1 主成分析 - 降维思想

主成分析是重要的非监督学习方法,我们面对复杂性的第一件事,就是再复杂中寻找简单, 主成分析即第一个可以尝试的办法。 以简单对抗复杂依然是重要的思路。

3.2.2 聚类问题

主成分析是重要的非监督学习方法,在我们的数据繁复又缺乏有效标签的时候, 聚类是简化问题, 把数据分成几个大类的有效方法。

3.3. 强化学习

分类和聚类为主的有监督和无监督学习解决预测问题,而强化学习更多有关决策,在强化学习中, 未来的结果是主体的行为法则和其外在环境互相作用,主体通过自身的决策影响未来,主体需要学习的是决策方法而非简单预测。

3.3.1 马尔科夫决策问题

马尔科夫决策,此处可不是马尔科夫链, 如果你要用一个最简单的数学模型让机器帮你决策,非它莫属。

3.3.2 多臂老虎机-谈探索与开采的平衡

赌博也是强化学习可以涉及的领域哦,你知道在玩多臂老虎机最重要的原则是什么吗? 探索新策略和使用既有策略获利的平衡。

3.3.3 遗传选择算法

遗传算法也是深度学习常用的方法。 此处又见复杂系统思维在机器学习算法中的应用

3.4 深度学习

大名鼎鼎的深度学习

3.4.1 跨学科视角下的神经网络

神经网络是一个跨学科盛宴, 而不理解其背景就难以明白深度学习怎么work的

3.4.2 梯度回传算法

3.4.3 神经网络为什work, 从神经编码的底层机制说开去

神经网络深度学习能够运作, 其实也是因为它和大脑神经编码的机制相和, 是以复杂系统解决复杂系统的最大胜利。

4. 谈谈时间序列分析

4.1 随机过程引论 -马尔科夫链

马尔科夫过程简介

4.2 隐马模型与EM算法

你知道最简单的预测天气方法吗?

4.3 时间序列与动力学系统

马尔科夫过程是重要算法

4.4 递归神经网络- 时间序列终结者

递归神经网络RNN,能够学习任何时间序列里的模式, 如果这个模式存在, 为什么? 此处与复杂系统篇的路径依赖暗自相和。

5. 机器学习对抗复杂系统之生物应用篇

5.1. 机器学习与脑科学

机器学习在了解大脑编码机制的过程里, 算是原汤化原食。 无论RNN还是支持向量机,都可以帮我们了解大脑编码的机制 。

5.2 机器学习的医学应用

医学数据具有因素复杂,数据量大, 模式验证之后经济效益巨大等特点, 简直就是为机器学习专门设计的试验场。

6.机器学习对抗复杂系统之金融市场

金融同医学类似, 都是数据量巨大, 模式存在但难以发现, 而机器通过大量数据可以大量提高效率的场所。

6.1. 机器学习与交易模式

6.2. 机器学习侦测异常交易行为

6.3. 机器学习真的能预测股市吗?

这个主题恐怕是大家最关心的。

7. 机器学习对抗复杂决策

7.1 AlphaGo中的机器学习决策原理

手把手教你Alphago是怎么决策赢得人类最复杂的游戏的。

7.2. 机器学习在企业决策中的应用(智能电网)

人工智能在传统工业应用的核心是提高效率。

8. 谈谈机器学习创业

之前说的大多是机器学习是什么, 要是让你用学过的知识做一个创业公司, 你想怎么做?是此处希望抛砖引玉石指出机器学习如何做成一个生意。

/pic/2_KUTDlLuPQ69RKQmnkPpRkmJ6qTfgRw.jpg

新书预计春节前完成初稿。 欢迎有识之士一起参与贡献本书的写作思路, 或者讨论相关主题。 巡洋舰科技继续搜索大数据和机器学习人才, 加盟机器学习社区或成为合伙人! (请加铁哥新号ironcruiser)。

Whalter-Wu2016-11-28 18:15:35

我要买我要买。我是学机械的,研究生期间做了三年非线性振动,毕业以后参加工作,时间没那么多,环境也不再像大学一样气氛浓郁,因此一直在考虑要不要继续做科研,铁哥和混沌巡洋舰让我看到了一个非线性领悟更加巨大和绚丽的世界。从这本书开始,回到一个学习型的人。

作者

谢谢!

蓝海平(Haiping)2016-11-28 19:56:37

有无相应的文献列表,这个抛出来或许能提前共振一下/呲牙

作者

会考虑的

番茄 滴娘2016-12-02 00:36:17

同求文献列表~

作者

晚些会给出的

张协川2016-12-01 00:52:23

好想看啊!一直都对复杂系统机器学习有兴趣,或者说对背后的哲学很是好奇。上市了一定马上入手!

丘丘你做个人2016-11-28 23:26:31

嗷嗷嗷好期待

Peng2016-11-28 18:24:00

什么时候才会出版呢,好期待/可怜/可怜

作者

估计怎么也得明年春节后了

徐雷2016-11-28 17:53:14

期待新书问世。

周军2017-05-02 14:54:30

有相关视频出售么?

作者

等今年7月会重新录

胡哼哼2016-12-22 15:19:21

一定要读这本书,光是看目录就惊喜不已,期待书的出版

Fox ZHANG-吉宏2016-12-02 22:18:51

一定要写出来,一定把参考文章列出来,一定要把书出来

番茄 滴娘2016-12-02 18:36:06

谢谢作者~期待新书~( ̄▽ ̄~)~

Arthur2016-12-01 23:24:01

一直对复杂系统,机器学习都挺感兴趣的!没想到两者有这样的内在联系!!真的很棒!

戴付志2016-12-01 17:53:41

能购买初稿么?电子版,想学习一下。

作者

目前看还是不行的,耐心等待下吧,谢谢

zhuliang2016-11-30 10:54:45

2018?网络电子书出版貌似会快些

张大用2016-11-29 19:40:58

支持!期待/色

chris2016-11-29 08:28:50

期待

Chromian2016-11-29 01:45:48

看目录感觉就很不错呀,期待。出版了请广而告之

作者

谢谢,一定!

Nicolas2016-11-29 00:06:54

期待

eye of tiger2016-11-28 19:22:00

人工智能本就是系统科学的分支。期待铁哥的新书。

作者

谢谢!

庄子龙2016-11-28 19:03:17

期待(˙ー˙)

呦呦2016-11-28 18:38:48

看着不错,坐等