人工智能

人工智能

Gartner:区块链列入2020年十大战略技术趋势,对抗deepfake成亮点之一

观点8btc 发表了文章 • 2019-10-24 16:51 • 来自相关话题

近日,知名咨询公司Gartner在美国奥兰多举行的Gartner研讨会上发布了2020年十大战略技术趋势,其中包括了实用区块链(Practical Blockchain),Gartner指出,区块链可用于建立信任、提供透明度、实现跨业务生态系统的价值交换、降低成本、减少交易时间并改善现金流等,另外区块链资产可用于追溯来源,大大减少了假货替换的机会,其还在身份管理等行业具有应用潜力。

另外,Gartner副总裁兼研究员Daryl Plummer还在这次研讨会上对区块链行业在2020年及以后进行了预测,他表示:

    "两年内,至少有10家主要新闻机构将使用区块链技术对抗deepfake视频操纵。而到2023年,全球近30%的新闻和视频内容将通过区块链认证。"


而所谓deepfake,是指使用人工智能技术来制作视频内容,它可以实现以假乱真的效果,使得人们无法通过肉眼分辨真伪。

从今年开始,deepfake视频技术逐渐被大众认识,在Facebook拒绝删除众议院议长南希·佩洛西(Nancy Pelosi) 6月份喝醉的deepfake视频后,Facebook旗下的Instagram上又出现了一段“Facebook CEO 马克·扎克伯格(Mark Zuckerberg)”的恶搞视频,视频中“小扎”讲道:“让我们快速地想象一下,一个人,手握偷窃来的数十亿人的隐私信息,包括他们的所有秘密、生活和未来等等……我将其归功于幽灵(Spectre),幽灵告诉我,谁掌握了数据,谁就掌控着未来。”

Plummer指出,机器人控制的社交媒体账户以及假新闻,吸引了比真实新闻更多的观众,这无疑是让人感到恐惧的,其表示:

    “为此,IT组织必须与内容生产团队合作,使用区块链技术建立和跟踪企业生成内容的来源。”


这不仅会涉及到政治问题,想象一下,一段老鼠deepfake视频将对连锁店市场造成怎样的损害?2014年,纽约邓肯甜甜圈专营店的一段真实老鼠视频登上了各大媒体头条,之后这家商店迅速被关闭,其店主还遭到了起诉。

此外,deepfake对女性群体的威胁更大,相关伪造视频中,有超过90%以上涉及到了色情。

除了deepfake,Gartner认为区块链还将在支付领域带来变革。

尽管Facebook的Libra稳定币项目遭遇了大麻烦,但据Plummer预测,到2020年底,主要的在线市场和社交媒体平台将开始支持加密货币支付。

Plummer补充道,到2025年,世界上一半的穷人将使用全球数字平台提供的加密货币账户服务。

Gartner公司的另一位副总裁Brian Burke则告诉与会者称,区块链具有重塑各行业的潜力。

他表示:

    “通过建立信任、提供透明度和实现跨业务生态系统的价值交换,潜在地降低成本、减少交易结算时间和改善现金流,区块链将做到这一点。”


今年早些时候,Gartner预测称,到2021年,现有90%的企业区块链平台将被取代,该公司还表示,到2025年,区块链带来的业务增值预计将增长到1760亿美元,而到2030年,这一数字将提升到3.1万亿美元。


原文:https://www.gartner.com/en/newsroom/press-releases/2019-22-10-gartner-unveils-top-predictions-for-it-organizations-and-users-in-2020-and-beyond
https://www.gartner.com/en/newsroom/press-releases/2019-10-21-gartner-identifies-the-top-10-strategic-technology-trends-for-2020
编译:隔夜的粥 查看全部
deepfake.jpg


近日,知名咨询公司Gartner在美国奥兰多举行的Gartner研讨会上发布了2020年十大战略技术趋势,其中包括了实用区块链(Practical Blockchain),Gartner指出,区块链可用于建立信任、提供透明度、实现跨业务生态系统的价值交换、降低成本、减少交易时间并改善现金流等,另外区块链资产可用于追溯来源,大大减少了假货替换的机会,其还在身份管理等行业具有应用潜力。

另外,Gartner副总裁兼研究员Daryl Plummer还在这次研讨会上对区块链行业在2020年及以后进行了预测,他表示:


    "两年内,至少有10家主要新闻机构将使用区块链技术对抗deepfake视频操纵。而到2023年,全球近30%的新闻和视频内容将通过区块链认证。"



而所谓deepfake,是指使用人工智能技术来制作视频内容,它可以实现以假乱真的效果,使得人们无法通过肉眼分辨真伪。

从今年开始,deepfake视频技术逐渐被大众认识,在Facebook拒绝删除众议院议长南希·佩洛西(Nancy Pelosi) 6月份喝醉的deepfake视频后,Facebook旗下的Instagram上又出现了一段“Facebook CEO 马克·扎克伯格(Mark Zuckerberg)”的恶搞视频,视频中“小扎”讲道:“让我们快速地想象一下,一个人,手握偷窃来的数十亿人的隐私信息,包括他们的所有秘密、生活和未来等等……我将其归功于幽灵(Spectre),幽灵告诉我,谁掌握了数据,谁就掌控着未来。”

Plummer指出,机器人控制的社交媒体账户以及假新闻,吸引了比真实新闻更多的观众,这无疑是让人感到恐惧的,其表示:


    “为此,IT组织必须与内容生产团队合作,使用区块链技术建立和跟踪企业生成内容的来源。”



这不仅会涉及到政治问题,想象一下,一段老鼠deepfake视频将对连锁店市场造成怎样的损害?2014年,纽约邓肯甜甜圈专营店的一段真实老鼠视频登上了各大媒体头条,之后这家商店迅速被关闭,其店主还遭到了起诉。

此外,deepfake对女性群体的威胁更大,相关伪造视频中,有超过90%以上涉及到了色情。

除了deepfake,Gartner认为区块链还将在支付领域带来变革。

尽管Facebook的Libra稳定币项目遭遇了大麻烦,但据Plummer预测,到2020年底,主要的在线市场和社交媒体平台将开始支持加密货币支付。

Plummer补充道,到2025年,世界上一半的穷人将使用全球数字平台提供的加密货币账户服务。

Gartner公司的另一位副总裁Brian Burke则告诉与会者称,区块链具有重塑各行业的潜力。

他表示:


    “通过建立信任、提供透明度和实现跨业务生态系统的价值交换,潜在地降低成本、减少交易结算时间和改善现金流,区块链将做到这一点。”



今年早些时候,Gartner预测称,到2021年,现有90%的企业区块链平台将被取代,该公司还表示,到2025年,区块链带来的业务增值预计将增长到1760亿美元,而到2030年,这一数字将提升到3.1万亿美元。


原文:https://www.gartner.com/en/newsroom/press-releases/2019-22-10-gartner-unveils-top-predictions-for-it-organizations-and-users-in-2020-and-beyond
https://www.gartner.com/en/newsroom/press-releases/2019-10-21-gartner-identifies-the-top-10-strategic-technology-trends-for-2020
编译:隔夜的粥

回报率850%? 这个用Python优化的比特币交易机器人简直太烧脑了...

攻略blockchaincamp 发表了文章 • 2019-06-13 12:42 • 来自相关话题

上个月,AI 工程师 Adam King 结合人工智能在预测方面得天独厚的优势,提出使用深度强化学习构建加密货币自动交易的程序。在展示模型中,程序的收益率竟达到了惊人的 60 倍(只讨论技术,无关投资建议)。

但在当时,这个展示模型略显粗糙。虽然能获得收益,但它并不稳定。使用它可能让你赚得盆满钵盈,也有可能让你赔得一无所有,颇有些“富贵险中求”的意味。

不稳定的问题一直困扰着 Adam 小哥,经过一个月的蛰伏,小哥提出将特征工程和贝叶斯优化两大杀器引入模型。这些改进会奏效么?收益率又能提升多少呢?一起来看看 Adam 小哥的最新力作吧!



在上一篇文章中(《60倍回报! AI工程师用OpenAI创建了一个比特币自动交易工具》),我们使用深度强化学习创建了一个可以赚钱的比特币自动交易智能体。虽然这个智能体能够做到自动交易比特币获得收益,但它的收益率并没有让人眼前一亮,今天我们会大幅度改进这个比特币交易智能体,从而提高它的收益率。

需要注意的是,本篇文章的目的是测试当下最先进的深度强化学习技术是否能与区块链相结合,创造出一个可以盈利的比特币自动交易智能体。目前看来业界都还没有意识到深度强化学习在自动交易方面强大的潜力,反而认为它并不是一个“能用来构建交易算法的工具”。不过,深度学习领域的最新进展已经表明,在同一个问题上强化学习智能体通常能够比普通的监督学习智能体学习到更多的特征。

出于这个原因,我做了相关的实验来探究基于深度强化学习的交易智能体究竟能达到怎样的收益率,当然了,结果也可能会是深度强化学习有着很强的局限性以至于并不适合做交易智能体,但不去尝试谁又知道结果如何呢?

首先,我们将会改进深度强化学习模型的策略网络( policy network )并使输入数据变得平稳,以便交易智能体能在很少的数据中学习到更多的特征。

接下来,我们将使用当下先进的特征工程方法来改善交易智能体的观察空间,同时微调交易智能体的奖励函数( reward function )以帮助它发现更好的交易策略。

最后,在训练并测试交易智能体获得的收益率之前,我们将使用贝叶斯优化的方法来寻找能最大化收益率的超参数。

前方高能,系好安全带,让我们开始这场干货满满的探索之旅吧。


关于深度强化学习模型的改进


在上一篇文章中,我们已经实现了深度强化学习模型的基本功能,

GitHub 地址:

https://github.com/notadamking/Bitcoin-Trader-RL

当务之急是提高深度强化学习智能体的盈利能力,换句话说就是要对模型进行一些改进。


循环神经网络(Recurrent Neural Network,RNN)

我们需要做的第一个改进就是使用循环神经网络来改进策略网络,也就是说,使用长短期记忆网络( Long Short-Term Memory ,LSTM )网络代替之前使用的多层感知机( Multi-Layer Perceptron,MLP )网络。由于循环神经网络随着时间的推移可以一直保持内部状态,因此我们不再需要滑动“回顾窗口“来捕捉价格变动之前的行为,循环神经网络的循环本质可以在运行时自动捕捉这些行为。在每个时间步长中,输入数据集中的新一个数据与上一个时间步长的输出会被一起输入到循环神经网络中。

因而长短期记忆网络可以一直维持一个内部状态。在每个时间步长中,智能体会新记住一些新的数据关系,也会忘掉一些之前的数据关系,这个内部状态也就会随之更新。





循环神经网络会接收上一个时间步长的输出





循环神经网络如何处理上一个时间步长的输出与这一个时间步长的输入





长短期记忆网络实现代码 LSTM_model.py


介于循环神经网络对于内部状态得天独厚的优势,在这里,我们使用长短期记忆网络策略更新了近端策略优化 PPO2 模型。


数据平稳性

在上一篇文章中我曾指出比特币交易的数据是非平稳的(Non-Stationary,即存在一些趋势,而不能仅仅看作是随机的波动),因此,任何机器学习模型都难以预测未来。

    平稳时间序列是平均值,方差和自相关系数(与其自身的滞后相关)都恒定的时间序列。


而且,加密货币价格的时间序列有着很明显的趋势和季节效应(季节效应是指与季节相关联的股市非正常收益,是股市中的一种“异像”,是与市场有效性相悖的情况),这两者都会影响算法对时间序列预测的准确率,所以在这里,我们需要使用差分和变换的方法来处理输入数据,从现有的时间序列中构建一个正常的数据分布来解决这个问题。

从原理上来说,差分过程就是给任意两个时间步长内加密货币币价的导数(即收益率)做差值。在理想情况下,这样做可以消除输入时间序列中存在的趋势,但是,差分处理对季节效应并不奏效,处理后的数据仍然具有很强的季节效应。这就需要我们在差分处理之前进行对数处理来消除它,经过这样的处理最终我们会得到平稳的输入时间序列,如下方右图所示。





从左到右分别为:加密货币的收盘价,差分处理后的收盘价,对数处理和差分处理后的收盘价





对数处理和差分处理的代码 diff_and_log_time_series.py


处理后的输入时间序列平稳性如何,我们可以使用增广迪基-福勒检验( Augmented Dickey-Fuller test )验证一下。

运行以下代码:





增广迪基-福勒检验的代码 adfuller_test.py


我们得到的 p 值为 0.00 ,这意味着我们拒绝假设检验中的零假设并确认处理后的输入时间序列是平稳的。

我们可以运行上面的增广迪基-福勒检验代码来检验输入时间序列的平稳性。

在完成了这项工作之后,接下来我们将使用特征工程的方法进一步优化交易智能体的观察空间。


特征工程


为了进一步提升交易智能体的收益率,我们需要做一些特征工程。

    特征工程是使用该领域知识来生成额外的输入数据从而优化机器学习模型的过程。


具体到交易智能体,我们将在输入数据集中添加一些常见且有效的技术指标,以及 Python 数据分析程序库 StatsModels 中季节效应预测模型 SARIMAX 的输出。这些技术指标会为我们的输入数据集带来一些相关的,但可能会滞后的信息,这些信息能大大提升交易智能体预测的准确性。这些优化方法的组合可以为交易智能体提供一个非常好的观察空间,让智能体学习到更多的特征,从而获得更多的收益。


技术分析


为了选择技术指标,我们将比较 Python 技术分析库 ta 中可用的所有 32 个指标( 58 个特征)的相关性。可以使用数据分析工具 pandas 来计算相同类型的各个指标(如动量,体积,趋势,波动率)之间的相关性,然后在每种类型中仅选择最不相关的指标作为特征。这样,就可以在不给观察空间带来过多噪音干扰的情况下,最大程度地发掘这些技术指标的价值。





使用 Python 高级可视化库 seaborn 做出的比特币数据集上技术指标相关性的热力图


结果显示,波动率指标以及一些动量指标都是高度相关的。在删除所有重复的特征(每个类型中相关性的绝对平均值大于 0.5 的特征)之后,我们将剩余的 38 个技术特征添加到交易智能体的观察空间中。

在代码中,我们需要创建一个名为 add_indicators(添加指标)的函数来将这些特征添加到数据帧中,为了避免在每个时间步长中重复计算这些特征,我们只在交易智能体环境初始化的过程中调用 add_indicators 函数。





交易智能体环境初始化的代码 initialize_env.py


在这里,初始化交易智能体环境,在进行数据平稳性处理之前将特征添加到了数据帧中。


统计分析


接下来我们需要添加预测模型。

由于季节效应自回归移动平均模型(Seasonal Auto Regressive Integrated Moving Average,SARIMA)可以在每个时间步长中快速计算价格的预测值,在平稳数据集中运算非常准确,因此我们使用它来进行加密货币币价预测。

除了上述这些优点之外,该模型实现起来非常简单,它还可以给出预测值的置信区间,通常情况下这比单独给出一个预测值能提供更多的信息。就比如说,当置信区间较小时,交易智能体就会更相信这个预测值的准确性,当置信区间很大时交易智能体就知道要承担更大的风险。





加入 SARIMA 预测模型的代码 add_sarimax_predictions.py


这里我们将 SARIMAX 预测模型和置信区间添加到交易智能体的观察空间中。

现在我们已经使用性能更好的循环神经网络更新了策略,并使用特征工程的方法改进了交易智能体的观察空间,是时候优化其他的部分了。
 

奖励优化


有些人可能会觉得上一篇文章中的奖励函数(即奖励资产总价值不断增加)已经是最好的解决方案了,但是,通过进一步的研究我发现奖励函数还有提升的空间。虽然我们之前使用的简单奖励函数已经能够获得收益,但它给出的投资策略非常不稳定,往往会导致资产的严重损失。为了改善这一点,除了考虑利润的增加以外,我们还需要考虑其他奖励的指标。

奖励指标的一个简单改进就是,不仅仅奖励在比特币价格上涨时持有比特币带来的利润,还奖励在比特币价格下跌时抛售比特币而避免的损失。就比如说,我们可以奖励智能体买入比特币而总资产增加的行为,以及卖出比特币避免总资产减少的行为。

虽然这种奖励指标在提高收益率方面非常出色,但这样做并没有考虑到高回报带来的高风险。投资者早已发现这种简单投资策略背后存在的漏洞,并将其改进成一种风险可调节的奖励指标。


基于波动率的奖励指标

这种风险可调节的奖励指标中的典型就是夏普比率(Sharpe Ratio,又被称为夏普指数)。它计算的是特定时间段内投资组合的超额收益与波动性的比率。具体的计算公式如下:





夏普比率的计算公式:(投资组合的收益-大盘的收益)/投资组合的标准差


从公式中我们可以得出,为了保持较高的夏普比率,投资组合必须同时保证高收益和低波动性(也就是风险)。

作为一种奖励指标,夏普比率经受住了时间的考验,但它对于自动交易智能体来说并不是很完美,因为它会对上行标准差( upside volatility )产生不利影响,而在比特币交易环境中有时我们需要利用上行标准差,因为上行标准差(即比特币价格疯狂上涨)通常都是很好的机会窗口。

而使用索提诺比率( Sortino Ratio )可以很好地解决这个问题。索提诺比率与夏普比率非常相似,只是它在风险上只考虑了下行标准差,而不是整体标准差。因此,索提诺比率并不会对上行标准差产生什么不利影响。因而我们给交易智能体的第一条奖励指标就选择索提诺比率,它的计算公式如下:





索提诺比率的计算公式:(投资组合的收益-大盘的收益)/投资组合的下行标准差


其他奖励指标

我们选择 Calmar 比率作为交易智能体的第二个奖励指标。到目前为止,我们所有的奖励指标都没有考虑到比特币币价最大回撤率(drawdown)这个关键因素。

    最大回撤率是指比特币币价从价格顶峰到价格低谷之间的价值差,用来描述买入比特币后最糟糕的情况。


最大回撤率对我们的投资策略来说是致命的,因为只需一次币价突然跳水,我们长时间累积的高收益就会化为乌有。





最大回撤率


为了消除最大回撤率带来的负面影响,我们需要选用可以处理这种情况的奖励指标,就比如说选用 Calmar 比率。该比率与夏普比率类似,只是它将分母上投资组合的标准差替换为最大回撤率。





Calmar 比率的计算公式:(投资组合的收益-大盘的收益)/最大回撤率


我们最后一个奖励指标是在对冲基金行业中广泛使用的 Omega 比率。从理论上来说,在衡量风险与收益时,Omega 比率应该优于 Sortino 比率和 Calmar 比率,因为它能够在单个指标中使用收益的分布来评估风险。

计算 Omega 比率时,我们需要分别计算在特定基准之上或之下投资组合的概率分布,然后两者相除计算比率。Omega 比率越高,比特币上涨潜力超过下跌潜力的概率就越高。





Omege 比率的计算公式


Omega 比率的计算公式看起来很复杂,不过不要担心,在代码中实现它并不难。


代码实现

虽然说编写每个奖励指标的代码听起来很有意思且很有挑战性,但这里为了方便大家的理解,我选择使用 Python 量化金融程序包 empyrical 来计算它们。幸运的是,这个程序包中恰好包含了我们上面定义的三个奖励指标,因而在每个时间步长中,我们只需要将该时间段内收益和大盘收益的列表发给 Empyrical 函数,它就会返回这三个比率。





使用 empyrical 程序包计算三个奖励指标的代码 risk_adjusted_reward.py


在代码中,我们通过预先定义的奖励函数设置了每个时间步长的奖励。

到目前为止,我们已经确定了如何衡量一个交易策略的成功与否,现在是时候弄清楚哪些指标会带来较高的收益。我们需要将这些奖励函数输入到自动超参数优化软件框架 Optuna 中,然后使用贝叶斯优化来的方法为输入数据集寻找最优的超参数。


工具集


俗话说,好马配好鞍。任何一个优秀的技术人员都需要一套好用的工具,否则就会巧妇难为无米之炊。

但我并不是说我们要重复造轮子,我们应该学会使用程序员前辈用秃头的代价为我们开发的工具,这样他们的工作也算没有白费。对于我们所开发的交易智能体,它要用到的最重要的工具就是自动超参数优化软件框架 Optuna,从原理上来说,它使用了树结构的 Parzen 窗估计(Tree-structured Parzen Estimators,TPEs)来实现贝叶斯优化,而这种估计方法是可以并行化运行的,这使得我们的显卡有了用武之地,执行搜索需要的时间也会大大缩短。简而言之,

    贝叶斯优化是一种搜索超参数空间以找到能最大化给定目标函数的超参数的高效解决方案。


也就是说,贝叶斯优化能够有效地改进任何黑箱模型。从工作原理上来说,贝叶斯优化通过使用替代函数( surrogate functions )或是替代函数的分布对要优化的目标函数进行建模。随着时间的推移,算法不断地检索超参数空间以找到那些能够最大化目标函数的超参数,分布的效果也会逐渐改善。

理论说了这么多,我们要如何把这些技术应用在比特币自动交易智能体中呢?从本质上来讲,我们可以使用这种技术来找到一组最优的超参数,使得智能体的收益率最高。这个过程就像是在超参数的汪洋大海中捞取一根效果最好的针,而贝叶斯优化就是带我们找到这根针的磁铁。让我们开始吧。

使用 Optuna 优化超参数并不是什么难事。

首先,我们需要创建一个 optuna 实例,也就是装载所有超参数试验的容器。在每次试验中我们需要调整超参数的设置来计算目标函数相应的损失函数值。在实例初始化完成后,我们需要向其中传入目标函数然后调用 study.optimize() 函数开始优化,Optuna 将使用贝叶斯优化的方法来寻找能够最小化损失函数的超参数配置。





使用 Optuna 程序库贝叶斯优化的代码 optimize_with_optuna.py


在这个例子中,目标函数就是在比特币交易环境中训练并测试智能体,而目标函数的损失值则定义为测试期间智能体平均收益的相反数,之所以给收益值加上负号,是因为平均收益越高越好,而在 Optuna 看来损失函数越低越好,一个负号刚好解决这个问题。optimize 优化函数为目标函数提供了试验对象,代码中我们可以指定试验对象中的变量设置。





优化目标函数的代码 optimize_objective_fn.py


optimize_ppo2 优化智能体函数和 optimize_envs 优化智能体环境函数接收试验对象作为输入并返回包含要测试参数的字典。每个变量的搜索空间由 suggest 函数进行设置,我们需要在试验中调用 suggest 函数并给函数中传入指定的参数。

比如说,如果设置参数在对数尺度上服从均匀分布,即调用函数

trial.suggest_loguniform('n_steps',16,2048),

相当于给函数了一个 16-2048 之间的 2 的指数次方(如16,32,64,…,1024,2048)的新浮点数。

再者,如果设置参数在普通尺度上服从均匀分布,即调用函数

trial.suggest_uniform('cliprange',0.1,0.4),

相当于给函数一个 0.1 到 0.4 之间的新浮点数(如0.1,0.2,0.3,0.4)。

相信你已经看出来了其中的规律,就是这样来设置变量:

suggest_categorical('categorical',['option_one','option_two']),其中 categorical 为设置变量的策略, option_one 和 option_two 分别为变量的两个选项,在刚才的函数中这两个选项为变量的范围,弄懂了这个相信下面的代码就难不倒你了。





化交易智能体的代码 optimize_ppo2.py





优化交易环境的代码 optimize_envs.py


代码写好后,我们在一台高性能服务器上以 CPU/显卡协同运算的方式运行了优化函数。在设置中,Optuna 创建了一个 SQLite 数据库,我们可以从中加载优化的实例。该实例记录了测试过程中性能最好的一次试验,从中我们可以推算出智能体交易环境中最优的超参数集。





加载 optuna 实例的代码 load_optuna_study.py


到这里,我们已经改进了模型,改进了特征集,并优化了所有的超参数。但俗话说,是骡子是马得拉出来遛遛。

那么,交易智能体在新的奖励指标下表现如何呢?

在训练过程中,我分别使用了利润、Sortino 比率、Calmar 比率和 Omega 比率四个奖励指标来优化智能体。接下来我们需要在测试环境中检验哪种奖励指标训练出来的智能体收益最高,当然了,测试环境中的数据都是智能体在训练过程中从未见到过的比特币价格走势,这样保证了测试的公平性。


收益比较


在查看结果之前,我们需要知晓一个成功的交易策略是什么样的。出于这个原因,我们将针对一些常见且有效的比特币交易策略进行基准测试。令人震惊的是,在过去的十年中一个最有效的比特币交易策略就是买入并持有,而另外两个不错的交易策略则是使用简单但有效的技术分析来生成买入/卖出信号,从而指导交易。

1、买入并持有

这种交易策略指尽可能多地购买比特币并一直持有下去(也就是区块链社区中的江湖黑话“ HODL ”)。虽然说这种交易策略并不是特别复杂,但在过去这样做赚钱的机率很高。

2、相对强弱指数分歧(Relative Strength Index(RSI) divergence )

当相对强弱指数持续下跌且收盘价持续上涨时,这就是需要卖出的信号,而当相对强弱指数持续上涨且收盘价持续下跌时,就是需要买入的信号。

3、简单移动平均线( Simple Moving Average,SMA )交叉

当长期简单移动平均线超过短期简单移动平均线时,这就是需要卖出的信号,而当短期简单移动平均线超过长期简单移动平均线时,就是需要买入的信号。

你可能会问,为什么要做这些简单的基准测试呢?这样做是为了通过比较证明我们的强化学习交易智能体可以在比特币市场上发挥作用,如果智能体的收益连这些简单的基准收益都超不过,那么我们就相当于花费了大量的开发时间和显卡算力来进行了一场天马行空的科学实验。现在,让我们来证明事实并非如此。


实验结果


我们的数据集选用从加密货币数据网站 CryptoDataDownload 上下载的每小时收盘价位置价值( OHCLV )数据,其中前 80% 的数据用来训练智能体,后 20% 作为全新的数据进行测试,以了解智能体的收益能力。当前这种简单的交叉验证形式足以满足我们的需求,而如果这个比特币自动交易智能体真的走向生产就绪,我们就可以使用全部的数据集进行训练,然后在每天新产生的数据集上进行测试。

废话不多说,我们来看看结果。

可以看到,使用 Omega 比率作为奖励指标的智能体在测试阶段并没有让人眼前一亮的交易。





使用 Omega 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


分析智能体所进行的交易我们可以发现,很明显 Omega 比率这种奖励指标产生了过度交易(over-trade)的交易策略,以至于智能体未能抓住市场机会获得收益。

使用 Calmar 比率作为奖励指标的智能体与使用 Omega 比率作为奖励指标的智能体相比略有改进,但最终结果非常相似。看起来像是我们投入了大量的时间和精力,只是为了让事情变得更糟......





使用 Calmar 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


如果仅使用利润作为奖励指标效果如何呢?在上一篇文章中这种奖励指标被证明有点失败,这次做的所有修改和优化能否化腐朽为神奇呢?

在为期四个月的测试周期内,使用利润作为奖励指标的智能体平均收益达到账户初始金额的350%。你可能已经被这个结果吓呆了。这应该就是强化学习能达到的巅峰了吧,对吧?





使用利润作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


并不是这样的。使用 Sortino 比率作为奖励指标的智能体平均收益达到了账户初始金额的850%。当我看到这个数字时,我都不敢相信自己的眼睛,以至于我立马回去检查代码中是否存在问题。但经过彻底的检查后,很明显代码中没有任何错误,也就是说这些智能体已经知道如何进行比特币交易。





使用 Sortino 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


看起来使用 Sortino 比率作为奖励指标的智能体学习到了在最小化持有比特币风险的前提下低价买入和高价卖出的重要性,同时它们还躲过了过度交易和投资不足两大陷阱。虽然说智能体学到的具体交易策略我们不得而知,但是我们可以清楚地看到智能体已经学会通过交易比特币获得收益了。





使用 Sortino 比率作为奖励指标的智能体正在交易比特币,其中绿色的三角形表示买入信号,红色的三角形表示卖出信号


现在,我并没有被实验成功的兴奋冲昏头脑。我清楚地知道比特币自动交易智能体还远远没有达到生产就绪。话虽如此,但这些结果比我迄今为止看到的任何交易策略都要令人印象深刻。而且令人震惊的是,我们并没有告诉智能体关于加密货币市场如何运作、如何在加密货币市场上赚钱这样的先验知识,而是仅靠智能体重复地试验和试错就达到了这么好的效果,不过,这里经过了很多很多次的试验和试错。


写在最后


在本篇文章中,我们优化了基于强化学习的比特币自动交易智能体,让它在交易比特币时做出更好的决策,从而获得更多的收益!在这个过程中我们花费了大量的时间和精力,也遇到了很多的困难,我们把困难分解细化再逐个攻破,最终完成了智能体的优化,其中具体的操作步骤如下:

1、使用循环神经网络升级现有模型,即升级成使用平稳性数据的长短期记忆网络;

2、使用领域知识和统计分析进行特征工程,为智能体提供了 40 多个用来学习的新特征;

3、将投资的风险引入智能体的奖励指标,而不只是关注利润;

4、使用贝叶斯优化来寻找模型中最优的超参数;

5、使用常见的交易策略进行基准测试,以确保智能体的收益可以跑赢市场。


从理论上来说,这个高收益的交易智能体已经做得很不错了。

但是,我收到了相当多的反馈,他们声称交易智能体只是在学习拟合曲线,因此,面对生产环境中的实时数据,交易智能体永远不可能获得收益。虽然我们在不同数据集上训练/测试智能体的方法应该能够解决这个问题,但是模型确实会有过度拟合数据集的可能,并且可能不会很好地推广到实时数据。话虽这么说,但在我看来这些交易智能体学习到的远远不只是简单的曲线拟合,因此,我认为它们能够在实时交易的场景中获得收益。

为了检验这个想法,接下来的一段时间里我会把这些基于强化学习的智能体带到生产环节,为此,我们首先要更新智能体的运行环境以支持以太币、莱特币等其他加密货币,然后我们将升级智能体让它可以在加密货币交易所 Coinbase Pro 上实时交易。

这将会是一个激动人心的实验,请不要错过它。

需要强调的是,本篇文章中所有的方法和投资策略都是出于教育目的,不应被视为投资建议。我们的比特币自动交易智能体也远远没有达到实际生产层面,所以请管好自己的钱包。


参考资源:

1)基于 Python 语言和 Tensorflow 框架的循环神经网络和长短期记忆网络教程

https://adventuresinmachinelearning.com/recurrent-neural-networks-lstm-tutorial-tensorflow/

2)浅析基于 Python 语言的季节效应自回归移动平均模型预测时间序列

https://machinelearningmastery.com/sarima-for-time-series-forecasting-in-python/

3)浅析基于 Python 语言的非平稳性时间序列处理

https://www.analyticsvidhya.com/blog/2018/09/non-stationary-time-series-python/

4)超参数优化算法

https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf

5)机器学习方法在金融领域中的最新进展

https://dwz.cn/iUahVt2u


来源 | Towards Data Science 编译 | Guoxi 责编 | 乔治 出品 | 区块链大本营(Blockchain_camp) 查看全部
3D-Rendering-Robot-and-laptop-stock-exchange-trading.jpg


上个月,AI 工程师 Adam King 结合人工智能在预测方面得天独厚的优势,提出使用深度强化学习构建加密货币自动交易的程序。在展示模型中,程序的收益率竟达到了惊人的 60 倍(只讨论技术,无关投资建议)。

但在当时,这个展示模型略显粗糙。虽然能获得收益,但它并不稳定。使用它可能让你赚得盆满钵盈,也有可能让你赔得一无所有,颇有些“富贵险中求”的意味。

不稳定的问题一直困扰着 Adam 小哥,经过一个月的蛰伏,小哥提出将特征工程和贝叶斯优化两大杀器引入模型。这些改进会奏效么?收益率又能提升多少呢?一起来看看 Adam 小哥的最新力作吧!




在上一篇文章中(《60倍回报! AI工程师用OpenAI创建了一个比特币自动交易工具》),我们使用深度强化学习创建了一个可以赚钱的比特币自动交易智能体。虽然这个智能体能够做到自动交易比特币获得收益,但它的收益率并没有让人眼前一亮,今天我们会大幅度改进这个比特币交易智能体,从而提高它的收益率。

需要注意的是,本篇文章的目的是测试当下最先进的深度强化学习技术是否能与区块链相结合,创造出一个可以盈利的比特币自动交易智能体。目前看来业界都还没有意识到深度强化学习在自动交易方面强大的潜力,反而认为它并不是一个“能用来构建交易算法的工具”。不过,深度学习领域的最新进展已经表明,在同一个问题上强化学习智能体通常能够比普通的监督学习智能体学习到更多的特征。

出于这个原因,我做了相关的实验来探究基于深度强化学习的交易智能体究竟能达到怎样的收益率,当然了,结果也可能会是深度强化学习有着很强的局限性以至于并不适合做交易智能体,但不去尝试谁又知道结果如何呢?

首先,我们将会改进深度强化学习模型的策略网络( policy network )并使输入数据变得平稳,以便交易智能体能在很少的数据中学习到更多的特征。

接下来,我们将使用当下先进的特征工程方法来改善交易智能体的观察空间,同时微调交易智能体的奖励函数( reward function )以帮助它发现更好的交易策略。

最后,在训练并测试交易智能体获得的收益率之前,我们将使用贝叶斯优化的方法来寻找能最大化收益率的超参数。

前方高能,系好安全带,让我们开始这场干货满满的探索之旅吧。


关于深度强化学习模型的改进


在上一篇文章中,我们已经实现了深度强化学习模型的基本功能,

GitHub 地址:

https://github.com/notadamking/Bitcoin-Trader-RL

当务之急是提高深度强化学习智能体的盈利能力,换句话说就是要对模型进行一些改进。


循环神经网络(Recurrent Neural Network,RNN)

我们需要做的第一个改进就是使用循环神经网络来改进策略网络,也就是说,使用长短期记忆网络( Long Short-Term Memory ,LSTM )网络代替之前使用的多层感知机( Multi-Layer Perceptron,MLP )网络。由于循环神经网络随着时间的推移可以一直保持内部状态,因此我们不再需要滑动“回顾窗口“来捕捉价格变动之前的行为,循环神经网络的循环本质可以在运行时自动捕捉这些行为。在每个时间步长中,输入数据集中的新一个数据与上一个时间步长的输出会被一起输入到循环神经网络中。

因而长短期记忆网络可以一直维持一个内部状态。在每个时间步长中,智能体会新记住一些新的数据关系,也会忘掉一些之前的数据关系,这个内部状态也就会随之更新。

201906130048151683.jpg

循环神经网络会接收上一个时间步长的输出

201906130048238353.jpg

循环神经网络如何处理上一个时间步长的输出与这一个时间步长的输入

201906130048263656.jpg

长短期记忆网络实现代码 LSTM_model.py


介于循环神经网络对于内部状态得天独厚的优势,在这里,我们使用长短期记忆网络策略更新了近端策略优化 PPO2 模型。


数据平稳性

在上一篇文章中我曾指出比特币交易的数据是非平稳的(Non-Stationary,即存在一些趋势,而不能仅仅看作是随机的波动),因此,任何机器学习模型都难以预测未来。


    平稳时间序列是平均值,方差和自相关系数(与其自身的滞后相关)都恒定的时间序列。



而且,加密货币价格的时间序列有着很明显的趋势和季节效应(季节效应是指与季节相关联的股市非正常收益,是股市中的一种“异像”,是与市场有效性相悖的情况),这两者都会影响算法对时间序列预测的准确率,所以在这里,我们需要使用差分和变换的方法来处理输入数据,从现有的时间序列中构建一个正常的数据分布来解决这个问题。

从原理上来说,差分过程就是给任意两个时间步长内加密货币币价的导数(即收益率)做差值。在理想情况下,这样做可以消除输入时间序列中存在的趋势,但是,差分处理对季节效应并不奏效,处理后的数据仍然具有很强的季节效应。这就需要我们在差分处理之前进行对数处理来消除它,经过这样的处理最终我们会得到平稳的输入时间序列,如下方右图所示。

201906130048282233.jpg

从左到右分别为:加密货币的收盘价,差分处理后的收盘价,对数处理和差分处理后的收盘价

201906130050581432.jpg

对数处理和差分处理的代码 diff_and_log_time_series.py


处理后的输入时间序列平稳性如何,我们可以使用增广迪基-福勒检验( Augmented Dickey-Fuller test )验证一下。

运行以下代码:

201906130051017091.jpg

增广迪基-福勒检验的代码 adfuller_test.py


我们得到的 p 值为 0.00 ,这意味着我们拒绝假设检验中的零假设并确认处理后的输入时间序列是平稳的。

我们可以运行上面的增广迪基-福勒检验代码来检验输入时间序列的平稳性。

在完成了这项工作之后,接下来我们将使用特征工程的方法进一步优化交易智能体的观察空间。


特征工程


为了进一步提升交易智能体的收益率,我们需要做一些特征工程。


    特征工程是使用该领域知识来生成额外的输入数据从而优化机器学习模型的过程。



具体到交易智能体,我们将在输入数据集中添加一些常见且有效的技术指标,以及 Python 数据分析程序库 StatsModels 中季节效应预测模型 SARIMAX 的输出。这些技术指标会为我们的输入数据集带来一些相关的,但可能会滞后的信息,这些信息能大大提升交易智能体预测的准确性。这些优化方法的组合可以为交易智能体提供一个非常好的观察空间,让智能体学习到更多的特征,从而获得更多的收益。


技术分析


为了选择技术指标,我们将比较 Python 技术分析库 ta 中可用的所有 32 个指标( 58 个特征)的相关性。可以使用数据分析工具 pandas 来计算相同类型的各个指标(如动量,体积,趋势,波动率)之间的相关性,然后在每种类型中仅选择最不相关的指标作为特征。这样,就可以在不给观察空间带来过多噪音干扰的情况下,最大程度地发掘这些技术指标的价值。

201906130051032401.jpg

使用 Python 高级可视化库 seaborn 做出的比特币数据集上技术指标相关性的热力图


结果显示,波动率指标以及一些动量指标都是高度相关的。在删除所有重复的特征(每个类型中相关性的绝对平均值大于 0.5 的特征)之后,我们将剩余的 38 个技术特征添加到交易智能体的观察空间中。

在代码中,我们需要创建一个名为 add_indicators(添加指标)的函数来将这些特征添加到数据帧中,为了避免在每个时间步长中重复计算这些特征,我们只在交易智能体环境初始化的过程中调用 add_indicators 函数。

201906130054303259.jpg

交易智能体环境初始化的代码 initialize_env.py


在这里,初始化交易智能体环境,在进行数据平稳性处理之前将特征添加到了数据帧中。


统计分析


接下来我们需要添加预测模型。

由于季节效应自回归移动平均模型(Seasonal Auto Regressive Integrated Moving Average,SARIMA)可以在每个时间步长中快速计算价格的预测值,在平稳数据集中运算非常准确,因此我们使用它来进行加密货币币价预测。

除了上述这些优点之外,该模型实现起来非常简单,它还可以给出预测值的置信区间,通常情况下这比单独给出一个预测值能提供更多的信息。就比如说,当置信区间较小时,交易智能体就会更相信这个预测值的准确性,当置信区间很大时交易智能体就知道要承担更大的风险。

sarima.jpg

加入 SARIMA 预测模型的代码 add_sarimax_predictions.py


这里我们将 SARIMAX 预测模型和置信区间添加到交易智能体的观察空间中。

现在我们已经使用性能更好的循环神经网络更新了策略,并使用特征工程的方法改进了交易智能体的观察空间,是时候优化其他的部分了。
 

奖励优化


有些人可能会觉得上一篇文章中的奖励函数(即奖励资产总价值不断增加)已经是最好的解决方案了,但是,通过进一步的研究我发现奖励函数还有提升的空间。虽然我们之前使用的简单奖励函数已经能够获得收益,但它给出的投资策略非常不稳定,往往会导致资产的严重损失。为了改善这一点,除了考虑利润的增加以外,我们还需要考虑其他奖励的指标。

奖励指标的一个简单改进就是,不仅仅奖励在比特币价格上涨时持有比特币带来的利润,还奖励在比特币价格下跌时抛售比特币而避免的损失。就比如说,我们可以奖励智能体买入比特币而总资产增加的行为,以及卖出比特币避免总资产减少的行为。

虽然这种奖励指标在提高收益率方面非常出色,但这样做并没有考虑到高回报带来的高风险。投资者早已发现这种简单投资策略背后存在的漏洞,并将其改进成一种风险可调节的奖励指标。


基于波动率的奖励指标

这种风险可调节的奖励指标中的典型就是夏普比率(Sharpe Ratio,又被称为夏普指数)。它计算的是特定时间段内投资组合的超额收益与波动性的比率。具体的计算公式如下:

201906130054425439.jpg

夏普比率的计算公式:(投资组合的收益-大盘的收益)/投资组合的标准差


从公式中我们可以得出,为了保持较高的夏普比率,投资组合必须同时保证高收益和低波动性(也就是风险)。

作为一种奖励指标,夏普比率经受住了时间的考验,但它对于自动交易智能体来说并不是很完美,因为它会对上行标准差( upside volatility )产生不利影响,而在比特币交易环境中有时我们需要利用上行标准差,因为上行标准差(即比特币价格疯狂上涨)通常都是很好的机会窗口。

而使用索提诺比率( Sortino Ratio )可以很好地解决这个问题。索提诺比率与夏普比率非常相似,只是它在风险上只考虑了下行标准差,而不是整体标准差。因此,索提诺比率并不会对上行标准差产生什么不利影响。因而我们给交易智能体的第一条奖励指标就选择索提诺比率,它的计算公式如下:

201906130054443367-2.jpg

索提诺比率的计算公式:(投资组合的收益-大盘的收益)/投资组合的下行标准差


其他奖励指标

我们选择 Calmar 比率作为交易智能体的第二个奖励指标。到目前为止,我们所有的奖励指标都没有考虑到比特币币价最大回撤率(drawdown)这个关键因素。


    最大回撤率是指比特币币价从价格顶峰到价格低谷之间的价值差,用来描述买入比特币后最糟糕的情况。



最大回撤率对我们的投资策略来说是致命的,因为只需一次币价突然跳水,我们长时间累积的高收益就会化为乌有。

201906130054464046.jpg

最大回撤率


为了消除最大回撤率带来的负面影响,我们需要选用可以处理这种情况的奖励指标,就比如说选用 Calmar 比率。该比率与夏普比率类似,只是它将分母上投资组合的标准差替换为最大回撤率。

201906130059014313.jpg

Calmar 比率的计算公式:(投资组合的收益-大盘的收益)/最大回撤率


我们最后一个奖励指标是在对冲基金行业中广泛使用的 Omega 比率。从理论上来说,在衡量风险与收益时,Omega 比率应该优于 Sortino 比率和 Calmar 比率,因为它能够在单个指标中使用收益的分布来评估风险。

计算 Omega 比率时,我们需要分别计算在特定基准之上或之下投资组合的概率分布,然后两者相除计算比率。Omega 比率越高,比特币上涨潜力超过下跌潜力的概率就越高。

201906130059038913.jpg

Omege 比率的计算公式


Omega 比率的计算公式看起来很复杂,不过不要担心,在代码中实现它并不难。


代码实现

虽然说编写每个奖励指标的代码听起来很有意思且很有挑战性,但这里为了方便大家的理解,我选择使用 Python 量化金融程序包 empyrical 来计算它们。幸运的是,这个程序包中恰好包含了我们上面定义的三个奖励指标,因而在每个时间步长中,我们只需要将该时间段内收益和大盘收益的列表发给 Empyrical 函数,它就会返回这三个比率。

201906130059053400.jpg

使用 empyrical 程序包计算三个奖励指标的代码 risk_adjusted_reward.py


在代码中,我们通过预先定义的奖励函数设置了每个时间步长的奖励。

到目前为止,我们已经确定了如何衡量一个交易策略的成功与否,现在是时候弄清楚哪些指标会带来较高的收益。我们需要将这些奖励函数输入到自动超参数优化软件框架 Optuna 中,然后使用贝叶斯优化来的方法为输入数据集寻找最优的超参数。


工具集


俗话说,好马配好鞍。任何一个优秀的技术人员都需要一套好用的工具,否则就会巧妇难为无米之炊。

但我并不是说我们要重复造轮子,我们应该学会使用程序员前辈用秃头的代价为我们开发的工具,这样他们的工作也算没有白费。对于我们所开发的交易智能体,它要用到的最重要的工具就是自动超参数优化软件框架 Optuna,从原理上来说,它使用了树结构的 Parzen 窗估计(Tree-structured Parzen Estimators,TPEs)来实现贝叶斯优化,而这种估计方法是可以并行化运行的,这使得我们的显卡有了用武之地,执行搜索需要的时间也会大大缩短。简而言之,


    贝叶斯优化是一种搜索超参数空间以找到能最大化给定目标函数的超参数的高效解决方案。



也就是说,贝叶斯优化能够有效地改进任何黑箱模型。从工作原理上来说,贝叶斯优化通过使用替代函数( surrogate functions )或是替代函数的分布对要优化的目标函数进行建模。随着时间的推移,算法不断地检索超参数空间以找到那些能够最大化目标函数的超参数,分布的效果也会逐渐改善。

理论说了这么多,我们要如何把这些技术应用在比特币自动交易智能体中呢?从本质上来讲,我们可以使用这种技术来找到一组最优的超参数,使得智能体的收益率最高。这个过程就像是在超参数的汪洋大海中捞取一根效果最好的针,而贝叶斯优化就是带我们找到这根针的磁铁。让我们开始吧。

使用 Optuna 优化超参数并不是什么难事。

首先,我们需要创建一个 optuna 实例,也就是装载所有超参数试验的容器。在每次试验中我们需要调整超参数的设置来计算目标函数相应的损失函数值。在实例初始化完成后,我们需要向其中传入目标函数然后调用 study.optimize() 函数开始优化,Optuna 将使用贝叶斯优化的方法来寻找能够最小化损失函数的超参数配置。

201906130059078525.jpg

使用 Optuna 程序库贝叶斯优化的代码 optimize_with_optuna.py


在这个例子中,目标函数就是在比特币交易环境中训练并测试智能体,而目标函数的损失值则定义为测试期间智能体平均收益的相反数,之所以给收益值加上负号,是因为平均收益越高越好,而在 Optuna 看来损失函数越低越好,一个负号刚好解决这个问题。optimize 优化函数为目标函数提供了试验对象,代码中我们可以指定试验对象中的变量设置。

201906130104218908.jpg

优化目标函数的代码 optimize_objective_fn.py


optimize_ppo2 优化智能体函数和 optimize_envs 优化智能体环境函数接收试验对象作为输入并返回包含要测试参数的字典。每个变量的搜索空间由 suggest 函数进行设置,我们需要在试验中调用 suggest 函数并给函数中传入指定的参数。

比如说,如果设置参数在对数尺度上服从均匀分布,即调用函数

trial.suggest_loguniform('n_steps',16,2048),

相当于给函数了一个 16-2048 之间的 2 的指数次方(如16,32,64,…,1024,2048)的新浮点数。

再者,如果设置参数在普通尺度上服从均匀分布,即调用函数

trial.suggest_uniform('cliprange',0.1,0.4),

相当于给函数一个 0.1 到 0.4 之间的新浮点数(如0.1,0.2,0.3,0.4)。

相信你已经看出来了其中的规律,就是这样来设置变量:

suggest_categorical('categorical',['option_one','option_two']),其中 categorical 为设置变量的策略, option_one 和 option_two 分别为变量的两个选项,在刚才的函数中这两个选项为变量的范围,弄懂了这个相信下面的代码就难不倒你了。

201906130104292196.jpg

化交易智能体的代码 optimize_ppo2.py

201906130104344369.jpg

优化交易环境的代码 optimize_envs.py


代码写好后,我们在一台高性能服务器上以 CPU/显卡协同运算的方式运行了优化函数。在设置中,Optuna 创建了一个 SQLite 数据库,我们可以从中加载优化的实例。该实例记录了测试过程中性能最好的一次试验,从中我们可以推算出智能体交易环境中最优的超参数集。

201906130104367375.jpg

加载 optuna 实例的代码 load_optuna_study.py


到这里,我们已经改进了模型,改进了特征集,并优化了所有的超参数。但俗话说,是骡子是马得拉出来遛遛。

那么,交易智能体在新的奖励指标下表现如何呢?

在训练过程中,我分别使用了利润、Sortino 比率、Calmar 比率和 Omega 比率四个奖励指标来优化智能体。接下来我们需要在测试环境中检验哪种奖励指标训练出来的智能体收益最高,当然了,测试环境中的数据都是智能体在训练过程中从未见到过的比特币价格走势,这样保证了测试的公平性。


收益比较


在查看结果之前,我们需要知晓一个成功的交易策略是什么样的。出于这个原因,我们将针对一些常见且有效的比特币交易策略进行基准测试。令人震惊的是,在过去的十年中一个最有效的比特币交易策略就是买入并持有,而另外两个不错的交易策略则是使用简单但有效的技术分析来生成买入/卖出信号,从而指导交易。

1、买入并持有

这种交易策略指尽可能多地购买比特币并一直持有下去(也就是区块链社区中的江湖黑话“ HODL ”)。虽然说这种交易策略并不是特别复杂,但在过去这样做赚钱的机率很高。

2、相对强弱指数分歧(Relative Strength Index(RSI) divergence )

当相对强弱指数持续下跌且收盘价持续上涨时,这就是需要卖出的信号,而当相对强弱指数持续上涨且收盘价持续下跌时,就是需要买入的信号。

3、简单移动平均线( Simple Moving Average,SMA )交叉

当长期简单移动平均线超过短期简单移动平均线时,这就是需要卖出的信号,而当短期简单移动平均线超过长期简单移动平均线时,就是需要买入的信号。

你可能会问,为什么要做这些简单的基准测试呢?这样做是为了通过比较证明我们的强化学习交易智能体可以在比特币市场上发挥作用,如果智能体的收益连这些简单的基准收益都超不过,那么我们就相当于花费了大量的开发时间和显卡算力来进行了一场天马行空的科学实验。现在,让我们来证明事实并非如此。


实验结果


我们的数据集选用从加密货币数据网站 CryptoDataDownload 上下载的每小时收盘价位置价值( OHCLV )数据,其中前 80% 的数据用来训练智能体,后 20% 作为全新的数据进行测试,以了解智能体的收益能力。当前这种简单的交叉验证形式足以满足我们的需求,而如果这个比特币自动交易智能体真的走向生产就绪,我们就可以使用全部的数据集进行训练,然后在每天新产生的数据集上进行测试。

废话不多说,我们来看看结果。

可以看到,使用 Omega 比率作为奖励指标的智能体在测试阶段并没有让人眼前一亮的交易。

201906130104386353.jpg

使用 Omega 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


分析智能体所进行的交易我们可以发现,很明显 Omega 比率这种奖励指标产生了过度交易(over-trade)的交易策略,以至于智能体未能抓住市场机会获得收益。

使用 Calmar 比率作为奖励指标的智能体与使用 Omega 比率作为奖励指标的智能体相比略有改进,但最终结果非常相似。看起来像是我们投入了大量的时间和精力,只是为了让事情变得更糟......

201906130104406054.jpg

使用 Calmar 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


如果仅使用利润作为奖励指标效果如何呢?在上一篇文章中这种奖励指标被证明有点失败,这次做的所有修改和优化能否化腐朽为神奇呢?

在为期四个月的测试周期内,使用利润作为奖励指标的智能体平均收益达到账户初始金额的350%。你可能已经被这个结果吓呆了。这应该就是强化学习能达到的巅峰了吧,对吧?

201906130104425151.jpg

使用利润作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


并不是这样的。使用 Sortino 比率作为奖励指标的智能体平均收益达到了账户初始金额的850%。当我看到这个数字时,我都不敢相信自己的眼睛,以至于我立马回去检查代码中是否存在问题。但经过彻底的检查后,很明显代码中没有任何错误,也就是说这些智能体已经知道如何进行比特币交易。

201906130104442207.jpg

使用 Sortino 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


看起来使用 Sortino 比率作为奖励指标的智能体学习到了在最小化持有比特币风险的前提下低价买入和高价卖出的重要性,同时它们还躲过了过度交易和投资不足两大陷阱。虽然说智能体学到的具体交易策略我们不得而知,但是我们可以清楚地看到智能体已经学会通过交易比特币获得收益了。

201906130104466538.jpg

使用 Sortino 比率作为奖励指标的智能体正在交易比特币,其中绿色的三角形表示买入信号,红色的三角形表示卖出信号


现在,我并没有被实验成功的兴奋冲昏头脑。我清楚地知道比特币自动交易智能体还远远没有达到生产就绪。话虽如此,但这些结果比我迄今为止看到的任何交易策略都要令人印象深刻。而且令人震惊的是,我们并没有告诉智能体关于加密货币市场如何运作、如何在加密货币市场上赚钱这样的先验知识,而是仅靠智能体重复地试验和试错就达到了这么好的效果,不过,这里经过了很多很多次的试验和试错。


写在最后


在本篇文章中,我们优化了基于强化学习的比特币自动交易智能体,让它在交易比特币时做出更好的决策,从而获得更多的收益!在这个过程中我们花费了大量的时间和精力,也遇到了很多的困难,我们把困难分解细化再逐个攻破,最终完成了智能体的优化,其中具体的操作步骤如下:


1、使用循环神经网络升级现有模型,即升级成使用平稳性数据的长短期记忆网络;

2、使用领域知识和统计分析进行特征工程,为智能体提供了 40 多个用来学习的新特征;

3、将投资的风险引入智能体的奖励指标,而不只是关注利润;

4、使用贝叶斯优化来寻找模型中最优的超参数;

5、使用常见的交易策略进行基准测试,以确保智能体的收益可以跑赢市场。



从理论上来说,这个高收益的交易智能体已经做得很不错了。

但是,我收到了相当多的反馈,他们声称交易智能体只是在学习拟合曲线,因此,面对生产环境中的实时数据,交易智能体永远不可能获得收益。虽然我们在不同数据集上训练/测试智能体的方法应该能够解决这个问题,但是模型确实会有过度拟合数据集的可能,并且可能不会很好地推广到实时数据。话虽这么说,但在我看来这些交易智能体学习到的远远不只是简单的曲线拟合,因此,我认为它们能够在实时交易的场景中获得收益。

为了检验这个想法,接下来的一段时间里我会把这些基于强化学习的智能体带到生产环节,为此,我们首先要更新智能体的运行环境以支持以太币、莱特币等其他加密货币,然后我们将升级智能体让它可以在加密货币交易所 Coinbase Pro 上实时交易。

这将会是一个激动人心的实验,请不要错过它。

需要强调的是,本篇文章中所有的方法和投资策略都是出于教育目的,不应被视为投资建议。我们的比特币自动交易智能体也远远没有达到实际生产层面,所以请管好自己的钱包。


参考资源:

1)基于 Python 语言和 Tensorflow 框架的循环神经网络和长短期记忆网络教程

https://adventuresinmachinelearning.com/recurrent-neural-networks-lstm-tutorial-tensorflow/

2)浅析基于 Python 语言的季节效应自回归移动平均模型预测时间序列

https://machinelearningmastery.com/sarima-for-time-series-forecasting-in-python/

3)浅析基于 Python 语言的非平稳性时间序列处理

https://www.analyticsvidhya.com/blog/2018/09/non-stationary-time-series-python/

4)超参数优化算法

https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf

5)机器学习方法在金融领域中的最新进展

https://dwz.cn/iUahVt2u


来源 | Towards Data Science 编译 | Guoxi 责编 | 乔治 出品 | 区块链大本营(Blockchain_camp)

60倍回报! AI工程师用OpenAI创建了一个比特币自动交易工具(附详细做法)

攻略blockchaincamp 发表了文章 • 2019-06-13 12:11 • 来自相关话题

炒股的人都知道,天天盯着大盘做决策不仅让人劳神,还让人秃头。所以一堆顶级的数学家开始用数学的手段进行股市预测。

加密货币市场也一样,而且加密货币市场波动更加频繁,更加剧烈。对于这个问题,国外加密货币开发者 Adam King 提出了一种新的解决思路。

结合人工智能在预测方面得天独厚的优势, Adam 提出了使用深度强化学习构建加密货币自动交易程序,同时,这位小哥还做出了一个能够真正交易比特币的展示模型,他是怎么做到的?这个自动交易程序又能达到怎样的效果呢?让我们在文中一探究竟。

在本文中,我们将使用深度强化学习建立一个加密货币自动交易智能体(agent),并训练它通过交易比特币盈利。

为了避免重复造轮子,在本篇教程中我们将使用人工智能研究机构 OpenAI 开发的程序包。

目前人工智能在很多领域都已经超过了人类,从最初谷歌 DeepMind 团队开发的 AlphaGo 战胜围棋世界冠军李世石,到后来师出同门的 AlphaStar 在星际争霸中以 10:1 的大比分战胜两位职业玩家。近日,OpenAI 团队的 OpenAI Five 在 Dota2 游戏中以 2:0 的比分将世界冠军 OG 斩于马下。





谷歌 DeepMind 团队星际争霸人工智能产品 AlphaStar 的训练过程


人工智能给我们带来了很多激动人心的结果,虽然我们不会构建像 AlphaGo 这样令人印象深刻的产品,但在日常的比特币交易中实现盈利也非易事。

因此,与其冒着脱发的风险苦苦探索比特币币价的规律,何不让人工智能来一展身手?

在本文中,我们将通过人工智能技术完成一下三个尝试:

    为我们的智能体(agent)创建一个测试强化学习的 gym 环境; 以一种简单、优雅的方式可视化我们的测试环境; 训练我们的智能体,让它学习到能获益的比特币交易策略。


这里有些操作可能会比较麻烦,就比如说从头开始构建 gym 测试环境并将测试环境可视化,不过不要担心,我会仔细介绍这些细节,跟上我的节奏就好。


程序库安装


在本教程中,我们将使用 Zielak 提供的 Kaggle 数据集。如果你想要这些数据,你可以在我的 Github 仓库中下载 .csv 数据文件。

首先,我们来导入所有必要的 Python 程序库。如果你的电脑上还没有安装这些程序库,你可以使用 pip install 命令进行安装。






接下来,我们创建一个比特币交易环境的类。我们需要向其中传入一个 pandas 数据帧,一个用于指示智能体在每一个时间步长( time step )需要分析前几个时间步长数据的回顾窗口大小( lookback_window_size ),以及可选的智能体账户初始余额( initial_balance )。

代码中我们将手续费( commission )设置为每笔交易的 0.075% ,也就是加密货币期货交易所 Bitmex 当前的费率,同时,我们将序列运行( serial )参数默认为否( false ),这意味着在默认情况下我们的数据帧将以随机的形式遍历各个片段。

除此之外,我们还在数据帧上分别调用了删除非数字(NaN,Not A Number)所在行的 dropna 函数以及在删除了数据之后重新设置数据帧索引的 reset_index 函数。






代码中 action_space (操作空间)的第一个数字表示可选的 3 个选项,即买入,卖出或持有,第二个数字表示所操作的比例,最小单位是 10% ,也就是说这个数字中的 1,2,3 分别代表 10%,20%,30% 。当选择买入操作时,具体买入的比特币数量将是第二个数字( amount )乘以当前账户的比特币余额( self.balance )。对于卖出操作,具体卖出的比特币数量也是第二个数字( amount )乘以当前账户的比特币余额( self.balance )。

当然了,如果选择持有操作,那么就不会买卖账户中的比特币,因而第二个数字就没有了意义。

我们的 observation_space(观察空间)被定义为 0 到 1 之间的连续浮点数集,它的大小为( 10,回顾窗口大小( lookback_window_size ) + 1)。这里的 + 1 操作是考虑到了当前这一时间步长的操作。对于窗口中的每一步,我们都将观察它的收盘价位置价值( OHCLV ),我们在那时的资产总价值、买入或卖出的比特币数量、以及我们在买入或卖出这些比特币时花费的美元数。

接下来,我们需要编写重新设置( reset )函数来初始化比特币交易环境。






代码中我们使用了重新设置会话控制( self._reset_session )函数和下一次数据观察( self._next_observation )函数,不过这些函数都还没有被定义,接下来我们来定义它们。


交易会话控制


交易会话控制( session )是比特币交易环境中的一个重要组成部分。如果我们将这个智能体部署到外部,我们可能永远都不会一次让它运行几个月的时间。出于这个原因,我们将在数据帧参数( self.df )中限制智能体能够连续看到的数据帧数量。

在我们的重新设置会话控制( _reset_session )函数中,我们首先将当前的时间步长( current_step )重新设置为 0 。接下来,我们将剩余时间步长( steps_left )设置为 1 到最大交易会话控制数( MAX_TRADING_SESSION )之间的随机数,当然了,最大交易会话控制数需要在文件的顶部定义。






接下来,如果需要连续遍历数据帧,那就应该设置遍历所有的数据帧,否则我们需要在数据帧参数( self.df )中设置一个随机的数据帧起始位置( frame_start ),并创建一个名为激活数据帧( active_df )的新数据帧,它是数据帧( self.df )从起始位置( frame_start )到起始位置 + 剩余时间步长( frame_start + steps_left )这些连续帧组成的切片。






使用数据帧切片带来的一个重要影响就是,智能体将获得更多独一无二的数据,以便进行长时间的训练。举个例子,如果我们只是按顺序来遍历数据帧(即按数据帧 0 到最后一帧(len(df))的顺序),那么我们就只有数据帧个数这么多的唯一数据点。我们的观察空间在每一个时间步长只能观察区区几个状态。

但是,通过随机遍历数据帧的切片,我们有效地结合了原始数据集上每一个时间点的账户余额,交易数据以及当前比特币价格,从而创造出了更多独一无二的数据点。接下来我们通过一个例子来说明一下。

我们的智能体在每个时间步长中都有三种选择:买入,卖出或持有。对于这三种选择中的每一种,都还需指定操作比特币的数量,如操作当前比特币余额的 10%,20%,或是 100% 。这意味着我们的智能体在每个时间步长中都有 30 种不同的选择(当然了,对于持有操作,这 10 种选择的效果是一样的),而它从中选出最好的一个。

回到我们随机切片后的比特币交易环境。在第 10 个时间步长中,我们的智能体可以处于数据帧内的任何数据帧长度(len(df))时间步长。考虑到每个时间步长智能体可以做 30 种选择,这意味着在任意 10 个时间步长的间隔时间中,该智能体可以经历数据帧长度(len(df))的 30 次方种可能的唯一状态。

虽然这样的操作可能会给大型数据集带来相当大的噪声,但我相信这是一把双刃剑,这样我们的智能体也会从有限的数据量中学到更多。不过,对于测试数据集,我们仍将按顺序来遍历,这样做更贴近于“实时”的交易数据,因而可以更好更精确地检测我们的智能体。


比特币交易智能体都学到了些什么


为了更好地了解智能体所看到并学习到的特征,我们需要将比特币交易环境的观察空间可视化。就比如说,下面是使用 OpenCV 可视化渲染后的观察空间。





OpenCV 可视化渲染后的观察空间


图像中的每一行都代表我们观察空间( observation_space )中的一行。前4行类似于频率的红线代表了 OHCL 数据,下方的橙色和黄色的点代表着数量,再下方这个起伏不定的蓝色长条是智能体所拥有资产的总价值,而下方颜色较浅的点代则表智能体的交易。

如果你眯着眼睛看这张图,你就可以看到一个 K 线图,下面有着代表数量的指示条以及一个显示交易历史的类似于莫尔斯电码的界面。看起来我们的智能体应该能够在观察空间( observation_space )的数据中学到一些东西。在这里,我们将定义下一次观察( _next_observation )函数,在这个函数中我们要将观察到的数据缩放到 0 到 1 之间。

重要的一点是,仅仅缩放智能体到目前为止所观察到的数据,以避免出现前视偏差( Look-ahead bias,前视偏差是指在策略的开发中,采取了未来的一些信息,而这些信息在实盘操作中是基本上不可能得到的)。







编写步骤


现在我们已经设置好了观察空间,是时候编写我们的操作步骤( step )函数了,这个函数可以指导智能体的行为。

每当当前交易时段的剩余操作步骤( self.steps_left )等于 0 时,我们将卖出所持有的所有比特币并调用重新设置会话控制( _reset_session )函数。

否则,我们将智能体的奖励( reward )设置为当前所持有资产的总价值,如果智能体的资金用完了,则只会将完成( done )设置为真( True )。






其实,采取行动的过程十分简单,也就只有三步:

第一步,获取当前的比特币价格( current_price );

第二步,确定该买入卖出还是持有,以及所要操作的份额;

第三步,就是真实买入或卖出这些比特币。现在我们来编写采取行动( _take_action )函数,以便于测试我们的比特币交易智能体。






最后,在这个函数中,我们将交易添加到交易记录参数( self.trades )中,并更新我们的资产总价值和账户交易历史。






到这里,我们的智能体就可以启动新环境,在新环境中学习比特币交易的特征,并采取行动以获得收益。是时候让比特币交易智能体一展身手了。


查看比特币交易智能体的交易记录


上文中说到了,我们需要将智能体的学习和决策过程可视化。当然了,仅仅使用最简单的方法,在智能体每次决策后输出智能体所持有资产的总价值(print(self.net_worth))也不是不可以,不过这样做就少了很多的乐趣。因此,我们决定绘制一个简单的比特币价格数据 K 线图,其中包含数量栏和我们资产总价值的单独图表。

在代码中,我们需要定义一个用来可视化的资产交易图( StockTradingGraph )函数,在函数的初始化过程中,我们需要调用 python 可视化程序库 matplotlib.pyplot ,并指出每一个需要可视化的数据。






为了更好地展现数据,在可视化方法中我们需要导入 Python 时间日期( datetime )处理模块,在数据上标注出人类可读的日期和时间。






在导入完成后,我们需要使用将时间戳转换为世界统一时间 UTC 的 utcfromtimestamp 函数,将每个时间戳转化为 UTC 时间,然后用计算机时间函数( strftime )将这个 UTC 时间按照“ 年 - 月 - 日 小时:分钟 ”的格式展现出来。






到这里,可视化函数的各个部分都已编写完成,回到比特币交易环境,我们现在可以汇总出一个可视化( render )函数来显示图形。






ok了!我们现在可以看到智能体正在交易比特币。





使用 Matplotlab 程序库可视化后的智能体交易比特币数据


图中绿色的竖线代表智能体在买入比特币,红色的竖线代表智能体在卖出比特币。右上角的白色方框是智能体所持有资产的总价值,在其下方的白色方框是当前比特币的价格。

这里容我自恋一下,我认为这个可视化的效果简单而又不失优雅。现在,是时候训练我们的比特币交易智能体了,看看它能帮我们赚到多少钱!


训练比特币交易智能体


由于我们训练智能体时使用的是时间序列数据,因此在交叉验证方面我们并没有太多的选择。

就拿一种常见的交叉验证形式: k-fold(k组)交叉验证来举例,在 k-fold 交叉验证中,你需要将数据拆分成 k 个相等的分组,将每一个分组分别做一次测试组,其余的 k-1 组数据用作训练组。

然而,时间序列数据与时间有着高度的依赖性,这意味着后面出现的数据高度依赖于先前出现的数据。所以在这种情况下 k-fold 将不起作用,因为这样会让我们的智能体提前知道未来的数据,即使盈利了我们也不知道是得益于智能体精准的预测还是因为智能体作弊了。

当应用于时间序列数据时,大多数其他的交叉验证策略也都存在着同样的缺陷。因此,我们只需在完整数据帧中给定一个分界点,前一部分的数据用作训练集,其余的数据用作测试集。






接下来,由于我们的比特币交易环境被设置为仅处理单个数据帧,因此我们需要创建两个比特币交易环境,一个用于训练数据,一个用于测试数据。






到这里,我们就可以训练模型了。如下面的代码所示,我们只需要在比特币交易环境中创建智能体,然后调用 model.learn 命令开始训练。






在这里,我们会使用机器学习框架 tensorflow 的可视化工具 tensorboard ,从而我们可以轻松地可视化 tensorflow 的数据流图并查看有关我们智能体的一些量化指标。

比如说,下图展示了智能体在经过 200000 个时间步长后的盈利:






看起来我们的智能体都获得了很多的收益!最好的一个智能体在 200,000 个时间步长后资产总价值提升了 1000 倍,而其余的智能体资产总价值平均提升了 30 倍以上!

不过,就在这时,我意识到比特币交易环境中存在一个错误......在修复了该错误之后,这是新的收益图:






正如你所看到的,我们的一些智能体做得很好,而有一些则表现很差。总的来说,表现良好的智能体最多能够实现资产总价值提升 10 倍甚至 60 倍。

我必须承认,所有这些智能体都是在虚拟的比特币交易环境中训练和测试的,所以将这个比特币交易智能体直接应用于比特币区块链上还为时尚早。但是至少这个结果告诉我们,使用人工智能来进行加密货币交易决策这条路是行得通的。

接下来,让我们在比特币交易测试环境中测试智能体,在测试环境中我们将使用智能体以前从未见过的全新数据,看看这些智能体是否学到了比特币的交易策略。





结果显示,我们训练出来的比特币交易智能体在新的测试环境中争相走向破产


这也并不意外,因为我们还有很多的工作要做。仅仅通过简单地将模型从当前的近端策略优化( Proximal Policy Optimization , PPO2 )智能体切换到 stable-baseline 程序库中的 A2C ( Advantage Actor-Critic )就可以大大提高我们在此数据集上的性能。

同时,我们也可以更新奖励函数,激励那些资产总价值不断增加的操作,防止有些比特币交易智能体在资产总价值达到高位时就消极怠工。






仅仅做出这两个改动就可以大幅度提高比特币交易智能体在当前数据集上的性能,正如下图所示,最终我们在数据全新的测试环境上成功实现了盈利。






除此之外,我们还可以做得更好。为了提升这些比特币交易智能体的准确度,我们可以优化超参数并训练智能体更长的时间。是时候给你的显卡(深度学习代码运行在显卡之上)一点压力了!

如果你想继续优化,这里可以给你提供些思路,你可以使用贝叶斯优化来在问题空间上寻找最佳的超参数,并使用显卡的 CUDA 运算平台优化训练环境和测试环境。


结论


在本教程中,我们使用深度强化学习从零开始创建了一个能够获得收益的比特币交易智能体。

具体而言,我们完成了以下的任务:

    使用 OpenAI 团队开发的用于测试强化学习算法的工具包 gym 从零开始创建了一个比特币交易环境;
    使用 Python 可视化程序库 Matplotlib 将比特币交易环境可视化;
    使用简单的交叉验证对我们的比特币交易智能体进行了训练和测试;
    虽然还有很多的工作需要完成,但现在我们已经可以看到成功的曙光。


 
虽然最后我们的比特币交易智能体在数据全新的测试环境中还不能保证总是盈利,但我们已经离成功不远了。


作者 | Adam King
译者 | Guoxi
责编 | Aholiab
出品 | 区块链大本营(blockchain_camp) 查看全部
3D-Rendering-Robot-and-laptop-stock-exchange-trading.jpg

炒股的人都知道,天天盯着大盘做决策不仅让人劳神,还让人秃头。所以一堆顶级的数学家开始用数学的手段进行股市预测。

加密货币市场也一样,而且加密货币市场波动更加频繁,更加剧烈。对于这个问题,国外加密货币开发者 Adam King 提出了一种新的解决思路。

结合人工智能在预测方面得天独厚的优势, Adam 提出了使用深度强化学习构建加密货币自动交易程序,同时,这位小哥还做出了一个能够真正交易比特币的展示模型,他是怎么做到的?这个自动交易程序又能达到怎样的效果呢?让我们在文中一探究竟。

在本文中,我们将使用深度强化学习建立一个加密货币自动交易智能体(agent),并训练它通过交易比特币盈利。

为了避免重复造轮子,在本篇教程中我们将使用人工智能研究机构 OpenAI 开发的程序包。

目前人工智能在很多领域都已经超过了人类,从最初谷歌 DeepMind 团队开发的 AlphaGo 战胜围棋世界冠军李世石,到后来师出同门的 AlphaStar 在星际争霸中以 10:1 的大比分战胜两位职业玩家。近日,OpenAI 团队的 OpenAI Five 在 Dota2 游戏中以 2:0 的比分将世界冠军 OG 斩于马下。

201905131840081.png

谷歌 DeepMind 团队星际争霸人工智能产品 AlphaStar 的训练过程


人工智能给我们带来了很多激动人心的结果,虽然我们不会构建像 AlphaGo 这样令人印象深刻的产品,但在日常的比特币交易中实现盈利也非易事。

因此,与其冒着脱发的风险苦苦探索比特币币价的规律,何不让人工智能来一展身手?

在本文中,我们将通过人工智能技术完成一下三个尝试:


    为我们的智能体(agent)创建一个测试强化学习的 gym 环境; 以一种简单、优雅的方式可视化我们的测试环境; 训练我们的智能体,让它学习到能获益的比特币交易策略。



这里有些操作可能会比较麻烦,就比如说从头开始构建 gym 测试环境并将测试环境可视化,不过不要担心,我会仔细介绍这些细节,跟上我的节奏就好。


程序库安装


在本教程中,我们将使用 Zielak 提供的 Kaggle 数据集。如果你想要这些数据,你可以在我的 Github 仓库中下载 .csv 数据文件。

首先,我们来导入所有必要的 Python 程序库。如果你的电脑上还没有安装这些程序库,你可以使用 pip install 命令进行安装。

201905131840082.jpg


接下来,我们创建一个比特币交易环境的类。我们需要向其中传入一个 pandas 数据帧,一个用于指示智能体在每一个时间步长( time step )需要分析前几个时间步长数据的回顾窗口大小( lookback_window_size ),以及可选的智能体账户初始余额( initial_balance )。

代码中我们将手续费( commission )设置为每笔交易的 0.075% ,也就是加密货币期货交易所 Bitmex 当前的费率,同时,我们将序列运行( serial )参数默认为否( false ),这意味着在默认情况下我们的数据帧将以随机的形式遍历各个片段。

除此之外,我们还在数据帧上分别调用了删除非数字(NaN,Not A Number)所在行的 dropna 函数以及在删除了数据之后重新设置数据帧索引的 reset_index 函数。

201905131840083.jpg


代码中 action_space (操作空间)的第一个数字表示可选的 3 个选项,即买入,卖出或持有,第二个数字表示所操作的比例,最小单位是 10% ,也就是说这个数字中的 1,2,3 分别代表 10%,20%,30% 。当选择买入操作时,具体买入的比特币数量将是第二个数字( amount )乘以当前账户的比特币余额( self.balance )。对于卖出操作,具体卖出的比特币数量也是第二个数字( amount )乘以当前账户的比特币余额( self.balance )。

当然了,如果选择持有操作,那么就不会买卖账户中的比特币,因而第二个数字就没有了意义。

我们的 observation_space(观察空间)被定义为 0 到 1 之间的连续浮点数集,它的大小为( 10,回顾窗口大小( lookback_window_size ) + 1)。这里的 + 1 操作是考虑到了当前这一时间步长的操作。对于窗口中的每一步,我们都将观察它的收盘价位置价值( OHCLV ),我们在那时的资产总价值、买入或卖出的比特币数量、以及我们在买入或卖出这些比特币时花费的美元数。

接下来,我们需要编写重新设置( reset )函数来初始化比特币交易环境。

201905131840084.jpg


代码中我们使用了重新设置会话控制( self._reset_session )函数和下一次数据观察( self._next_observation )函数,不过这些函数都还没有被定义,接下来我们来定义它们。


交易会话控制


交易会话控制( session )是比特币交易环境中的一个重要组成部分。如果我们将这个智能体部署到外部,我们可能永远都不会一次让它运行几个月的时间。出于这个原因,我们将在数据帧参数( self.df )中限制智能体能够连续看到的数据帧数量。

在我们的重新设置会话控制( _reset_session )函数中,我们首先将当前的时间步长( current_step )重新设置为 0 。接下来,我们将剩余时间步长( steps_left )设置为 1 到最大交易会话控制数( MAX_TRADING_SESSION )之间的随机数,当然了,最大交易会话控制数需要在文件的顶部定义。

201905131840095.png


接下来,如果需要连续遍历数据帧,那就应该设置遍历所有的数据帧,否则我们需要在数据帧参数( self.df )中设置一个随机的数据帧起始位置( frame_start ),并创建一个名为激活数据帧( active_df )的新数据帧,它是数据帧( self.df )从起始位置( frame_start )到起始位置 + 剩余时间步长( frame_start + steps_left )这些连续帧组成的切片。

201905131840096.jpg


使用数据帧切片带来的一个重要影响就是,智能体将获得更多独一无二的数据,以便进行长时间的训练。举个例子,如果我们只是按顺序来遍历数据帧(即按数据帧 0 到最后一帧(len(df))的顺序),那么我们就只有数据帧个数这么多的唯一数据点。我们的观察空间在每一个时间步长只能观察区区几个状态。

但是,通过随机遍历数据帧的切片,我们有效地结合了原始数据集上每一个时间点的账户余额,交易数据以及当前比特币价格,从而创造出了更多独一无二的数据点。接下来我们通过一个例子来说明一下。

我们的智能体在每个时间步长中都有三种选择:买入,卖出或持有。对于这三种选择中的每一种,都还需指定操作比特币的数量,如操作当前比特币余额的 10%,20%,或是 100% 。这意味着我们的智能体在每个时间步长中都有 30 种不同的选择(当然了,对于持有操作,这 10 种选择的效果是一样的),而它从中选出最好的一个。

回到我们随机切片后的比特币交易环境。在第 10 个时间步长中,我们的智能体可以处于数据帧内的任何数据帧长度(len(df))时间步长。考虑到每个时间步长智能体可以做 30 种选择,这意味着在任意 10 个时间步长的间隔时间中,该智能体可以经历数据帧长度(len(df))的 30 次方种可能的唯一状态。

虽然这样的操作可能会给大型数据集带来相当大的噪声,但我相信这是一把双刃剑,这样我们的智能体也会从有限的数据量中学到更多。不过,对于测试数据集,我们仍将按顺序来遍历,这样做更贴近于“实时”的交易数据,因而可以更好更精确地检测我们的智能体。


比特币交易智能体都学到了些什么


为了更好地了解智能体所看到并学习到的特征,我们需要将比特币交易环境的观察空间可视化。就比如说,下面是使用 OpenCV 可视化渲染后的观察空间。

201905131840097.jpg

OpenCV 可视化渲染后的观察空间


图像中的每一行都代表我们观察空间( observation_space )中的一行。前4行类似于频率的红线代表了 OHCL 数据,下方的橙色和黄色的点代表着数量,再下方这个起伏不定的蓝色长条是智能体所拥有资产的总价值,而下方颜色较浅的点代则表智能体的交易。

如果你眯着眼睛看这张图,你就可以看到一个 K 线图,下面有着代表数量的指示条以及一个显示交易历史的类似于莫尔斯电码的界面。看起来我们的智能体应该能够在观察空间( observation_space )的数据中学到一些东西。在这里,我们将定义下一次观察( _next_observation )函数,在这个函数中我们要将观察到的数据缩放到 0 到 1 之间。

重要的一点是,仅仅缩放智能体到目前为止所观察到的数据,以避免出现前视偏差( Look-ahead bias,前视偏差是指在策略的开发中,采取了未来的一些信息,而这些信息在实盘操作中是基本上不可能得到的)。

201905131840138.jpg



编写步骤


现在我们已经设置好了观察空间,是时候编写我们的操作步骤( step )函数了,这个函数可以指导智能体的行为。

每当当前交易时段的剩余操作步骤( self.steps_left )等于 0 时,我们将卖出所持有的所有比特币并调用重新设置会话控制( _reset_session )函数。

否则,我们将智能体的奖励( reward )设置为当前所持有资产的总价值,如果智能体的资金用完了,则只会将完成( done )设置为真( True )。

201905131840139.jpg


其实,采取行动的过程十分简单,也就只有三步:

第一步,获取当前的比特币价格( current_price );

第二步,确定该买入卖出还是持有,以及所要操作的份额;

第三步,就是真实买入或卖出这些比特币。现在我们来编写采取行动( _take_action )函数,以便于测试我们的比特币交易智能体。

2019051318401410.jpg


最后,在这个函数中,我们将交易添加到交易记录参数( self.trades )中,并更新我们的资产总价值和账户交易历史。

2019051318401411.jpg


到这里,我们的智能体就可以启动新环境,在新环境中学习比特币交易的特征,并采取行动以获得收益。是时候让比特币交易智能体一展身手了。


查看比特币交易智能体的交易记录


上文中说到了,我们需要将智能体的学习和决策过程可视化。当然了,仅仅使用最简单的方法,在智能体每次决策后输出智能体所持有资产的总价值(print(self.net_worth))也不是不可以,不过这样做就少了很多的乐趣。因此,我们决定绘制一个简单的比特币价格数据 K 线图,其中包含数量栏和我们资产总价值的单独图表。

在代码中,我们需要定义一个用来可视化的资产交易图( StockTradingGraph )函数,在函数的初始化过程中,我们需要调用 python 可视化程序库 matplotlib.pyplot ,并指出每一个需要可视化的数据。

2019051318401412.jpg


为了更好地展现数据,在可视化方法中我们需要导入 Python 时间日期( datetime )处理模块,在数据上标注出人类可读的日期和时间。

2019051318401513.jpg


在导入完成后,我们需要使用将时间戳转换为世界统一时间 UTC 的 utcfromtimestamp 函数,将每个时间戳转化为 UTC 时间,然后用计算机时间函数( strftime )将这个 UTC 时间按照“ 年 - 月 - 日 小时:分钟 ”的格式展现出来。

2019051318401514.jpg


到这里,可视化函数的各个部分都已编写完成,回到比特币交易环境,我们现在可以汇总出一个可视化( render )函数来显示图形。

2019051318401515.jpg


ok了!我们现在可以看到智能体正在交易比特币。

2019051318401516.jpg

使用 Matplotlab 程序库可视化后的智能体交易比特币数据


图中绿色的竖线代表智能体在买入比特币,红色的竖线代表智能体在卖出比特币。右上角的白色方框是智能体所持有资产的总价值,在其下方的白色方框是当前比特币的价格。

这里容我自恋一下,我认为这个可视化的效果简单而又不失优雅。现在,是时候训练我们的比特币交易智能体了,看看它能帮我们赚到多少钱!


训练比特币交易智能体


由于我们训练智能体时使用的是时间序列数据,因此在交叉验证方面我们并没有太多的选择。

就拿一种常见的交叉验证形式: k-fold(k组)交叉验证来举例,在 k-fold 交叉验证中,你需要将数据拆分成 k 个相等的分组,将每一个分组分别做一次测试组,其余的 k-1 组数据用作训练组。

然而,时间序列数据与时间有着高度的依赖性,这意味着后面出现的数据高度依赖于先前出现的数据。所以在这种情况下 k-fold 将不起作用,因为这样会让我们的智能体提前知道未来的数据,即使盈利了我们也不知道是得益于智能体精准的预测还是因为智能体作弊了。

当应用于时间序列数据时,大多数其他的交叉验证策略也都存在着同样的缺陷。因此,我们只需在完整数据帧中给定一个分界点,前一部分的数据用作训练集,其余的数据用作测试集。

2019051318401817.jpg


接下来,由于我们的比特币交易环境被设置为仅处理单个数据帧,因此我们需要创建两个比特币交易环境,一个用于训练数据,一个用于测试数据。

2019051318401818.jpg


到这里,我们就可以训练模型了。如下面的代码所示,我们只需要在比特币交易环境中创建智能体,然后调用 model.learn 命令开始训练。

2019051318401819.jpg


在这里,我们会使用机器学习框架 tensorflow 的可视化工具 tensorboard ,从而我们可以轻松地可视化 tensorflow 的数据流图并查看有关我们智能体的一些量化指标。

比如说,下图展示了智能体在经过 200000 个时间步长后的盈利:

2019051318401820.jpg


看起来我们的智能体都获得了很多的收益!最好的一个智能体在 200,000 个时间步长后资产总价值提升了 1000 倍,而其余的智能体资产总价值平均提升了 30 倍以上!

不过,就在这时,我意识到比特币交易环境中存在一个错误......在修复了该错误之后,这是新的收益图:

2019051318401921.jpg


正如你所看到的,我们的一些智能体做得很好,而有一些则表现很差。总的来说,表现良好的智能体最多能够实现资产总价值提升 10 倍甚至 60 倍。

我必须承认,所有这些智能体都是在虚拟的比特币交易环境中训练和测试的,所以将这个比特币交易智能体直接应用于比特币区块链上还为时尚早。但是至少这个结果告诉我们,使用人工智能来进行加密货币交易决策这条路是行得通的。

接下来,让我们在比特币交易测试环境中测试智能体,在测试环境中我们将使用智能体以前从未见过的全新数据,看看这些智能体是否学到了比特币的交易策略。

2019051318401922.jpg

结果显示,我们训练出来的比特币交易智能体在新的测试环境中争相走向破产


这也并不意外,因为我们还有很多的工作要做。仅仅通过简单地将模型从当前的近端策略优化( Proximal Policy Optimization , PPO2 )智能体切换到 stable-baseline 程序库中的 A2C ( Advantage Actor-Critic )就可以大大提高我们在此数据集上的性能。

同时,我们也可以更新奖励函数,激励那些资产总价值不断增加的操作,防止有些比特币交易智能体在资产总价值达到高位时就消极怠工。

2019051318401923.png


仅仅做出这两个改动就可以大幅度提高比特币交易智能体在当前数据集上的性能,正如下图所示,最终我们在数据全新的测试环境上成功实现了盈利。

2019051318401924.jpg


除此之外,我们还可以做得更好。为了提升这些比特币交易智能体的准确度,我们可以优化超参数并训练智能体更长的时间。是时候给你的显卡(深度学习代码运行在显卡之上)一点压力了!

如果你想继续优化,这里可以给你提供些思路,你可以使用贝叶斯优化来在问题空间上寻找最佳的超参数,并使用显卡的 CUDA 运算平台优化训练环境和测试环境。


结论


在本教程中,我们使用深度强化学习从零开始创建了一个能够获得收益的比特币交易智能体。

具体而言,我们完成了以下的任务:


    使用 OpenAI 团队开发的用于测试强化学习算法的工具包 gym 从零开始创建了一个比特币交易环境;
    使用 Python 可视化程序库 Matplotlib 将比特币交易环境可视化;
    使用简单的交叉验证对我们的比特币交易智能体进行了训练和测试;
    虽然还有很多的工作需要完成,但现在我们已经可以看到成功的曙光。



 
虽然最后我们的比特币交易智能体在数据全新的测试环境中还不能保证总是盈利,但我们已经离成功不远了。


作者 | Adam King
译者 | Guoxi
责编 | Aholiab
出品 | 区块链大本营(blockchain_camp)

比特暴富,大陆忌寒

公司aicaijing 发表了文章 • 2018-09-29 11:06 • 来自相关话题

吴忌寒


矿机生意将淘金卖水的故事演绎得淋漓尽致。

1.3亿美元,2.7亿美元,25.1亿美元,这是比特大陆在过去三年的营收。除了小米,几乎很难在国内找到一家成长如此迅速的企业。但即便是小米和雷军,也没有像比特大陆和它的CEO吴忌寒那样,遭遇如此多的争议和质疑。

现在,人们最关心的是,这样一家“一夜暴富”的公司,会不会仅仅是昙花一现?


理想信仰者还是恐怖分子?


2013年,投资经理吴忌寒在北京结识了做机顶盒芯片的詹克团。詹克团是典型的理工男,也具有福建商人的气质,低调务实,几乎没有接受过采访。之前甚至有媒体将詹克团写成清华大学计算机系毕本科毕业。但据AI财经社向官方核实,詹克团的本科毕业于山东大学,研究生在中科院微电子研究所。

吴忌寒与詹克团合伙创业时有过一份对赌协议,詹克团带领的技术团队如果能按时研发出达标的矿机芯片,整个团队就可以拿到60%的股份。2013年,詹克团花了6个月时间便开发出了比特大陆的第一代矿机,挖矿效率远超当时同行,成为比特大陆日后崛起的关键。

在这周在港交所提交IPO前,詹克团持有比特大陆36.58%的股份,而吴忌寒为20.5%。比特大陆也一直采用联席董事长和联席CEO的管理层设计,这在国内公司的运营中相当少见。

“我和Micree(詹克团)更多是一个互补组队的局面,就像一个乒乓球双打比赛,球打过来,谁在最佳接球位置谁说了算,大家配合比赛,获取胜利是关键。”这是吴忌寒第一次公开评价自己和创业伙伴的关系。吴忌寒出生于1986年,詹克团比他大了7岁。

两个人的性格差异很大,吴忌寒是北大心理学和经济学出身,长着娃娃脸,但在比特币的世界里,他愿意发声,也敢于与别人开火互怼,因此收获了一堆外号,大多是贬义,包括“矿霸”、“恐怖分子”。

但这位“矿霸”也有着侠客精神。一位比特大陆知情人士透露,吴忌寒曾告诫同事,当合作伙伴的体量较小时要对外积极宣传,能提携就提携,而当合作公司体量比自己更庞大时则不宜宣传,免得落下“抱大腿”的嫌疑。

在红杉资本的一场活动结束后,吴忌寒边看手机,边等待专车到来。当AI财经社拦住他并希望简单聊几句时,他没有拒绝,但表现得尤为谨慎,眼睛一直盯着记者的手机,担心被录音,一点也没有互联网上的洒脱。

而在今年中兴事件后,当全中国的公司都巴不得和“自主研发芯片”建立某种干系的时候,吴忌寒却告诉同事,别动不动对外喊自主。

在矿机的世界里,另一家企业嘉楠耘智的灵魂人物是张楠赓,江湖人称“南瓜张”,毕业于北航,曾与中科大少年班毕业的“烤猫” 蒋信予齐名。

相比于吴忌寒和南瓜张在圈内的知名度,还有一家矿机企业亿邦国际的创始人胡东,则游离于圈子外,一众币圈玩家都对他知之甚少。在官方文件里,胡东最早的业务是给电信运营商们提供设备和零配件。

“南瓜张”和胡东都属于性格低调的人,詹克团的想法也倾向于闷头做事,闷声发财。相比之下,吴忌寒较为西式,频频出席圈内活动,敢于表达,也不排斥媒体采访。

他并非一个完全嗜血的商人,在他的身上能够看到对比特币的信仰。今年3月,吴忌寒站在华盛顿的一个行业会议上,但却站在了美联储的对立面,鼓吹私有中央银行,探讨私有中央银行和货币的关系,以及如何通过比特币帮助人们远离恶性通货膨胀。

吴忌寒经常出现在类似的行业会议中,展现他对数字货币的理想主义。他也是公认第一位将中本聪白皮书翻译成中文的人,成了比特币的早期布道者。

他受邀为《算力之美》的书撰序。他用了华美而富有理想的语言描述了算力给人类带来的财富。他提到了内蒙古达拉特旗、新疆伊犁以及云南红河,在这些地方都曾分布着比特大陆的矿场。不过,由于内蒙古当地政府对挖矿本身的犹豫,比特大陆已经关闭了当地的矿场,而最新把矿场建到了美国。

但在他的反对者甚至是旁人看来,吴忌寒容易情绪化。他在推特上痛击意见相左者,就像别人抨击他那样。

在宝二爷的印象中,三十出头的吴忌寒,自尊心很强,甚至有点自负,“有啥不能说啥,反而是见谁怼谁”。宝二爷的真名叫郭宏才,也是币圈的传奇人物,卖牛肉出身,做矿场发了财,常年旅居海外。

他坦承与吴忌寒之间并无恩怨,他倒是希望吴忌寒能够在世界范围建立起中国币圈的影响力,“这个人要有大胸怀,大智慧,而不是把别人都打得干不下去了,只顾着自己一家子发展。”


一夜暴富


被宝二爷寄予厚望的吴忌寒,已经和自己的合伙人将比特大陆做到了全球矿机老大,在全球市场的占有率超过了70%,而旗下自建或投资的矿池算力接近全网一半。

“詹克团是芯片设计的高手,吴忌寒又是最早进入比特币社区的人,他们两个人是天作之合。”闪电智能CEO廖翔分析比特大陆在一大批矿机厂商中存活并壮大的原因。

相对于其他矿机企业,比特大陆成功的关键因素是,在合适的时间造出了性能和功耗表现出色的矿机芯片。在比特大陆的招股书中,推出28nm的S7矿机芯片和16nm的S9矿机芯片,都被列为里程碑事件。

在几年之前,整个币圈和矿机市场遭遇过一轮洗牌。背景是2014年美联储对比特币持消极态度,比特币的价格从年初的9000元,一路跌到年末的800元。一大批矿机厂商被洗牌出局,包括烤猫矿机、Bitfury和KnCMiner。

但比特大陆没停止研发,不断迭代产品。从它的发展历程可以清晰地看到:2014年6月,第一版28nm芯片研发成功;7月,搭载28nm芯片的蚂蚁矿机S3量产;12月,蚂蚁矿机S5量产;2015年8月,第四代矿机芯片BM1385发布;11月,蚂蚁矿机S7量产。

谨慎储备现金的意识,也让比特大陆得以应对这一疯狂市场的大起大落。“对传统公司来说,今年生意这么大,明年生意这么小,他们肯定受不了。但对我们来说,大的时候,就要想好明年会这么小,要准备更多现金。未来即使币价低迷3年,公司还是要能很好地活着。”比特大陆联合创始人詹克团在接受外媒采访时说。

等到2015年下半年,比特币价格逐渐回暖,执着和谨慎,让比特大陆成了比特币价格回暖的直接受益者。比特大陆的蚂蚁矿机,几乎是矿机市场上最有竞争力的产品。





坐落于鄂尔多斯的比特币矿场


廖翔则给AI财经社提供了另外一个比特大陆暴富的版本。它在自己造芯片之前买阿瓦隆的芯片做矿机,因为矿机交不上货,客户找它退钱,才知道比特大陆已经把钱都拿去做芯片了。好在芯片很快出来后,性能和功耗甚至比预期还要突出。

之后的故事就变得梦幻了。比特币从几百美元涨到七八千美元,又从七八千美元涨到了逼近两万美元。

币价的疯涨直接刺激了矿机生产商的销量,比特大陆旗下搭载了最新款芯片的蚂蚁S7大卖,成了比特大陆走向行业龙头的关键。年初卖五六千元一台的矿机,到了2017年末卖到3万元。

由于崛起速度太快,比特大陆起初被认为是一家“神秘的公司”。直到后来,不断上演的淘金卖水的故事,才将这种神秘感打破。

与公司销售额一起水涨船高的是比特大陆的估值。比特大陆历史上拿过三轮融资,并在pre-IPO轮融资后估值达到140亿-150亿美元。这种速度几乎打破了国内科技公司的估值上升纪录。

外界质疑价格太高的声浪一浪高过一浪,质问谁会为这个千亿市值买单?不过,同在筹备中的嘉楠耘智,其P/E倍数是比特大陆的6倍。

在比特大陆之外,卖矿机的企业几乎都在这一波上涨行情中赚到了钱。位于浙江的嘉楠耘智在2016年的营收只有3亿元,次年猛增到13亿元。

嘉楠耘智在很长一段时间的业务是销售矿机ASIC芯片。这是一类专门针对某矿机开发的芯片。直到2016年,嘉楠耘智暂停了这部分业务,转而全面卖矿机。杨作兴对AI财经社分析说,早期卖芯片后来被证明是一种失败的商业模式,当时很大一个原因是从芯片到矿机的量产能力太差,烤猫的一款芯片在2014年3月发布,直到7月才见到矿机。而当下从芯片到矿机只需要一个星期时间。

而比特大陆一开始就直接卖矿机。对于很多买矿机的人而言,光提供芯片并不能满足他们的要求。

亿邦国际也是浙江的一家企业,最早的业务是给电信运营商们提供设备和零配件。矿机生意的高毛利很快让他们调整了业务方向。由于挖矿生意的兴隆,它的区块链业务,从2900万元猛增到9.2亿元,电信业务的比重则变成了可怜的5%。

连给矿机厂商代工芯片制造的台积电也迎来了第二春,2017年的增长达到44%,今年预计增长79%,这背后中国矿机厂商功不可没。

矿机企业的利润高得惊人。随着矿机的走俏,嘉楠耘智的毛利率涨到了46.2%。

作为业内龙头,比特大陆的毛利更是高得吓人。2016、2017、2018第一季度的毛利润率为56.91%、57.21%、59.97%,同期的净利润则达到了42.8%、49.40%、59.99%。

从比特大陆的角度来分析,现在上市算是恰当的时机。从公司本身看,它经历了数字货币牛市,业务日趋成熟,即便市场在转弱,还能交出一份不错的财报,可以获得不低的估值。而它的下一步是研发AI芯片,这无疑是当下最时髦的行当。

从外部环境来看,资本市场尤其是私募基金投资全线缩紧,钱荒的风声此起彼伏。矿机界的竞争对手都已经向港交所提交了招股书。进入公开市场,能让比特大陆获得更多资本的加持。


围攻比特大陆


无论在哪儿,人们都不太喜欢一夜暴富的人。在比特币的生态社区里,不喜欢甚至敌视比特大陆的人并不少见,至少有两件事让比特大陆不受待见:一是比特大陆掌握的算力过于庞大,而比特币的世界里崇尚去中心化,一个币圈人的典型担忧是“51%攻击”,但比特大陆正在成为那个中心,具备了那个攻击性。

吴忌寒一再引述中本聪白皮书的内容:即便攻击成功,整个系统也并非就此完全受制于攻击者的独断意志;一个攻击者能做的,最多是更改他自己的交易信息,并试图拿回他刚刚付给别人的钱。

另一个让比特大陆饱受争议的是它支持了比特币现金(BCH)。2017年,整个币圈都在为比特币是否要进行区块扩容的方案争吵不休。围绕这个问题,比特币社区出现了两大阵营,以吴忌寒为代表的“大矿池”一派,和以Core为代表的“比特币核心开发团队”。

Core团队主要是一些技术人员,自比特币诞生以来做着技术维护的工作。他们认为,吴忌寒支持的BCH扩容方案,使得参与的节点越来越少,降低了去中心化程度,违背了比特币的核心精神。而吴忌寒在对方眼中,被看作是追逐利益的“商人”。

在没有达成共识的情况下,由比特大陆投资的矿池ViaBTC突然在2017年8月实施了硬分叉行动,从比特币分叉出BCH(比特币现金)。相比于拥挤的比特币社区,新的方案将比特币区块大小扩容到了8M。

比特大陆将手中的比特币大部分换成了比特币现金。比特大陆的一份投资路演PPT显示,其持有的比特币从2016年底的71560枚降到了22082枚,而BCH则增加到了102万枚。不难发现,比特大陆在抛售比特币,转而持有分叉币BCH。

比特大陆确实展现出了它在市场上的影响力。BCH在短时间内就以比特币10%的总市值规模,站到了数字加密货币的第三名。

港交所披露比特大陆的IPO招股书当天,BCH暴涨,24小时涨幅达17.26%,打破了“美联储加息,币圈血流成河”的魔咒。

而这却引起了很多比特币忠实用户的不满。“小寒走错一步棋就是力挺了BCH。”宝二爷对AI财经社表示,比特币是主链,BCH是分叉链,虽然分叉链涨得更猛,但在社区心目中,除了比特币,其他分叉币都是山寨币。

“比特大陆如果以后出问题的话,就出现在这个方面,这是一个它背不起的包袱。”廖翔说。

在比特币的社区里,曾有过一个简单的线上投票:如果BCH分裂成CSW和矿霸链(比特大陆),你支持哪边?超过50%的人支持了前者,支持比特大陆的人只有13%,剩下的人选择中立。

“之前很多币圈的公司有点像欺负小孩儿似的,天天欺负小寒的公司,弄得挺不是滋味儿的。这个不太对。”宝二爷对AI财经社说,吴忌寒发展好的时候大家都捧着,但稍微有点风吹草动,所有脏水立刻都泼了过来。

麻烦事接踵而至。随着矿场越来越散户化,2015年比特大陆的客户数量接近6000个,而到2018年中已经超过了8万个。大量的小矿工进入,给市场增加了不少泡沫和韭菜,当然也增添了不理智因素。

今年5月,比特大陆的蚂蚁B3矿机引起了诸多不满,这款专门用来挖BTM(比原链)的矿机售价高达1.7万元,却陷入了虚假宣传和算力不达标的争议,遭多名购买者上门索赔。比特大陆觉得委屈,一位知情人士告诉AI财经社,其实在组织直播宣传之前,矿机已经售罄,并不存在误导嫌疑。

然而在这个从来不缺乏暴富故事的圈子里,也从来不会缺少贪婪和纠纷。赚钱者欢天喜地,成了新的宣传样本;赔钱者寻死觅活,走上了维权道路。

“比特大陆最痛苦的是,前期得罪的人太多了,现在用拳头说话的时代已经过去了,需要更多的合作。”宝二爷对AI财经社说。

现在大家的选择越来越多,矿工的粘性也随着价格而不是品牌在流动,除了比特大陆的蚂蚁矿机,他们也可以选择买神马和阿瓦隆的机器。

而比特大陆矿机和芯片迭代步伐在明显放缓。自从2016年3月份推出16nm矿机芯片之后,直到2018年9月才开始有新产品出现。外界也因此质疑比特大陆将在矿机领域掉队。






据深圳比特微电子董事长杨作兴透露,比特大陆花重金研发过10nm和12nm的矿机芯片,但詹克团选择了一个功耗更低也更冒险的方案,最终失败,光12nm芯片就耗费了1亿美元。这个消息并没有得到比特大陆的回应,而杨作兴也不愿意透露消息的来源。

宝二爷一直对比特大陆漫长的业务链条持有怀疑。除了加密数字货币矿机,比特大陆开矿场,经营矿池,投资交易所,做加密数字货币钱包。

“比特大陆的最终逻辑是把自己搞得很累,而主力研发的产品利润没有得到绝对的垄断优势。”宝二爷说,“我没看到比特大陆变成了独角兽,变成了矿霸,而是一点一点被其他的四五家肢解市场。”

比特大陆的IPO历程也是一波三折,早前的消息是比特大陆将于8月30日提交招股书,后来推迟到9月下旬。直到9月19日,Coingeek创始人Calvin Ayre在Twitter上爆料称,比特大陆将终止IPO并尝试重组,“他们的技术不再起作用了,他们在其鲁莽的未经测试的虫洞分叉计划上失败了”。

一周后,比特大陆以提交招股书的方式终结了流言。事实上,Coinggeek和吴忌寒此前存在矛盾。8月30日,吴忌寒通过推特抨击Coingeek雇佣的都是小说作家,“报道的都不是新闻”。

看好者与看衰者两极分化。深创投一位资深投资人对AI财经社表示,比特大陆就是一家“昙花一现”的公司,一夜暴富后未来并不可期。他的判断基于其芯片设计能力,认为比特大陆之前做矿机芯片就是“一堆加法器的叠加”,这样的能力不足以应对未来复杂的人工智能芯片设计。





比特大陆自主研发7nm芯片 支持SHA256算法


而竞争对手却开始呈现赶超态势,嘉楠耘智抢在今年8月官宣了7nm矿机芯片,宣称这是全球首个7nm量产芯片,距离嘉楠耘智提交IPO招股书刚刚过去三个月。

不过,嘉楠耘智的7nm芯片受到很大争议,苹果公司的在9月份发布的新一代iPhone,采用的A12处理器就是采用7nm制程,先不考虑两者难度有天壤之别,仅从苹果公司的发布时间来看,其7nm芯片的量产应该远早于嘉楠耘智。甚至有人怀疑,嘉楠耘智也混淆了量产和试产的区别。

9月21日,比特大陆终于宣布即将量产下一代7nm ASIC芯片。从其官方披露的信息来看,新一代矿机芯片,无论是功耗还是性能都在圈子内有足够吸引力。只不过不太乐观的一面是,之前比特大陆的运势实在是太好了,无论是28nm芯片还是后来的16nm芯片,都赶上了币价疯涨的好时候,而当下的行情却持续低迷。

矿机的价格是最直接的晴雨表。随着币价持续低迷,挖矿变得无利可图,直接影响到了矿机销售。结果直接表现在了比特大陆第二季度的财务报表里。

比特大陆2017年的毛利为48.2%,半年后降到了36.2%。矿机的平均售价在下降。以2017年5月升级上市的S9i为例,售价6500元。而据AI财经社从矿机市场获得的最新消息, S9i 当下的价格降到了2950元。

据《台湾经济日报》报道,受销量和市场需求下降的影响,比特大陆第二季度对供应链砍单 50%—60%。

而AI财经社获悉,电子元器件分销商安富利因为比特大陆矿机销量的下滑,造成了接近2亿美元的元器件库存,安富利北区的总经理也因此下课。


寻找新大陆


相比于外界的非议,比特大陆更愿意把时间和精力解决自身业务的风险与困局:因矿机暴富的比特大陆一直有着被币价捆绑的隐忧。

全球矿机市场的规模在2017年为30亿美元,五年后预计将达到171亿美元。相比之下,AI芯片的增长速度将更为迅猛,将于五年后达到235亿美元,复合增长率超过62%。

2017年底,比特大陆正式对外公布了旗下首款AI芯片SOPHON BM1680,中文名为“算丰”。这是《三体》小说里外星球用来控制人类科技发展的机器人“智子”的英文名。

与其说投入大量算力和电力,去生产一堆公众感知很小的数字货币,AI芯片的应用领域显然带来了更多正向的社会价值。

但在AI芯片市场,比特大陆的对手从嘉楠耘智、比特微变成了英伟达——一个至今无人能撼动的角色。业界有着“防火防盗防老黄”的说法,这个老黄就是英伟达的创始人黄仁勋。

两年前,比特大陆从英伟达、英特尔、AMD等顶级芯片企业开始招募高级工程师,开发其AI芯片。

比特大陆还从英特尔挖来AI产品战略总监汤炜伟,他之前在英特尔负责高性能计算。汤炜伟透露,比特大陆将在ABCR(AI、大数据、云计算和机器人)四大领域布局重点。                                                                                

比特大陆在AI芯片的决心很大。招股书透露,截止2018年6月,比特大陆的员工人数超过了2500人,研发和行政人员的平均月薪都超过了7.5万元。据AI财经社获悉,比特大陆现在的人数已经超过了3500人,短短几个月时间增加了上千人,而重点投入到AI芯片的研发。






算力是比特大陆的优势,所以在AI芯片切入安防领域时,比特大陆也是从云端芯片着手,摄像头采集到数据后上传到云平台,然后对这些视频和图像进行海量计算分析。

不过,比特大陆看中的安防市场也是每位对手都紧盯的市场。相比于比特币世界,比特大陆在AI芯片领域遭遇的对手,无论是资本还是技术积累,都比以前更加强大。

除了英伟达之外,2017年11月,一向在终端AI芯片上发力的寒武纪首次推出了云端芯片。在此之前,这家有着中科院背景的AI芯片独角兽曾为华为手机的AI芯片提供技术。“在三年前,我们就开始了两颗测试芯片的研发了。我们时刻准备着将自己的产品放入云端。”寒武纪创始人陈天石表示。

还有一个潜在的有力对手是华为海思。这个拥有上万人但始终低调的华为芯片机构,是中国芯片设计行业的老大,比特大陆目前位列第二,但与第一相差甚远。

在今年8月,华为云总裁郑叶来接受AI财经社专访时透露,伴随人工智能时代的到来,原来通用硬件、芯片处理能力已经不够了,专用硬件和垂直方案的需求提上日程,华为将会在此发力。这也预示着,华为海思一定会研发针对云端的AI芯片。

比特大陆的AI芯片会突围吗?根据相关信息,它的第一代芯片已于2017年上半年流片量产,在当年11月份搭载芯片的板卡和服务器产品成熟后,正式发布。相比这波AI芯片浪潮中,一些PPT公司,比特大陆还算扎实。

比特大陆招股书里体现的AI营收很少。这也说明了人工智能芯片开拓市场的难度,要远远高于矿机芯片。比如,比特大陆瞄准的安防市场,属于典型的2B行业,需要一步步打通渠道,一步步让产品过关,这是漫长的通关过程。

汤炜伟说,比特大陆在探索新的业务模式,包括设备租赁,减少客户的升级和保修成本,但这种模式的缺点是前期投入比较大。但矿机市场的原始积累将给它带来充足的研发资金。相比于其他单纯依靠资本输血的公司,比特大陆简直是坐在一片金矿上。

在去年底的世界人工智能大会上,吴忌寒给出了一个乐观预测,未来5年内比特大陆40%的收入将来自AI芯片。这是一片新大陆,比特大陆能在此找到自己的绿洲吗?


撰文:周路平
编辑:赵艳秋 查看全部
bi1.jpg

吴忌寒


矿机生意将淘金卖水的故事演绎得淋漓尽致。

1.3亿美元,2.7亿美元,25.1亿美元,这是比特大陆在过去三年的营收。除了小米,几乎很难在国内找到一家成长如此迅速的企业。但即便是小米和雷军,也没有像比特大陆和它的CEO吴忌寒那样,遭遇如此多的争议和质疑。

现在,人们最关心的是,这样一家“一夜暴富”的公司,会不会仅仅是昙花一现?


理想信仰者还是恐怖分子?


2013年,投资经理吴忌寒在北京结识了做机顶盒芯片的詹克团。詹克团是典型的理工男,也具有福建商人的气质,低调务实,几乎没有接受过采访。之前甚至有媒体将詹克团写成清华大学计算机系毕本科毕业。但据AI财经社向官方核实,詹克团的本科毕业于山东大学,研究生在中科院微电子研究所。

吴忌寒与詹克团合伙创业时有过一份对赌协议,詹克团带领的技术团队如果能按时研发出达标的矿机芯片,整个团队就可以拿到60%的股份。2013年,詹克团花了6个月时间便开发出了比特大陆的第一代矿机,挖矿效率远超当时同行,成为比特大陆日后崛起的关键。

在这周在港交所提交IPO前,詹克团持有比特大陆36.58%的股份,而吴忌寒为20.5%。比特大陆也一直采用联席董事长和联席CEO的管理层设计,这在国内公司的运营中相当少见。

“我和Micree(詹克团)更多是一个互补组队的局面,就像一个乒乓球双打比赛,球打过来,谁在最佳接球位置谁说了算,大家配合比赛,获取胜利是关键。”这是吴忌寒第一次公开评价自己和创业伙伴的关系。吴忌寒出生于1986年,詹克团比他大了7岁。

两个人的性格差异很大,吴忌寒是北大心理学和经济学出身,长着娃娃脸,但在比特币的世界里,他愿意发声,也敢于与别人开火互怼,因此收获了一堆外号,大多是贬义,包括“矿霸”、“恐怖分子”。

但这位“矿霸”也有着侠客精神。一位比特大陆知情人士透露,吴忌寒曾告诫同事,当合作伙伴的体量较小时要对外积极宣传,能提携就提携,而当合作公司体量比自己更庞大时则不宜宣传,免得落下“抱大腿”的嫌疑。

在红杉资本的一场活动结束后,吴忌寒边看手机,边等待专车到来。当AI财经社拦住他并希望简单聊几句时,他没有拒绝,但表现得尤为谨慎,眼睛一直盯着记者的手机,担心被录音,一点也没有互联网上的洒脱。

而在今年中兴事件后,当全中国的公司都巴不得和“自主研发芯片”建立某种干系的时候,吴忌寒却告诉同事,别动不动对外喊自主。

在矿机的世界里,另一家企业嘉楠耘智的灵魂人物是张楠赓,江湖人称“南瓜张”,毕业于北航,曾与中科大少年班毕业的“烤猫” 蒋信予齐名。

相比于吴忌寒和南瓜张在圈内的知名度,还有一家矿机企业亿邦国际的创始人胡东,则游离于圈子外,一众币圈玩家都对他知之甚少。在官方文件里,胡东最早的业务是给电信运营商们提供设备和零配件。

“南瓜张”和胡东都属于性格低调的人,詹克团的想法也倾向于闷头做事,闷声发财。相比之下,吴忌寒较为西式,频频出席圈内活动,敢于表达,也不排斥媒体采访。

他并非一个完全嗜血的商人,在他的身上能够看到对比特币的信仰。今年3月,吴忌寒站在华盛顿的一个行业会议上,但却站在了美联储的对立面,鼓吹私有中央银行,探讨私有中央银行和货币的关系,以及如何通过比特币帮助人们远离恶性通货膨胀。

吴忌寒经常出现在类似的行业会议中,展现他对数字货币的理想主义。他也是公认第一位将中本聪白皮书翻译成中文的人,成了比特币的早期布道者。

他受邀为《算力之美》的书撰序。他用了华美而富有理想的语言描述了算力给人类带来的财富。他提到了内蒙古达拉特旗、新疆伊犁以及云南红河,在这些地方都曾分布着比特大陆的矿场。不过,由于内蒙古当地政府对挖矿本身的犹豫,比特大陆已经关闭了当地的矿场,而最新把矿场建到了美国。

但在他的反对者甚至是旁人看来,吴忌寒容易情绪化。他在推特上痛击意见相左者,就像别人抨击他那样。

在宝二爷的印象中,三十出头的吴忌寒,自尊心很强,甚至有点自负,“有啥不能说啥,反而是见谁怼谁”。宝二爷的真名叫郭宏才,也是币圈的传奇人物,卖牛肉出身,做矿场发了财,常年旅居海外。

他坦承与吴忌寒之间并无恩怨,他倒是希望吴忌寒能够在世界范围建立起中国币圈的影响力,“这个人要有大胸怀,大智慧,而不是把别人都打得干不下去了,只顾着自己一家子发展。”


一夜暴富


被宝二爷寄予厚望的吴忌寒,已经和自己的合伙人将比特大陆做到了全球矿机老大,在全球市场的占有率超过了70%,而旗下自建或投资的矿池算力接近全网一半。

“詹克团是芯片设计的高手,吴忌寒又是最早进入比特币社区的人,他们两个人是天作之合。”闪电智能CEO廖翔分析比特大陆在一大批矿机厂商中存活并壮大的原因。

相对于其他矿机企业,比特大陆成功的关键因素是,在合适的时间造出了性能和功耗表现出色的矿机芯片。在比特大陆的招股书中,推出28nm的S7矿机芯片和16nm的S9矿机芯片,都被列为里程碑事件。

在几年之前,整个币圈和矿机市场遭遇过一轮洗牌。背景是2014年美联储对比特币持消极态度,比特币的价格从年初的9000元,一路跌到年末的800元。一大批矿机厂商被洗牌出局,包括烤猫矿机、Bitfury和KnCMiner。

但比特大陆没停止研发,不断迭代产品。从它的发展历程可以清晰地看到:2014年6月,第一版28nm芯片研发成功;7月,搭载28nm芯片的蚂蚁矿机S3量产;12月,蚂蚁矿机S5量产;2015年8月,第四代矿机芯片BM1385发布;11月,蚂蚁矿机S7量产。

谨慎储备现金的意识,也让比特大陆得以应对这一疯狂市场的大起大落。“对传统公司来说,今年生意这么大,明年生意这么小,他们肯定受不了。但对我们来说,大的时候,就要想好明年会这么小,要准备更多现金。未来即使币价低迷3年,公司还是要能很好地活着。”比特大陆联合创始人詹克团在接受外媒采访时说。

等到2015年下半年,比特币价格逐渐回暖,执着和谨慎,让比特大陆成了比特币价格回暖的直接受益者。比特大陆的蚂蚁矿机,几乎是矿机市场上最有竞争力的产品。

bi2.jpg

坐落于鄂尔多斯的比特币矿场


廖翔则给AI财经社提供了另外一个比特大陆暴富的版本。它在自己造芯片之前买阿瓦隆的芯片做矿机,因为矿机交不上货,客户找它退钱,才知道比特大陆已经把钱都拿去做芯片了。好在芯片很快出来后,性能和功耗甚至比预期还要突出。

之后的故事就变得梦幻了。比特币从几百美元涨到七八千美元,又从七八千美元涨到了逼近两万美元。

币价的疯涨直接刺激了矿机生产商的销量,比特大陆旗下搭载了最新款芯片的蚂蚁S7大卖,成了比特大陆走向行业龙头的关键。年初卖五六千元一台的矿机,到了2017年末卖到3万元。

由于崛起速度太快,比特大陆起初被认为是一家“神秘的公司”。直到后来,不断上演的淘金卖水的故事,才将这种神秘感打破。

与公司销售额一起水涨船高的是比特大陆的估值。比特大陆历史上拿过三轮融资,并在pre-IPO轮融资后估值达到140亿-150亿美元。这种速度几乎打破了国内科技公司的估值上升纪录。

外界质疑价格太高的声浪一浪高过一浪,质问谁会为这个千亿市值买单?不过,同在筹备中的嘉楠耘智,其P/E倍数是比特大陆的6倍。

在比特大陆之外,卖矿机的企业几乎都在这一波上涨行情中赚到了钱。位于浙江的嘉楠耘智在2016年的营收只有3亿元,次年猛增到13亿元。

嘉楠耘智在很长一段时间的业务是销售矿机ASIC芯片。这是一类专门针对某矿机开发的芯片。直到2016年,嘉楠耘智暂停了这部分业务,转而全面卖矿机。杨作兴对AI财经社分析说,早期卖芯片后来被证明是一种失败的商业模式,当时很大一个原因是从芯片到矿机的量产能力太差,烤猫的一款芯片在2014年3月发布,直到7月才见到矿机。而当下从芯片到矿机只需要一个星期时间。

而比特大陆一开始就直接卖矿机。对于很多买矿机的人而言,光提供芯片并不能满足他们的要求。

亿邦国际也是浙江的一家企业,最早的业务是给电信运营商们提供设备和零配件。矿机生意的高毛利很快让他们调整了业务方向。由于挖矿生意的兴隆,它的区块链业务,从2900万元猛增到9.2亿元,电信业务的比重则变成了可怜的5%。

连给矿机厂商代工芯片制造的台积电也迎来了第二春,2017年的增长达到44%,今年预计增长79%,这背后中国矿机厂商功不可没。

矿机企业的利润高得惊人。随着矿机的走俏,嘉楠耘智的毛利率涨到了46.2%。

作为业内龙头,比特大陆的毛利更是高得吓人。2016、2017、2018第一季度的毛利润率为56.91%、57.21%、59.97%,同期的净利润则达到了42.8%、49.40%、59.99%。

从比特大陆的角度来分析,现在上市算是恰当的时机。从公司本身看,它经历了数字货币牛市,业务日趋成熟,即便市场在转弱,还能交出一份不错的财报,可以获得不低的估值。而它的下一步是研发AI芯片,这无疑是当下最时髦的行当。

从外部环境来看,资本市场尤其是私募基金投资全线缩紧,钱荒的风声此起彼伏。矿机界的竞争对手都已经向港交所提交了招股书。进入公开市场,能让比特大陆获得更多资本的加持。


围攻比特大陆


无论在哪儿,人们都不太喜欢一夜暴富的人。在比特币的生态社区里,不喜欢甚至敌视比特大陆的人并不少见,至少有两件事让比特大陆不受待见:一是比特大陆掌握的算力过于庞大,而比特币的世界里崇尚去中心化,一个币圈人的典型担忧是“51%攻击”,但比特大陆正在成为那个中心,具备了那个攻击性。

吴忌寒一再引述中本聪白皮书的内容:即便攻击成功,整个系统也并非就此完全受制于攻击者的独断意志;一个攻击者能做的,最多是更改他自己的交易信息,并试图拿回他刚刚付给别人的钱。

另一个让比特大陆饱受争议的是它支持了比特币现金(BCH)。2017年,整个币圈都在为比特币是否要进行区块扩容的方案争吵不休。围绕这个问题,比特币社区出现了两大阵营,以吴忌寒为代表的“大矿池”一派,和以Core为代表的“比特币核心开发团队”。

Core团队主要是一些技术人员,自比特币诞生以来做着技术维护的工作。他们认为,吴忌寒支持的BCH扩容方案,使得参与的节点越来越少,降低了去中心化程度,违背了比特币的核心精神。而吴忌寒在对方眼中,被看作是追逐利益的“商人”。

在没有达成共识的情况下,由比特大陆投资的矿池ViaBTC突然在2017年8月实施了硬分叉行动,从比特币分叉出BCH(比特币现金)。相比于拥挤的比特币社区,新的方案将比特币区块大小扩容到了8M。

比特大陆将手中的比特币大部分换成了比特币现金。比特大陆的一份投资路演PPT显示,其持有的比特币从2016年底的71560枚降到了22082枚,而BCH则增加到了102万枚。不难发现,比特大陆在抛售比特币,转而持有分叉币BCH。

比特大陆确实展现出了它在市场上的影响力。BCH在短时间内就以比特币10%的总市值规模,站到了数字加密货币的第三名。

港交所披露比特大陆的IPO招股书当天,BCH暴涨,24小时涨幅达17.26%,打破了“美联储加息,币圈血流成河”的魔咒。

而这却引起了很多比特币忠实用户的不满。“小寒走错一步棋就是力挺了BCH。”宝二爷对AI财经社表示,比特币是主链,BCH是分叉链,虽然分叉链涨得更猛,但在社区心目中,除了比特币,其他分叉币都是山寨币。

“比特大陆如果以后出问题的话,就出现在这个方面,这是一个它背不起的包袱。”廖翔说。

在比特币的社区里,曾有过一个简单的线上投票:如果BCH分裂成CSW和矿霸链(比特大陆),你支持哪边?超过50%的人支持了前者,支持比特大陆的人只有13%,剩下的人选择中立。

“之前很多币圈的公司有点像欺负小孩儿似的,天天欺负小寒的公司,弄得挺不是滋味儿的。这个不太对。”宝二爷对AI财经社说,吴忌寒发展好的时候大家都捧着,但稍微有点风吹草动,所有脏水立刻都泼了过来。

麻烦事接踵而至。随着矿场越来越散户化,2015年比特大陆的客户数量接近6000个,而到2018年中已经超过了8万个。大量的小矿工进入,给市场增加了不少泡沫和韭菜,当然也增添了不理智因素。

今年5月,比特大陆的蚂蚁B3矿机引起了诸多不满,这款专门用来挖BTM(比原链)的矿机售价高达1.7万元,却陷入了虚假宣传和算力不达标的争议,遭多名购买者上门索赔。比特大陆觉得委屈,一位知情人士告诉AI财经社,其实在组织直播宣传之前,矿机已经售罄,并不存在误导嫌疑。

然而在这个从来不缺乏暴富故事的圈子里,也从来不会缺少贪婪和纠纷。赚钱者欢天喜地,成了新的宣传样本;赔钱者寻死觅活,走上了维权道路。

“比特大陆最痛苦的是,前期得罪的人太多了,现在用拳头说话的时代已经过去了,需要更多的合作。”宝二爷对AI财经社说。

现在大家的选择越来越多,矿工的粘性也随着价格而不是品牌在流动,除了比特大陆的蚂蚁矿机,他们也可以选择买神马和阿瓦隆的机器。

而比特大陆矿机和芯片迭代步伐在明显放缓。自从2016年3月份推出16nm矿机芯片之后,直到2018年9月才开始有新产品出现。外界也因此质疑比特大陆将在矿机领域掉队。

bi3.jpg


据深圳比特微电子董事长杨作兴透露,比特大陆花重金研发过10nm和12nm的矿机芯片,但詹克团选择了一个功耗更低也更冒险的方案,最终失败,光12nm芯片就耗费了1亿美元。这个消息并没有得到比特大陆的回应,而杨作兴也不愿意透露消息的来源。

宝二爷一直对比特大陆漫长的业务链条持有怀疑。除了加密数字货币矿机,比特大陆开矿场,经营矿池,投资交易所,做加密数字货币钱包。

“比特大陆的最终逻辑是把自己搞得很累,而主力研发的产品利润没有得到绝对的垄断优势。”宝二爷说,“我没看到比特大陆变成了独角兽,变成了矿霸,而是一点一点被其他的四五家肢解市场。”

比特大陆的IPO历程也是一波三折,早前的消息是比特大陆将于8月30日提交招股书,后来推迟到9月下旬。直到9月19日,Coingeek创始人Calvin Ayre在Twitter上爆料称,比特大陆将终止IPO并尝试重组,“他们的技术不再起作用了,他们在其鲁莽的未经测试的虫洞分叉计划上失败了”。

一周后,比特大陆以提交招股书的方式终结了流言。事实上,Coinggeek和吴忌寒此前存在矛盾。8月30日,吴忌寒通过推特抨击Coingeek雇佣的都是小说作家,“报道的都不是新闻”。

看好者与看衰者两极分化。深创投一位资深投资人对AI财经社表示,比特大陆就是一家“昙花一现”的公司,一夜暴富后未来并不可期。他的判断基于其芯片设计能力,认为比特大陆之前做矿机芯片就是“一堆加法器的叠加”,这样的能力不足以应对未来复杂的人工智能芯片设计。

bi4.jpg

比特大陆自主研发7nm芯片 支持SHA256算法


而竞争对手却开始呈现赶超态势,嘉楠耘智抢在今年8月官宣了7nm矿机芯片,宣称这是全球首个7nm量产芯片,距离嘉楠耘智提交IPO招股书刚刚过去三个月。

不过,嘉楠耘智的7nm芯片受到很大争议,苹果公司的在9月份发布的新一代iPhone,采用的A12处理器就是采用7nm制程,先不考虑两者难度有天壤之别,仅从苹果公司的发布时间来看,其7nm芯片的量产应该远早于嘉楠耘智。甚至有人怀疑,嘉楠耘智也混淆了量产和试产的区别。

9月21日,比特大陆终于宣布即将量产下一代7nm ASIC芯片。从其官方披露的信息来看,新一代矿机芯片,无论是功耗还是性能都在圈子内有足够吸引力。只不过不太乐观的一面是,之前比特大陆的运势实在是太好了,无论是28nm芯片还是后来的16nm芯片,都赶上了币价疯涨的好时候,而当下的行情却持续低迷。

矿机的价格是最直接的晴雨表。随着币价持续低迷,挖矿变得无利可图,直接影响到了矿机销售。结果直接表现在了比特大陆第二季度的财务报表里。

比特大陆2017年的毛利为48.2%,半年后降到了36.2%。矿机的平均售价在下降。以2017年5月升级上市的S9i为例,售价6500元。而据AI财经社从矿机市场获得的最新消息, S9i 当下的价格降到了2950元。

据《台湾经济日报》报道,受销量和市场需求下降的影响,比特大陆第二季度对供应链砍单 50%—60%。

而AI财经社获悉,电子元器件分销商安富利因为比特大陆矿机销量的下滑,造成了接近2亿美元的元器件库存,安富利北区的总经理也因此下课。


寻找新大陆


相比于外界的非议,比特大陆更愿意把时间和精力解决自身业务的风险与困局:因矿机暴富的比特大陆一直有着被币价捆绑的隐忧。

全球矿机市场的规模在2017年为30亿美元,五年后预计将达到171亿美元。相比之下,AI芯片的增长速度将更为迅猛,将于五年后达到235亿美元,复合增长率超过62%。

2017年底,比特大陆正式对外公布了旗下首款AI芯片SOPHON BM1680,中文名为“算丰”。这是《三体》小说里外星球用来控制人类科技发展的机器人“智子”的英文名。

与其说投入大量算力和电力,去生产一堆公众感知很小的数字货币,AI芯片的应用领域显然带来了更多正向的社会价值。

但在AI芯片市场,比特大陆的对手从嘉楠耘智、比特微变成了英伟达——一个至今无人能撼动的角色。业界有着“防火防盗防老黄”的说法,这个老黄就是英伟达的创始人黄仁勋。

两年前,比特大陆从英伟达、英特尔、AMD等顶级芯片企业开始招募高级工程师,开发其AI芯片。

比特大陆还从英特尔挖来AI产品战略总监汤炜伟,他之前在英特尔负责高性能计算。汤炜伟透露,比特大陆将在ABCR(AI、大数据、云计算和机器人)四大领域布局重点。                                                                                

比特大陆在AI芯片的决心很大。招股书透露,截止2018年6月,比特大陆的员工人数超过了2500人,研发和行政人员的平均月薪都超过了7.5万元。据AI财经社获悉,比特大陆现在的人数已经超过了3500人,短短几个月时间增加了上千人,而重点投入到AI芯片的研发。

bi5.jpg


算力是比特大陆的优势,所以在AI芯片切入安防领域时,比特大陆也是从云端芯片着手,摄像头采集到数据后上传到云平台,然后对这些视频和图像进行海量计算分析。

不过,比特大陆看中的安防市场也是每位对手都紧盯的市场。相比于比特币世界,比特大陆在AI芯片领域遭遇的对手,无论是资本还是技术积累,都比以前更加强大。

除了英伟达之外,2017年11月,一向在终端AI芯片上发力的寒武纪首次推出了云端芯片。在此之前,这家有着中科院背景的AI芯片独角兽曾为华为手机的AI芯片提供技术。“在三年前,我们就开始了两颗测试芯片的研发了。我们时刻准备着将自己的产品放入云端。”寒武纪创始人陈天石表示。

还有一个潜在的有力对手是华为海思。这个拥有上万人但始终低调的华为芯片机构,是中国芯片设计行业的老大,比特大陆目前位列第二,但与第一相差甚远。

在今年8月,华为云总裁郑叶来接受AI财经社专访时透露,伴随人工智能时代的到来,原来通用硬件、芯片处理能力已经不够了,专用硬件和垂直方案的需求提上日程,华为将会在此发力。这也预示着,华为海思一定会研发针对云端的AI芯片。

比特大陆的AI芯片会突围吗?根据相关信息,它的第一代芯片已于2017年上半年流片量产,在当年11月份搭载芯片的板卡和服务器产品成熟后,正式发布。相比这波AI芯片浪潮中,一些PPT公司,比特大陆还算扎实。

比特大陆招股书里体现的AI营收很少。这也说明了人工智能芯片开拓市场的难度,要远远高于矿机芯片。比如,比特大陆瞄准的安防市场,属于典型的2B行业,需要一步步打通渠道,一步步让产品过关,这是漫长的通关过程。

汤炜伟说,比特大陆在探索新的业务模式,包括设备租赁,减少客户的升级和保修成本,但这种模式的缺点是前期投入比较大。但矿机市场的原始积累将给它带来充足的研发资金。相比于其他单纯依靠资本输血的公司,比特大陆简直是坐在一片金矿上。

在去年底的世界人工智能大会上,吴忌寒给出了一个乐观预测,未来5年内比特大陆40%的收入将来自AI芯片。这是一片新大陆,比特大陆能在此找到自己的绿洲吗?


撰文:周路平
编辑:赵艳秋

美国科技公司为中国主要港口提供区块链供应链解决方案

资讯chainb 发表了文章 • 2018-09-25 11:40 • 来自相关话题

美国科技公司Ideanomics已与亚太模范电子港口网络(APMEN)贸易技术公司合作,通过区块链技术简化供应链。Ideanomics与APMEN贸易技术公司一起,旨在利用区块链和所谓的“超级人工智能”,为亚太经济合作组织(APEC)在线港口清关系统中的港口清关和运输处理削减“中间商”。

根据9月20日星期四发布的新闻稿,美国科技公司Ideanomics已与亚太模范电子港口网络(APMEN)贸易技术公司合作,通过区块链技术简化供应链。

Ideanomics与APMEN贸易技术公司一起,旨在利用区块链和所谓的“超级人工智能”,为亚太经济合作组织(APEC)在线港口清关系统中的港口清关和运输处理削减“中间商”。

这些工具的第一次使用将发生在中国的两个主要港口——上海和广州,前者在2017年是世界上最繁忙的港口。

此举标志着区块链行业不断增长的趋势,一大批大公司希望通过技术的引入来代替传统的供应链基础设施。

在有关Ideanomics和APMEN Tech Trade Co.合作伙伴关系的新闻稿中,Ideanomics董事长兼联合首席执行官Bruno Wu表示:

“我们将整合来自不同合作伙伴的业务数据,与单一窗口合作建立风险控制模型,为监管机构和企业提供风险控制服务。”


新闻稿指出,Ideanomics将拥有新合资企业60%的股份,并承诺在年底之前将在中国证券交易所上市。

随着行业的扩大,一些消息来源最近对区块链供应链效率持怀疑态度,并警告这可能是“炒作”。

Tradeshift首席执行官Christian Lanng上周在中国举行的世界经济论坛上发言,甚至表示区块链在当前状态下并不适合“高效”地适应这种规模。

“每当人们说区块链时,我认为他们真正说的是他们想要以数字方式连接东西,”他建议道。



原文:US Tech Firm Eyes Blockchain Supply Chain Solution for Major Chinese Ports
作者:William Suberg
编译:Miranda
来源:cointelegraph 查看全部
740_aHR0cHM6Ly9zMy5jb2ludGVsZWdyYXBoLmNvbS9zdG9yYWdlL3VwbG9hZHMvdmlldy9jYjE4YmJhODUxMGIxZDFhN2IxNjg4NzNhYTY4Y2NiNC5qcGc.jpg

美国科技公司Ideanomics已与亚太模范电子港口网络(APMEN)贸易技术公司合作,通过区块链技术简化供应链。Ideanomics与APMEN贸易技术公司一起,旨在利用区块链和所谓的“超级人工智能”,为亚太经济合作组织(APEC)在线港口清关系统中的港口清关和运输处理削减“中间商”。

根据9月20日星期四发布的新闻稿,美国科技公司Ideanomics已与亚太模范电子港口网络(APMEN)贸易技术公司合作,通过区块链技术简化供应链。

Ideanomics与APMEN贸易技术公司一起,旨在利用区块链和所谓的“超级人工智能”,为亚太经济合作组织(APEC)在线港口清关系统中的港口清关和运输处理削减“中间商”。

这些工具的第一次使用将发生在中国的两个主要港口——上海和广州,前者在2017年是世界上最繁忙的港口。

此举标志着区块链行业不断增长的趋势,一大批大公司希望通过技术的引入来代替传统的供应链基础设施。

在有关Ideanomics和APMEN Tech Trade Co.合作伙伴关系的新闻稿中,Ideanomics董事长兼联合首席执行官Bruno Wu表示:


“我们将整合来自不同合作伙伴的业务数据,与单一窗口合作建立风险控制模型,为监管机构和企业提供风险控制服务。”



新闻稿指出,Ideanomics将拥有新合资企业60%的股份,并承诺在年底之前将在中国证券交易所上市。

随着行业的扩大,一些消息来源最近对区块链供应链效率持怀疑态度,并警告这可能是“炒作”。

Tradeshift首席执行官Christian Lanng上周在中国举行的世界经济论坛上发言,甚至表示区块链在当前状态下并不适合“高效”地适应这种规模。


“每当人们说区块链时,我认为他们真正说的是他们想要以数字方式连接东西,”他建议道。




原文:US Tech Firm Eyes Blockchain Supply Chain Solution for Major Chinese Ports
作者:William Suberg
编译:Miranda
来源:cointelegraph

45%区块链项目一年后价值归零 人工智能的预测能信吗?

攻略blockbeats 发表了文章 • 2018-09-21 12:05 • 来自相关话题

如果人工智能可以帮你预测未来的价格并且帮你做出投资决定,你会把钱交给人工智能吗?

在媒体上,我们看到有关人工智能帮助人类做出投资决策的新闻分为两类,一种是人工智能管理的基金在「一顿操作」之后没有赚钱、甚至亏钱,另外一种是人工智能在股票市场的表现超越专业的基金经理,实现逆市盈利。

国外有一家名为 Wallet Investor 的网站,专门做人工智能对各种金融产品的预测,包括股票、外汇、商品期货、基金等,最近他们还加入了对数字加密货币的人工智能预测。Wallet Investor 通过对金融产品的交易量、近期和历史价格、发展趋势等数据,将其投入人工智能预测模型中,得出一个有一定参考意义的投资参考。但是对于区块链世界的数字加密货币投资,这个市场真的可以预测吗?

以股票、大宗商品为例,老练的投资者是可以根据市场信息、波动趋势来判断买入卖出点的,总体宏观上是可以进行预测的。但是数字加密货币市场存在更多的不可控因素,比如私募投资者、交易所、黑客等诸多因素都将导致 BTC、ETH 等数字机密货币发生不可预测的变化。

让我们来看一下人工智能给数字加密货币投资建议,到底一顿操作之后,是猛如虎,还是 0:5 呢?


人工智能预测 45% 的 ICO 项目一年后价值归零


根据这家网站的人工智能分析,我们看到它对每个数字加密货币的价格都进行了预测,时间范围包括 14 天、3 个月、6 个月、1 年和 5 年等。

在这份数据中我们发现了几个有意思的数据,比如多个主流币种将在一年内归零,如 ETH、BCH、ADA、QTM 等,还有一些知名项目比如 OMG、Gifto、Cybermiles、Bit-z、秘银币等多个项目,也将面临归零的风险。而列表中,BTC、EOS、XRP、莱特币、门罗币等项目将实现翻倍。











在整个列表中,有约 960 个 Token 被人工智能预测为「一年后价值归零,价格下跌 100%」,还有上百个 Token 在未来一年里「价格下跌 80% 以上」,可以说是哀「红」一片。

有 355 个 Token 被人工智能预测为「一年后价值翻倍」,其中 19 个项目可以实现 10 倍的价值增长。我们熟悉的项目比如 BTC、EOS、XRP、LTC、DASH、ETC、TRX 等都将实现最少一倍的增长。


但是人工智能的预测真的准吗?


实际上,在预测价格方面,人工智能做的一直很差。曾一度被人称之为是「人工智障」。因为模型的精度、权重和预测数据来源等多方面原因,人工智能对于一件事情的预测仍然出在很早的阶段。

在 Wallet Investor 的暴涨 10 倍币列表里,我们看到了几个令人匪夷所思的项目,比如已经被宣判死刑的 Centra。这是一个被区块律动 BlockBeats 写过的项目,该项目由美国拳王梅威瑟代言,但是因为存在商业欺诈行为,该项目定美国方面定性为诈骗,创始人在机场被警方抓捕。该项目已经基本进入死亡阶段,仅剩少数人进行交易,过去 24 小时的交易量仅 2000 美元。






另外 10 倍币的榜单中也有大量空气币项目,比如排名第一的 Mercury Protocl 项目已经接近被统计网站除名的状态,过去 24 小时的交易量不足 100 美元。对,你没看错,这个项目已经死了。排名第三的 Blockchain Index,过去 24 小时的交易量不足 200 美元。排名第四的项目 10M Token 未被 CoinMarketCap 收录。排名第五的 Xplay,过去 24 小时的交易量不到 300 美元。

而在归零币的列表中,我们也看到几个令人感到困惑的项目出现在上面,比如以太坊的代币 ETH 将会在一年内归零,比特币现金一年后将下跌 99.9983%,几乎归零,达世币也会归零,知名技术项目 ADA 也会归零,每日交易量近 5000 币的量子链 QTM 等都将归零。

不可否认,上述 5 个项目近期的表现确实差强人意,尤其是 ETH 更是被媒体和专业人士做空即将归零。但是像以太坊、比特币现金、达世币、量子链等已经成型的项目,他们已经产生了相应的社会价值,理论上很难归零。

这里就不得不开始怀疑人工智能到底能不能做投资分析和判断,他们的决策真的有可信度吗?


人工智能到底行不行?


2017 年,全球第一支应用人工智能进行投资的 ETF 基金 AIEQ 开始运作。这只基金的经理是一个跑在 IBM Watson 超级计算机上「人工智能」,它可以一年 365 天、一天 24 小时不间断地对 6000 支股票进行分析和交易。

在许多人眼里,人工智能速度更快、判断更准,而且相比于传统的纯人工投资,可以对更多的投资标的做出操作。原先需要人工大量时间做出的投资决定,人工智能只需要几秒钟。在上线的前两天,这只人工智能投资基金轻轻松松地就跑赢了大盘,看上去人工智能好像即将实现惊天逆转,让不少基金经理、交易员和分析师开始担心自己饭碗不保。

然而一个月之后,AIEQ 累积跌了 3.27%,而同期美国标普 500 指数却上涨了 1.06%。在那波牛市里,投资者随便买一只股票都比 AIEQ 赚的多。但是在美股今年的利好下,AIEQ 又开始了漂亮转身的操作,标准普尔 500 指数今年回报约为 8%,而 AIEQ 的回报已经达到了 12%,后者的投资者可以获得 4% 的超额收益。

除了美国之外,中国的不少机构也在涉足人工智能投资顾问业务,比如招商银行的摩羯智投、工商银行的 AI 投、宜信投米 RA、理财魔法、璇玑等。根据《轻金融》统计,只有璇玑的投资收益是正的,其他四家的智能投顾都是负数。但是对比沪深 300 指数同期 10% 跌幅的话,剩下的四家表现其实也不算差。






风险分析师陆晨在一财的采访中表示,现在「很多的 AI」是回溯历史大数据的统计方法,统计的黑匣子胃口食量很大,要喂给它大量的历史数据才能对未来有非常局限的预测。同时这个预测是很固定静态的,根据这个预测再针对未来设定相应的解决方式,要面对未来的不确定性。然而,市场是瞬息万变的,时间又不停息,原有的固定起点变成了历史。

虽然上市公司会主动披露很多数据,而且隐藏在数据背后的很多信息是人工智能无法分析出来的。比如虽然披露了员工数量,但是员工的状态需要现场考察才能确定;虽然财报上展示了业务数据,但也有可能出现绿诺科技这种只有亲自去现场才能发现其造假。诸如此类的问题,人工智能虽然可以预测,但是其预测结果并不准确。

再回到本文的人工智能分析币价上,从这个网站给出的数据中的大量偏差就可以看出,数字加密货币市场几乎无法做出预测。这与数字加密货币市场的混乱现状有很大关系,也与参与分析的人工智能其智能程度也有很大的关系。

人工智能肯定是不知道庄家会在什么时候拉盘的。


文| 0x2  查看全部
algorithmic-trading-software-system.jpg

如果人工智能可以帮你预测未来的价格并且帮你做出投资决定,你会把钱交给人工智能吗?

在媒体上,我们看到有关人工智能帮助人类做出投资决策的新闻分为两类,一种是人工智能管理的基金在「一顿操作」之后没有赚钱、甚至亏钱,另外一种是人工智能在股票市场的表现超越专业的基金经理,实现逆市盈利。

国外有一家名为 Wallet Investor 的网站,专门做人工智能对各种金融产品的预测,包括股票、外汇、商品期货、基金等,最近他们还加入了对数字加密货币的人工智能预测。Wallet Investor 通过对金融产品的交易量、近期和历史价格、发展趋势等数据,将其投入人工智能预测模型中,得出一个有一定参考意义的投资参考。但是对于区块链世界的数字加密货币投资,这个市场真的可以预测吗?

以股票、大宗商品为例,老练的投资者是可以根据市场信息、波动趋势来判断买入卖出点的,总体宏观上是可以进行预测的。但是数字加密货币市场存在更多的不可控因素,比如私募投资者、交易所、黑客等诸多因素都将导致 BTC、ETH 等数字机密货币发生不可预测的变化。

让我们来看一下人工智能给数字加密货币投资建议,到底一顿操作之后,是猛如虎,还是 0:5 呢?


人工智能预测 45% 的 ICO 项目一年后价值归零


根据这家网站的人工智能分析,我们看到它对每个数字加密货币的价格都进行了预测,时间范围包括 14 天、3 个月、6 个月、1 年和 5 年等。

在这份数据中我们发现了几个有意思的数据,比如多个主流币种将在一年内归零,如 ETH、BCH、ADA、QTM 等,还有一些知名项目比如 OMG、Gifto、Cybermiles、Bit-z、秘银币等多个项目,也将面临归零的风险。而列表中,BTC、EOS、XRP、莱特币、门罗币等项目将实现翻倍。

c798ebe181de2c795513e91a1d0ddd31.jpg


fbadfa8e551577313147fc07ffa41f5a.jpg


在整个列表中,有约 960 个 Token 被人工智能预测为「一年后价值归零,价格下跌 100%」,还有上百个 Token 在未来一年里「价格下跌 80% 以上」,可以说是哀「红」一片。

有 355 个 Token 被人工智能预测为「一年后价值翻倍」,其中 19 个项目可以实现 10 倍的价值增长。我们熟悉的项目比如 BTC、EOS、XRP、LTC、DASH、ETC、TRX 等都将实现最少一倍的增长。


但是人工智能的预测真的准吗?


实际上,在预测价格方面,人工智能做的一直很差。曾一度被人称之为是「人工智障」。因为模型的精度、权重和预测数据来源等多方面原因,人工智能对于一件事情的预测仍然出在很早的阶段。

在 Wallet Investor 的暴涨 10 倍币列表里,我们看到了几个令人匪夷所思的项目,比如已经被宣判死刑的 Centra。这是一个被区块律动 BlockBeats 写过的项目,该项目由美国拳王梅威瑟代言,但是因为存在商业欺诈行为,该项目定美国方面定性为诈骗,创始人在机场被警方抓捕。该项目已经基本进入死亡阶段,仅剩少数人进行交易,过去 24 小时的交易量仅 2000 美元。

695472221f7db9fe0450aaf3d05c97f8.jpg


另外 10 倍币的榜单中也有大量空气币项目,比如排名第一的 Mercury Protocl 项目已经接近被统计网站除名的状态,过去 24 小时的交易量不足 100 美元。对,你没看错,这个项目已经死了。排名第三的 Blockchain Index,过去 24 小时的交易量不足 200 美元。排名第四的项目 10M Token 未被 CoinMarketCap 收录。排名第五的 Xplay,过去 24 小时的交易量不到 300 美元。

而在归零币的列表中,我们也看到几个令人感到困惑的项目出现在上面,比如以太坊的代币 ETH 将会在一年内归零,比特币现金一年后将下跌 99.9983%,几乎归零,达世币也会归零,知名技术项目 ADA 也会归零,每日交易量近 5000 币的量子链 QTM 等都将归零。

不可否认,上述 5 个项目近期的表现确实差强人意,尤其是 ETH 更是被媒体和专业人士做空即将归零。但是像以太坊、比特币现金、达世币、量子链等已经成型的项目,他们已经产生了相应的社会价值,理论上很难归零。

这里就不得不开始怀疑人工智能到底能不能做投资分析和判断,他们的决策真的有可信度吗?


人工智能到底行不行?


2017 年,全球第一支应用人工智能进行投资的 ETF 基金 AIEQ 开始运作。这只基金的经理是一个跑在 IBM Watson 超级计算机上「人工智能」,它可以一年 365 天、一天 24 小时不间断地对 6000 支股票进行分析和交易。

在许多人眼里,人工智能速度更快、判断更准,而且相比于传统的纯人工投资,可以对更多的投资标的做出操作。原先需要人工大量时间做出的投资决定,人工智能只需要几秒钟。在上线的前两天,这只人工智能投资基金轻轻松松地就跑赢了大盘,看上去人工智能好像即将实现惊天逆转,让不少基金经理、交易员和分析师开始担心自己饭碗不保。

然而一个月之后,AIEQ 累积跌了 3.27%,而同期美国标普 500 指数却上涨了 1.06%。在那波牛市里,投资者随便买一只股票都比 AIEQ 赚的多。但是在美股今年的利好下,AIEQ 又开始了漂亮转身的操作,标准普尔 500 指数今年回报约为 8%,而 AIEQ 的回报已经达到了 12%,后者的投资者可以获得 4% 的超额收益。

除了美国之外,中国的不少机构也在涉足人工智能投资顾问业务,比如招商银行的摩羯智投、工商银行的 AI 投、宜信投米 RA、理财魔法、璇玑等。根据《轻金融》统计,只有璇玑的投资收益是正的,其他四家的智能投顾都是负数。但是对比沪深 300 指数同期 10% 跌幅的话,剩下的四家表现其实也不算差。

250ca9bdd35ef4f60eb3eb63f8893732.jpg


风险分析师陆晨在一财的采访中表示,现在「很多的 AI」是回溯历史大数据的统计方法,统计的黑匣子胃口食量很大,要喂给它大量的历史数据才能对未来有非常局限的预测。同时这个预测是很固定静态的,根据这个预测再针对未来设定相应的解决方式,要面对未来的不确定性。然而,市场是瞬息万变的,时间又不停息,原有的固定起点变成了历史。

虽然上市公司会主动披露很多数据,而且隐藏在数据背后的很多信息是人工智能无法分析出来的。比如虽然披露了员工数量,但是员工的状态需要现场考察才能确定;虽然财报上展示了业务数据,但也有可能出现绿诺科技这种只有亲自去现场才能发现其造假。诸如此类的问题,人工智能虽然可以预测,但是其预测结果并不准确。

再回到本文的人工智能分析币价上,从这个网站给出的数据中的大量偏差就可以看出,数字加密货币市场几乎无法做出预测。这与数字加密货币市场的混乱现状有很大关系,也与参与分析的人工智能其智能程度也有很大的关系。

人工智能肯定是不知道庄家会在什么时候拉盘的。


文| 0x2 

吴忌寒:未来十年区块链技术发展的8条主线

观点8btc 发表了文章 • 2018-09-11 15:26 • 来自相关话题

今天上午,在2018第四届区块链全球峰会上,比特大陆创始人吴忌寒讲到了未来十年的区块链技术发展的8条主线。本文根据吴忌寒现场演讲整理,内容有删减。


大家好。2008年,中本聪发布白皮书,区块链诞生,到今年已经第十年了。我在很早的时候就开始接触区块链,之后将所有积蓄都投入到里面。今天我想跟大家分享,未来区块链的十年的一些重要的技术课题。


第一条:隐私和安全问题。


首先,金融是区块链技术的第一大应用,隐私性和安全性是金融业务的第一大要点。在区块链技术上面,隐私性和安全性存在一个矛盾。那么,最早是UTXO和账户模型,它在系统安全性上有明显的优势的,因为它所有的交易记录,都是记录在链上,货币有没有被蒸发,或者说交易有没有出现明显的漏洞,那么所有的人对区块链的执行过程有很直观的观察。

所以呢,它是安全性更强,即便是你出了漏洞,那么你能够立即发现,系统可以迅速查出。

区块链上的交易能被实时观察到,隐私性不高。如果你是一个特别有钱的消费者,你也不希望你走进任何一个工厂或者你消费的时候,商家都对你个人资产的情况把握得特别清楚,每个人都会希望屏蔽自己。关于隐私性需求,我们过去已经做出了很多努力,未来我们怎样利用区块链去保护人的隐私和安全?未来的区块链的十年,肯定会在这对矛盾中往前发展。

如果说隐私性和安全性是一个的曲线的话,有的区块链肯定能将这个曲线外推到的最为远的位置,超越其他区块链的技术。我们也是非常期待有一些理论、框架的突破和解决这个矛盾。


第二条:技术中立性问题。


区块链是无国界的金融网络,但是,是有国界的参与者。有复杂的立法问题需要去解决。

比如说A国的一个金融产品的发行方,欺诈了另外一个国家的金融消费者,那么另外一个国家要不要对其他国家的犯罪方追究责任? 如果本国的一个区块链实施金融诈骗,欺诈了其他国家的金融消费者,这个如何解决?同时,资本跨国流动,它跟现在很多国家的制度相冲突,怎样提到全球金融市场上来?

区块链技术它本身的独立性,我相信它是很难打破的。为什么呢?因为区块链它是自由的。一个受到监管的区块链很难继续保持独立性。所以,我相信会有一个基于中立的区块链的监管机制。

最值得参考的就是互联网,在今天它也是中立的,它本身也是缺乏监管的,但是互联网从业者他们本身受到的监管越来越强,互联网的一些金融机构已经纳入到严格的立法框架中。同样,区块链发展过程中也会有一个监管框架,金融秩序的构建过程。这也会是未来十年的发展路线之一。







第三条:区块链的发展性能扩展问题。


区块链用户现在人数并不多,全网2000万人,增长曲线非常快。跟互联网过去的增长曲线相符合,我们其实可以预见,十年之内,整个区块链,用户人数可能会超过十亿人。这个用户规模的话,处理数据的性能压力需要四个数量级的提升。包括侧链和跨链、闪电网络、压缩交易的历史技术和综合采用硬件加速和平行化的软件工程技术。

首先是侧链技术与跨栏交互技术。这个技术在主链和侧链之间能够安全快速地互联,同时还能够去中心化,在理论上仍未很好地解决。这个解决方向有两个方面。一个是我们放弃去中心化的原则,用中心化来做主链和侧链之间的互联。另外一种是,理论上的突破,但是我个人对理论上的突破信心不是很大,如果将来能在这一块得到应用的话,中心化的解决方案可能是比较好的。

第二个是闪电网络。它被提出来以后,理论上是可行的,工程上也是可行的,但它的整个用户体验是有问题的。闪电网络将只会应用在machine和software上的特殊场景,它必须被包装为用户所不可感知的技术工具。凡是需要用户直接操作闪电网络的应用,它在整个经济上是不可行的,因为用户将来也不能去接受一些奇怪的系统异常现象。

第三个是对交易的历史进行压缩。交易它本身是不上链的,它只是把结果上链,它本身的交易压缩可以去提升普适性,也能够以小小的数据去记录庞大的交易历史的最终结果。但是,这种压缩交易历史的技术的是有安全隐患的,它的技能是极其困难的,如果编码或者译码在某一天被发现重大漏洞的话,可能会出现一些问题。

第四个是综合采用硬件加速和平行化的软件工程技术。这个在我看来是特别切实可行的。如果将来区块链更改它一些技术层面的架构,它的将来网络处理压力增大,它的软件网络架构不需要做大幅度的更改,只需要让运维线性增加硬件服务器即可,扩容就很容易实现。

这在我看来是最为切实可行的道路。如果将来区块链软件更改它的一些现有的几个架构,随着网络处理压力的增加,对于整个软件架构不需要做大幅度的更改,只需要平行、线性增加一点服务器即可,整个扩容在理论上就实现的。我们不应该相信市面上普遍存在的谎言,很多是为了吸引用户搞出来的噱头。比如在声称在自己的PC机上、服务器上,可以实现每秒百万级的TPS,这在专业人士听起来是非常可笑的事情。我们切实的工作方向,应该是在自己的软件架构修改为可以在一个T级别或者数百GB级别的区块上,它能够在简单平行增加服务器的情况下去处理交易,我觉得在软件架构上的努力,是一个实现的重要目标。当然这个目标现在是没有实现了绝大多数的区块链项目,它们现在基本上都是为单台服务器准备的,它们并没有为长期的平行化、并行化去做好最底层的架构设计。


第四,扩展区块链应用场景的专门技术。


区块链如何跟现实世界进行交互呢?大概有两个方向。 (一),需要现实世界的重要事件在区块链上面得到忠实的记录,比如有的企业发展食品溯源的区块链。 (二),希望区块链上的虚拟事件去驱动现实世界的物质产生变化。比如去中心化的Airbnb,去中心化的Airbnb就是你在区块链上订购了一个房间,当你走在房间的面前,锁认得你,因为它从区块链上租到了有关信息,你订了房间的一晚,它会自动为你打开。这是区块链上的虚拟事件,在驱动现实物质世界的变化。这个方向综合起来,就是所谓的区块链技术如何落地的问题。

但所有的落地尝试,以及这一波的项目,我认为几乎绝大多数都会失败,它们真正的机会窗口在未来可见的几年中都不会到来。但我相信在未来十年快要结束的时候,会看到一些有趣的项目开始出现。因为这样的一种特定的应用场景,所谓的落地技术,它都是涉及基础设施。就好像在流媒体的这一类创业活动,在互联网带宽真正发展起来之前,不可能出来巨头。在手机GPS应用出现之前,也不可能出现网约车或者货拉拉这种激动人心的互联网创业项目。区块链与现实世界的交互逻辑,现在依然缺乏必要的基础设施。

这样的基础设施和相应的区块链现实世界实现双向互联,肯定要受特定应用场景的驱动,这是鸡生蛋还是蛋生鸡的问题。如果你与现实世界的互动,如果现实世界偏虚拟一些,可能会更加容易。比方说一个流媒体的版权市场,在现在看来是高度可行的。因为它是一种数字资产版权的购买,它能够构建的基础设施所需要的成本是比较低的。







第五,区块链上的密码学算法的安全性。


我们期待在第二个十年快要结束的时候,量子计算机开始区域成熟。在区块链领域里面,现在所应用的密码学算法,再过一时间之后,可能在第二个十年快要结束的时候,会面临升级的压力。我想提醒的是,如果过早投入到抗量子密码学算法的研究,并付诸实施,这是一种不理性的行为。它更早是一种用于营销的噱头,因为现在这种压力并不大。而且你需要选定的量子抗泄密密码学算法,最好也是通用的。


第六,区块链的身份问题。


中本聪最早设计的公私钥系统,其实私钥就是区块链上的身份,它带来的技术门槛很高,就是私钥的情况非常普遍。如果我们把公私钥的体系,转化为抽象身份的问题,我相信在接下来的十年当中,区块链如何综合性的采用各种身份认证技术,来帮助大家使用区块链,这会是一个非常重要的问题。为什么一定是依靠,且紧紧依靠私钥来确定区块链使用者在区块链上的身份呢?像BCH最近准备要去激活的OP-code(音),就为链外的权威相对中心化的身份认证打开了大门。它有可能和链上的私钥本身,和最早最原始、最原始的公私钥本身构建一个综合的身份体系。这样的身份体系,为未来用户的大规模应用大开大门。不然凡是涉及到私钥的保管,区块链的应用无法像普罗大众进行普及。不可能想象这个世界有10亿人,懂得保管私钥的技术。


第七,智能合约更强、降低开发难度。


智能合约是一种具有独立的计算机程序,一段程序如果被部署在以太坊,这个程序的运转行就具有超越程序创立者的独立性。智能合约它能够去解决交易各方对中央诚信度的担心,它可以去扮演一个绝对公正无私的角色。虽然智能合约承载的希望很多,但是现在独立性程序做的事情还是非常少的。智能合约它如何变得更强大,一定未来十年我们所关注的重点方向。它就算计算机技术在早期发展,受到硬件性能和软件编程开发环境的影响一样,智能合约目前也是如此。中心化的程序开发环境,目前依然是具有压倒性的程序的。去中心化智能合约开发难度大、收益比较低,而且智能合约爆出漏洞的事件不断发生。未来开发环境会不断趋于成熟,有更多的开发者参与,开发成本会进一步降低。开发成本的降低,会刺激更多的应用诞生。


第八,人工智能加区块链。


人工智能加区块链,也是未来一个重要的课题。因为人工智能的程序它的算法非常适合放在区块链上面,成为一种独立的存在。同时人工智能它最重要的驱动是数据,数据可以帮助人工智能算法得到很好的训练。数据的各方需要保密,这种矛盾点有可能用区块链来解决。同时强大的人工智能程序,它可能凌驾于系统的所有参与者之上。这也是将来一种可行的解决方案,就是人工智能本身是可以被部署在区块链上面,人工智能不再被拥有或者属于任何一个单一的系统参与者。它可以获得一个更好的公信力和权威性,如果有单一的企业掌握了特别多的数据,同时拥有了强大的人工智能,对于社会的公平性挑战将是巨大的。(汤霞玲) 查看全部
201809110601289263.jpg


今天上午,在2018第四届区块链全球峰会上,比特大陆创始人吴忌寒讲到了未来十年的区块链技术发展的8条主线。本文根据吴忌寒现场演讲整理,内容有删减。



大家好。2008年,中本聪发布白皮书,区块链诞生,到今年已经第十年了。我在很早的时候就开始接触区块链,之后将所有积蓄都投入到里面。今天我想跟大家分享,未来区块链的十年的一些重要的技术课题。


第一条:隐私和安全问题。


首先,金融是区块链技术的第一大应用,隐私性和安全性是金融业务的第一大要点。在区块链技术上面,隐私性和安全性存在一个矛盾。那么,最早是UTXO和账户模型,它在系统安全性上有明显的优势的,因为它所有的交易记录,都是记录在链上,货币有没有被蒸发,或者说交易有没有出现明显的漏洞,那么所有的人对区块链的执行过程有很直观的观察。

所以呢,它是安全性更强,即便是你出了漏洞,那么你能够立即发现,系统可以迅速查出。

区块链上的交易能被实时观察到,隐私性不高。如果你是一个特别有钱的消费者,你也不希望你走进任何一个工厂或者你消费的时候,商家都对你个人资产的情况把握得特别清楚,每个人都会希望屏蔽自己。关于隐私性需求,我们过去已经做出了很多努力,未来我们怎样利用区块链去保护人的隐私和安全?未来的区块链的十年,肯定会在这对矛盾中往前发展。

如果说隐私性和安全性是一个的曲线的话,有的区块链肯定能将这个曲线外推到的最为远的位置,超越其他区块链的技术。我们也是非常期待有一些理论、框架的突破和解决这个矛盾。


第二条:技术中立性问题。


区块链是无国界的金融网络,但是,是有国界的参与者。有复杂的立法问题需要去解决。

比如说A国的一个金融产品的发行方,欺诈了另外一个国家的金融消费者,那么另外一个国家要不要对其他国家的犯罪方追究责任? 如果本国的一个区块链实施金融诈骗,欺诈了其他国家的金融消费者,这个如何解决?同时,资本跨国流动,它跟现在很多国家的制度相冲突,怎样提到全球金融市场上来?

区块链技术它本身的独立性,我相信它是很难打破的。为什么呢?因为区块链它是自由的。一个受到监管的区块链很难继续保持独立性。所以,我相信会有一个基于中立的区块链的监管机制。

最值得参考的就是互联网,在今天它也是中立的,它本身也是缺乏监管的,但是互联网从业者他们本身受到的监管越来越强,互联网的一些金融机构已经纳入到严格的立法框架中。同样,区块链发展过程中也会有一个监管框架,金融秩序的构建过程。这也会是未来十年的发展路线之一。

201809110605439664.jpg



第三条:区块链的发展性能扩展问题。


区块链用户现在人数并不多,全网2000万人,增长曲线非常快。跟互联网过去的增长曲线相符合,我们其实可以预见,十年之内,整个区块链,用户人数可能会超过十亿人。这个用户规模的话,处理数据的性能压力需要四个数量级的提升。包括侧链和跨链、闪电网络、压缩交易的历史技术和综合采用硬件加速和平行化的软件工程技术。

首先是侧链技术与跨栏交互技术。这个技术在主链和侧链之间能够安全快速地互联,同时还能够去中心化,在理论上仍未很好地解决。这个解决方向有两个方面。一个是我们放弃去中心化的原则,用中心化来做主链和侧链之间的互联。另外一种是,理论上的突破,但是我个人对理论上的突破信心不是很大,如果将来能在这一块得到应用的话,中心化的解决方案可能是比较好的。

第二个是闪电网络。它被提出来以后,理论上是可行的,工程上也是可行的,但它的整个用户体验是有问题的。闪电网络将只会应用在machine和software上的特殊场景,它必须被包装为用户所不可感知的技术工具。凡是需要用户直接操作闪电网络的应用,它在整个经济上是不可行的,因为用户将来也不能去接受一些奇怪的系统异常现象。

第三个是对交易的历史进行压缩。交易它本身是不上链的,它只是把结果上链,它本身的交易压缩可以去提升普适性,也能够以小小的数据去记录庞大的交易历史的最终结果。但是,这种压缩交易历史的技术的是有安全隐患的,它的技能是极其困难的,如果编码或者译码在某一天被发现重大漏洞的话,可能会出现一些问题。

第四个是综合采用硬件加速和平行化的软件工程技术。这个在我看来是特别切实可行的。如果将来区块链更改它一些技术层面的架构,它的将来网络处理压力增大,它的软件网络架构不需要做大幅度的更改,只需要让运维线性增加硬件服务器即可,扩容就很容易实现。

这在我看来是最为切实可行的道路。如果将来区块链软件更改它的一些现有的几个架构,随着网络处理压力的增加,对于整个软件架构不需要做大幅度的更改,只需要平行、线性增加一点服务器即可,整个扩容在理论上就实现的。我们不应该相信市面上普遍存在的谎言,很多是为了吸引用户搞出来的噱头。比如在声称在自己的PC机上、服务器上,可以实现每秒百万级的TPS,这在专业人士听起来是非常可笑的事情。我们切实的工作方向,应该是在自己的软件架构修改为可以在一个T级别或者数百GB级别的区块上,它能够在简单平行增加服务器的情况下去处理交易,我觉得在软件架构上的努力,是一个实现的重要目标。当然这个目标现在是没有实现了绝大多数的区块链项目,它们现在基本上都是为单台服务器准备的,它们并没有为长期的平行化、并行化去做好最底层的架构设计。


第四,扩展区块链应用场景的专门技术。


区块链如何跟现实世界进行交互呢?大概有两个方向。 (一),需要现实世界的重要事件在区块链上面得到忠实的记录,比如有的企业发展食品溯源的区块链。 (二),希望区块链上的虚拟事件去驱动现实世界的物质产生变化。比如去中心化的Airbnb,去中心化的Airbnb就是你在区块链上订购了一个房间,当你走在房间的面前,锁认得你,因为它从区块链上租到了有关信息,你订了房间的一晚,它会自动为你打开。这是区块链上的虚拟事件,在驱动现实物质世界的变化。这个方向综合起来,就是所谓的区块链技术如何落地的问题。

但所有的落地尝试,以及这一波的项目,我认为几乎绝大多数都会失败,它们真正的机会窗口在未来可见的几年中都不会到来。但我相信在未来十年快要结束的时候,会看到一些有趣的项目开始出现。因为这样的一种特定的应用场景,所谓的落地技术,它都是涉及基础设施。就好像在流媒体的这一类创业活动,在互联网带宽真正发展起来之前,不可能出来巨头。在手机GPS应用出现之前,也不可能出现网约车或者货拉拉这种激动人心的互联网创业项目。区块链与现实世界的交互逻辑,现在依然缺乏必要的基础设施。

这样的基础设施和相应的区块链现实世界实现双向互联,肯定要受特定应用场景的驱动,这是鸡生蛋还是蛋生鸡的问题。如果你与现实世界的互动,如果现实世界偏虚拟一些,可能会更加容易。比方说一个流媒体的版权市场,在现在看来是高度可行的。因为它是一种数字资产版权的购买,它能够构建的基础设施所需要的成本是比较低的。

201809110602002418.jpg



第五,区块链上的密码学算法的安全性。


我们期待在第二个十年快要结束的时候,量子计算机开始区域成熟。在区块链领域里面,现在所应用的密码学算法,再过一时间之后,可能在第二个十年快要结束的时候,会面临升级的压力。我想提醒的是,如果过早投入到抗量子密码学算法的研究,并付诸实施,这是一种不理性的行为。它更早是一种用于营销的噱头,因为现在这种压力并不大。而且你需要选定的量子抗泄密密码学算法,最好也是通用的。


第六,区块链的身份问题。


中本聪最早设计的公私钥系统,其实私钥就是区块链上的身份,它带来的技术门槛很高,就是私钥的情况非常普遍。如果我们把公私钥的体系,转化为抽象身份的问题,我相信在接下来的十年当中,区块链如何综合性的采用各种身份认证技术,来帮助大家使用区块链,这会是一个非常重要的问题。为什么一定是依靠,且紧紧依靠私钥来确定区块链使用者在区块链上的身份呢?像BCH最近准备要去激活的OP-code(音),就为链外的权威相对中心化的身份认证打开了大门。它有可能和链上的私钥本身,和最早最原始、最原始的公私钥本身构建一个综合的身份体系。这样的身份体系,为未来用户的大规模应用大开大门。不然凡是涉及到私钥的保管,区块链的应用无法像普罗大众进行普及。不可能想象这个世界有10亿人,懂得保管私钥的技术。


第七,智能合约更强、降低开发难度。


智能合约是一种具有独立的计算机程序,一段程序如果被部署在以太坊,这个程序的运转行就具有超越程序创立者的独立性。智能合约它能够去解决交易各方对中央诚信度的担心,它可以去扮演一个绝对公正无私的角色。虽然智能合约承载的希望很多,但是现在独立性程序做的事情还是非常少的。智能合约它如何变得更强大,一定未来十年我们所关注的重点方向。它就算计算机技术在早期发展,受到硬件性能和软件编程开发环境的影响一样,智能合约目前也是如此。中心化的程序开发环境,目前依然是具有压倒性的程序的。去中心化智能合约开发难度大、收益比较低,而且智能合约爆出漏洞的事件不断发生。未来开发环境会不断趋于成熟,有更多的开发者参与,开发成本会进一步降低。开发成本的降低,会刺激更多的应用诞生。


第八,人工智能加区块链。


人工智能加区块链,也是未来一个重要的课题。因为人工智能的程序它的算法非常适合放在区块链上面,成为一种独立的存在。同时人工智能它最重要的驱动是数据,数据可以帮助人工智能算法得到很好的训练。数据的各方需要保密,这种矛盾点有可能用区块链来解决。同时强大的人工智能程序,它可能凌驾于系统的所有参与者之上。这也是将来一种可行的解决方案,就是人工智能本身是可以被部署在区块链上面,人工智能不再被拥有或者属于任何一个单一的系统参与者。它可以获得一个更好的公信力和权威性,如果有单一的企业掌握了特别多的数据,同时拥有了强大的人工智能,对于社会的公平性挑战将是巨大的。(汤霞玲)

Gartner:区块链列入2020年十大战略技术趋势,对抗deepfake成亮点之一

观点8btc 发表了文章 • 2019-10-24 16:51 • 来自相关话题

近日,知名咨询公司Gartner在美国奥兰多举行的Gartner研讨会上发布了2020年十大战略技术趋势,其中包括了实用区块链(Practical Blockchain),Gartner指出,区块链可用于建立信任、提供透明度、实现跨业务生态系统的价值交换、降低成本、减少交易时间并改善现金流等,另外区块链资产可用于追溯来源,大大减少了假货替换的机会,其还在身份管理等行业具有应用潜力。

另外,Gartner副总裁兼研究员Daryl Plummer还在这次研讨会上对区块链行业在2020年及以后进行了预测,他表示:

    "两年内,至少有10家主要新闻机构将使用区块链技术对抗deepfake视频操纵。而到2023年,全球近30%的新闻和视频内容将通过区块链认证。"


而所谓deepfake,是指使用人工智能技术来制作视频内容,它可以实现以假乱真的效果,使得人们无法通过肉眼分辨真伪。

从今年开始,deepfake视频技术逐渐被大众认识,在Facebook拒绝删除众议院议长南希·佩洛西(Nancy Pelosi) 6月份喝醉的deepfake视频后,Facebook旗下的Instagram上又出现了一段“Facebook CEO 马克·扎克伯格(Mark Zuckerberg)”的恶搞视频,视频中“小扎”讲道:“让我们快速地想象一下,一个人,手握偷窃来的数十亿人的隐私信息,包括他们的所有秘密、生活和未来等等……我将其归功于幽灵(Spectre),幽灵告诉我,谁掌握了数据,谁就掌控着未来。”

Plummer指出,机器人控制的社交媒体账户以及假新闻,吸引了比真实新闻更多的观众,这无疑是让人感到恐惧的,其表示:

    “为此,IT组织必须与内容生产团队合作,使用区块链技术建立和跟踪企业生成内容的来源。”


这不仅会涉及到政治问题,想象一下,一段老鼠deepfake视频将对连锁店市场造成怎样的损害?2014年,纽约邓肯甜甜圈专营店的一段真实老鼠视频登上了各大媒体头条,之后这家商店迅速被关闭,其店主还遭到了起诉。

此外,deepfake对女性群体的威胁更大,相关伪造视频中,有超过90%以上涉及到了色情。

除了deepfake,Gartner认为区块链还将在支付领域带来变革。

尽管Facebook的Libra稳定币项目遭遇了大麻烦,但据Plummer预测,到2020年底,主要的在线市场和社交媒体平台将开始支持加密货币支付。

Plummer补充道,到2025年,世界上一半的穷人将使用全球数字平台提供的加密货币账户服务。

Gartner公司的另一位副总裁Brian Burke则告诉与会者称,区块链具有重塑各行业的潜力。

他表示:

    “通过建立信任、提供透明度和实现跨业务生态系统的价值交换,潜在地降低成本、减少交易结算时间和改善现金流,区块链将做到这一点。”


今年早些时候,Gartner预测称,到2021年,现有90%的企业区块链平台将被取代,该公司还表示,到2025年,区块链带来的业务增值预计将增长到1760亿美元,而到2030年,这一数字将提升到3.1万亿美元。


原文:https://www.gartner.com/en/newsroom/press-releases/2019-22-10-gartner-unveils-top-predictions-for-it-organizations-and-users-in-2020-and-beyond
https://www.gartner.com/en/newsroom/press-releases/2019-10-21-gartner-identifies-the-top-10-strategic-technology-trends-for-2020
编译:隔夜的粥 查看全部
deepfake.jpg


近日,知名咨询公司Gartner在美国奥兰多举行的Gartner研讨会上发布了2020年十大战略技术趋势,其中包括了实用区块链(Practical Blockchain),Gartner指出,区块链可用于建立信任、提供透明度、实现跨业务生态系统的价值交换、降低成本、减少交易时间并改善现金流等,另外区块链资产可用于追溯来源,大大减少了假货替换的机会,其还在身份管理等行业具有应用潜力。

另外,Gartner副总裁兼研究员Daryl Plummer还在这次研讨会上对区块链行业在2020年及以后进行了预测,他表示:


    "两年内,至少有10家主要新闻机构将使用区块链技术对抗deepfake视频操纵。而到2023年,全球近30%的新闻和视频内容将通过区块链认证。"



而所谓deepfake,是指使用人工智能技术来制作视频内容,它可以实现以假乱真的效果,使得人们无法通过肉眼分辨真伪。

从今年开始,deepfake视频技术逐渐被大众认识,在Facebook拒绝删除众议院议长南希·佩洛西(Nancy Pelosi) 6月份喝醉的deepfake视频后,Facebook旗下的Instagram上又出现了一段“Facebook CEO 马克·扎克伯格(Mark Zuckerberg)”的恶搞视频,视频中“小扎”讲道:“让我们快速地想象一下,一个人,手握偷窃来的数十亿人的隐私信息,包括他们的所有秘密、生活和未来等等……我将其归功于幽灵(Spectre),幽灵告诉我,谁掌握了数据,谁就掌控着未来。”

Plummer指出,机器人控制的社交媒体账户以及假新闻,吸引了比真实新闻更多的观众,这无疑是让人感到恐惧的,其表示:


    “为此,IT组织必须与内容生产团队合作,使用区块链技术建立和跟踪企业生成内容的来源。”



这不仅会涉及到政治问题,想象一下,一段老鼠deepfake视频将对连锁店市场造成怎样的损害?2014年,纽约邓肯甜甜圈专营店的一段真实老鼠视频登上了各大媒体头条,之后这家商店迅速被关闭,其店主还遭到了起诉。

此外,deepfake对女性群体的威胁更大,相关伪造视频中,有超过90%以上涉及到了色情。

除了deepfake,Gartner认为区块链还将在支付领域带来变革。

尽管Facebook的Libra稳定币项目遭遇了大麻烦,但据Plummer预测,到2020年底,主要的在线市场和社交媒体平台将开始支持加密货币支付。

Plummer补充道,到2025年,世界上一半的穷人将使用全球数字平台提供的加密货币账户服务。

Gartner公司的另一位副总裁Brian Burke则告诉与会者称,区块链具有重塑各行业的潜力。

他表示:


    “通过建立信任、提供透明度和实现跨业务生态系统的价值交换,潜在地降低成本、减少交易结算时间和改善现金流,区块链将做到这一点。”



今年早些时候,Gartner预测称,到2021年,现有90%的企业区块链平台将被取代,该公司还表示,到2025年,区块链带来的业务增值预计将增长到1760亿美元,而到2030年,这一数字将提升到3.1万亿美元。


原文:https://www.gartner.com/en/newsroom/press-releases/2019-22-10-gartner-unveils-top-predictions-for-it-organizations-and-users-in-2020-and-beyond
https://www.gartner.com/en/newsroom/press-releases/2019-10-21-gartner-identifies-the-top-10-strategic-technology-trends-for-2020
编译:隔夜的粥

回报率850%? 这个用Python优化的比特币交易机器人简直太烧脑了...

攻略blockchaincamp 发表了文章 • 2019-06-13 12:42 • 来自相关话题

上个月,AI 工程师 Adam King 结合人工智能在预测方面得天独厚的优势,提出使用深度强化学习构建加密货币自动交易的程序。在展示模型中,程序的收益率竟达到了惊人的 60 倍(只讨论技术,无关投资建议)。

但在当时,这个展示模型略显粗糙。虽然能获得收益,但它并不稳定。使用它可能让你赚得盆满钵盈,也有可能让你赔得一无所有,颇有些“富贵险中求”的意味。

不稳定的问题一直困扰着 Adam 小哥,经过一个月的蛰伏,小哥提出将特征工程和贝叶斯优化两大杀器引入模型。这些改进会奏效么?收益率又能提升多少呢?一起来看看 Adam 小哥的最新力作吧!



在上一篇文章中(《60倍回报! AI工程师用OpenAI创建了一个比特币自动交易工具》),我们使用深度强化学习创建了一个可以赚钱的比特币自动交易智能体。虽然这个智能体能够做到自动交易比特币获得收益,但它的收益率并没有让人眼前一亮,今天我们会大幅度改进这个比特币交易智能体,从而提高它的收益率。

需要注意的是,本篇文章的目的是测试当下最先进的深度强化学习技术是否能与区块链相结合,创造出一个可以盈利的比特币自动交易智能体。目前看来业界都还没有意识到深度强化学习在自动交易方面强大的潜力,反而认为它并不是一个“能用来构建交易算法的工具”。不过,深度学习领域的最新进展已经表明,在同一个问题上强化学习智能体通常能够比普通的监督学习智能体学习到更多的特征。

出于这个原因,我做了相关的实验来探究基于深度强化学习的交易智能体究竟能达到怎样的收益率,当然了,结果也可能会是深度强化学习有着很强的局限性以至于并不适合做交易智能体,但不去尝试谁又知道结果如何呢?

首先,我们将会改进深度强化学习模型的策略网络( policy network )并使输入数据变得平稳,以便交易智能体能在很少的数据中学习到更多的特征。

接下来,我们将使用当下先进的特征工程方法来改善交易智能体的观察空间,同时微调交易智能体的奖励函数( reward function )以帮助它发现更好的交易策略。

最后,在训练并测试交易智能体获得的收益率之前,我们将使用贝叶斯优化的方法来寻找能最大化收益率的超参数。

前方高能,系好安全带,让我们开始这场干货满满的探索之旅吧。


关于深度强化学习模型的改进


在上一篇文章中,我们已经实现了深度强化学习模型的基本功能,

GitHub 地址:

https://github.com/notadamking/Bitcoin-Trader-RL

当务之急是提高深度强化学习智能体的盈利能力,换句话说就是要对模型进行一些改进。


循环神经网络(Recurrent Neural Network,RNN)

我们需要做的第一个改进就是使用循环神经网络来改进策略网络,也就是说,使用长短期记忆网络( Long Short-Term Memory ,LSTM )网络代替之前使用的多层感知机( Multi-Layer Perceptron,MLP )网络。由于循环神经网络随着时间的推移可以一直保持内部状态,因此我们不再需要滑动“回顾窗口“来捕捉价格变动之前的行为,循环神经网络的循环本质可以在运行时自动捕捉这些行为。在每个时间步长中,输入数据集中的新一个数据与上一个时间步长的输出会被一起输入到循环神经网络中。

因而长短期记忆网络可以一直维持一个内部状态。在每个时间步长中,智能体会新记住一些新的数据关系,也会忘掉一些之前的数据关系,这个内部状态也就会随之更新。





循环神经网络会接收上一个时间步长的输出





循环神经网络如何处理上一个时间步长的输出与这一个时间步长的输入





长短期记忆网络实现代码 LSTM_model.py


介于循环神经网络对于内部状态得天独厚的优势,在这里,我们使用长短期记忆网络策略更新了近端策略优化 PPO2 模型。


数据平稳性

在上一篇文章中我曾指出比特币交易的数据是非平稳的(Non-Stationary,即存在一些趋势,而不能仅仅看作是随机的波动),因此,任何机器学习模型都难以预测未来。

    平稳时间序列是平均值,方差和自相关系数(与其自身的滞后相关)都恒定的时间序列。


而且,加密货币价格的时间序列有着很明显的趋势和季节效应(季节效应是指与季节相关联的股市非正常收益,是股市中的一种“异像”,是与市场有效性相悖的情况),这两者都会影响算法对时间序列预测的准确率,所以在这里,我们需要使用差分和变换的方法来处理输入数据,从现有的时间序列中构建一个正常的数据分布来解决这个问题。

从原理上来说,差分过程就是给任意两个时间步长内加密货币币价的导数(即收益率)做差值。在理想情况下,这样做可以消除输入时间序列中存在的趋势,但是,差分处理对季节效应并不奏效,处理后的数据仍然具有很强的季节效应。这就需要我们在差分处理之前进行对数处理来消除它,经过这样的处理最终我们会得到平稳的输入时间序列,如下方右图所示。





从左到右分别为:加密货币的收盘价,差分处理后的收盘价,对数处理和差分处理后的收盘价





对数处理和差分处理的代码 diff_and_log_time_series.py


处理后的输入时间序列平稳性如何,我们可以使用增广迪基-福勒检验( Augmented Dickey-Fuller test )验证一下。

运行以下代码:





增广迪基-福勒检验的代码 adfuller_test.py


我们得到的 p 值为 0.00 ,这意味着我们拒绝假设检验中的零假设并确认处理后的输入时间序列是平稳的。

我们可以运行上面的增广迪基-福勒检验代码来检验输入时间序列的平稳性。

在完成了这项工作之后,接下来我们将使用特征工程的方法进一步优化交易智能体的观察空间。


特征工程


为了进一步提升交易智能体的收益率,我们需要做一些特征工程。

    特征工程是使用该领域知识来生成额外的输入数据从而优化机器学习模型的过程。


具体到交易智能体,我们将在输入数据集中添加一些常见且有效的技术指标,以及 Python 数据分析程序库 StatsModels 中季节效应预测模型 SARIMAX 的输出。这些技术指标会为我们的输入数据集带来一些相关的,但可能会滞后的信息,这些信息能大大提升交易智能体预测的准确性。这些优化方法的组合可以为交易智能体提供一个非常好的观察空间,让智能体学习到更多的特征,从而获得更多的收益。


技术分析


为了选择技术指标,我们将比较 Python 技术分析库 ta 中可用的所有 32 个指标( 58 个特征)的相关性。可以使用数据分析工具 pandas 来计算相同类型的各个指标(如动量,体积,趋势,波动率)之间的相关性,然后在每种类型中仅选择最不相关的指标作为特征。这样,就可以在不给观察空间带来过多噪音干扰的情况下,最大程度地发掘这些技术指标的价值。





使用 Python 高级可视化库 seaborn 做出的比特币数据集上技术指标相关性的热力图


结果显示,波动率指标以及一些动量指标都是高度相关的。在删除所有重复的特征(每个类型中相关性的绝对平均值大于 0.5 的特征)之后,我们将剩余的 38 个技术特征添加到交易智能体的观察空间中。

在代码中,我们需要创建一个名为 add_indicators(添加指标)的函数来将这些特征添加到数据帧中,为了避免在每个时间步长中重复计算这些特征,我们只在交易智能体环境初始化的过程中调用 add_indicators 函数。





交易智能体环境初始化的代码 initialize_env.py


在这里,初始化交易智能体环境,在进行数据平稳性处理之前将特征添加到了数据帧中。


统计分析


接下来我们需要添加预测模型。

由于季节效应自回归移动平均模型(Seasonal Auto Regressive Integrated Moving Average,SARIMA)可以在每个时间步长中快速计算价格的预测值,在平稳数据集中运算非常准确,因此我们使用它来进行加密货币币价预测。

除了上述这些优点之外,该模型实现起来非常简单,它还可以给出预测值的置信区间,通常情况下这比单独给出一个预测值能提供更多的信息。就比如说,当置信区间较小时,交易智能体就会更相信这个预测值的准确性,当置信区间很大时交易智能体就知道要承担更大的风险。





加入 SARIMA 预测模型的代码 add_sarimax_predictions.py


这里我们将 SARIMAX 预测模型和置信区间添加到交易智能体的观察空间中。

现在我们已经使用性能更好的循环神经网络更新了策略,并使用特征工程的方法改进了交易智能体的观察空间,是时候优化其他的部分了。
 

奖励优化


有些人可能会觉得上一篇文章中的奖励函数(即奖励资产总价值不断增加)已经是最好的解决方案了,但是,通过进一步的研究我发现奖励函数还有提升的空间。虽然我们之前使用的简单奖励函数已经能够获得收益,但它给出的投资策略非常不稳定,往往会导致资产的严重损失。为了改善这一点,除了考虑利润的增加以外,我们还需要考虑其他奖励的指标。

奖励指标的一个简单改进就是,不仅仅奖励在比特币价格上涨时持有比特币带来的利润,还奖励在比特币价格下跌时抛售比特币而避免的损失。就比如说,我们可以奖励智能体买入比特币而总资产增加的行为,以及卖出比特币避免总资产减少的行为。

虽然这种奖励指标在提高收益率方面非常出色,但这样做并没有考虑到高回报带来的高风险。投资者早已发现这种简单投资策略背后存在的漏洞,并将其改进成一种风险可调节的奖励指标。


基于波动率的奖励指标

这种风险可调节的奖励指标中的典型就是夏普比率(Sharpe Ratio,又被称为夏普指数)。它计算的是特定时间段内投资组合的超额收益与波动性的比率。具体的计算公式如下:





夏普比率的计算公式:(投资组合的收益-大盘的收益)/投资组合的标准差


从公式中我们可以得出,为了保持较高的夏普比率,投资组合必须同时保证高收益和低波动性(也就是风险)。

作为一种奖励指标,夏普比率经受住了时间的考验,但它对于自动交易智能体来说并不是很完美,因为它会对上行标准差( upside volatility )产生不利影响,而在比特币交易环境中有时我们需要利用上行标准差,因为上行标准差(即比特币价格疯狂上涨)通常都是很好的机会窗口。

而使用索提诺比率( Sortino Ratio )可以很好地解决这个问题。索提诺比率与夏普比率非常相似,只是它在风险上只考虑了下行标准差,而不是整体标准差。因此,索提诺比率并不会对上行标准差产生什么不利影响。因而我们给交易智能体的第一条奖励指标就选择索提诺比率,它的计算公式如下:





索提诺比率的计算公式:(投资组合的收益-大盘的收益)/投资组合的下行标准差


其他奖励指标

我们选择 Calmar 比率作为交易智能体的第二个奖励指标。到目前为止,我们所有的奖励指标都没有考虑到比特币币价最大回撤率(drawdown)这个关键因素。

    最大回撤率是指比特币币价从价格顶峰到价格低谷之间的价值差,用来描述买入比特币后最糟糕的情况。


最大回撤率对我们的投资策略来说是致命的,因为只需一次币价突然跳水,我们长时间累积的高收益就会化为乌有。





最大回撤率


为了消除最大回撤率带来的负面影响,我们需要选用可以处理这种情况的奖励指标,就比如说选用 Calmar 比率。该比率与夏普比率类似,只是它将分母上投资组合的标准差替换为最大回撤率。





Calmar 比率的计算公式:(投资组合的收益-大盘的收益)/最大回撤率


我们最后一个奖励指标是在对冲基金行业中广泛使用的 Omega 比率。从理论上来说,在衡量风险与收益时,Omega 比率应该优于 Sortino 比率和 Calmar 比率,因为它能够在单个指标中使用收益的分布来评估风险。

计算 Omega 比率时,我们需要分别计算在特定基准之上或之下投资组合的概率分布,然后两者相除计算比率。Omega 比率越高,比特币上涨潜力超过下跌潜力的概率就越高。





Omege 比率的计算公式


Omega 比率的计算公式看起来很复杂,不过不要担心,在代码中实现它并不难。


代码实现

虽然说编写每个奖励指标的代码听起来很有意思且很有挑战性,但这里为了方便大家的理解,我选择使用 Python 量化金融程序包 empyrical 来计算它们。幸运的是,这个程序包中恰好包含了我们上面定义的三个奖励指标,因而在每个时间步长中,我们只需要将该时间段内收益和大盘收益的列表发给 Empyrical 函数,它就会返回这三个比率。





使用 empyrical 程序包计算三个奖励指标的代码 risk_adjusted_reward.py


在代码中,我们通过预先定义的奖励函数设置了每个时间步长的奖励。

到目前为止,我们已经确定了如何衡量一个交易策略的成功与否,现在是时候弄清楚哪些指标会带来较高的收益。我们需要将这些奖励函数输入到自动超参数优化软件框架 Optuna 中,然后使用贝叶斯优化来的方法为输入数据集寻找最优的超参数。


工具集


俗话说,好马配好鞍。任何一个优秀的技术人员都需要一套好用的工具,否则就会巧妇难为无米之炊。

但我并不是说我们要重复造轮子,我们应该学会使用程序员前辈用秃头的代价为我们开发的工具,这样他们的工作也算没有白费。对于我们所开发的交易智能体,它要用到的最重要的工具就是自动超参数优化软件框架 Optuna,从原理上来说,它使用了树结构的 Parzen 窗估计(Tree-structured Parzen Estimators,TPEs)来实现贝叶斯优化,而这种估计方法是可以并行化运行的,这使得我们的显卡有了用武之地,执行搜索需要的时间也会大大缩短。简而言之,

    贝叶斯优化是一种搜索超参数空间以找到能最大化给定目标函数的超参数的高效解决方案。


也就是说,贝叶斯优化能够有效地改进任何黑箱模型。从工作原理上来说,贝叶斯优化通过使用替代函数( surrogate functions )或是替代函数的分布对要优化的目标函数进行建模。随着时间的推移,算法不断地检索超参数空间以找到那些能够最大化目标函数的超参数,分布的效果也会逐渐改善。

理论说了这么多,我们要如何把这些技术应用在比特币自动交易智能体中呢?从本质上来讲,我们可以使用这种技术来找到一组最优的超参数,使得智能体的收益率最高。这个过程就像是在超参数的汪洋大海中捞取一根效果最好的针,而贝叶斯优化就是带我们找到这根针的磁铁。让我们开始吧。

使用 Optuna 优化超参数并不是什么难事。

首先,我们需要创建一个 optuna 实例,也就是装载所有超参数试验的容器。在每次试验中我们需要调整超参数的设置来计算目标函数相应的损失函数值。在实例初始化完成后,我们需要向其中传入目标函数然后调用 study.optimize() 函数开始优化,Optuna 将使用贝叶斯优化的方法来寻找能够最小化损失函数的超参数配置。





使用 Optuna 程序库贝叶斯优化的代码 optimize_with_optuna.py


在这个例子中,目标函数就是在比特币交易环境中训练并测试智能体,而目标函数的损失值则定义为测试期间智能体平均收益的相反数,之所以给收益值加上负号,是因为平均收益越高越好,而在 Optuna 看来损失函数越低越好,一个负号刚好解决这个问题。optimize 优化函数为目标函数提供了试验对象,代码中我们可以指定试验对象中的变量设置。





优化目标函数的代码 optimize_objective_fn.py


optimize_ppo2 优化智能体函数和 optimize_envs 优化智能体环境函数接收试验对象作为输入并返回包含要测试参数的字典。每个变量的搜索空间由 suggest 函数进行设置,我们需要在试验中调用 suggest 函数并给函数中传入指定的参数。

比如说,如果设置参数在对数尺度上服从均匀分布,即调用函数

trial.suggest_loguniform('n_steps',16,2048),

相当于给函数了一个 16-2048 之间的 2 的指数次方(如16,32,64,…,1024,2048)的新浮点数。

再者,如果设置参数在普通尺度上服从均匀分布,即调用函数

trial.suggest_uniform('cliprange',0.1,0.4),

相当于给函数一个 0.1 到 0.4 之间的新浮点数(如0.1,0.2,0.3,0.4)。

相信你已经看出来了其中的规律,就是这样来设置变量:

suggest_categorical('categorical',['option_one','option_two']),其中 categorical 为设置变量的策略, option_one 和 option_two 分别为变量的两个选项,在刚才的函数中这两个选项为变量的范围,弄懂了这个相信下面的代码就难不倒你了。





化交易智能体的代码 optimize_ppo2.py





优化交易环境的代码 optimize_envs.py


代码写好后,我们在一台高性能服务器上以 CPU/显卡协同运算的方式运行了优化函数。在设置中,Optuna 创建了一个 SQLite 数据库,我们可以从中加载优化的实例。该实例记录了测试过程中性能最好的一次试验,从中我们可以推算出智能体交易环境中最优的超参数集。





加载 optuna 实例的代码 load_optuna_study.py


到这里,我们已经改进了模型,改进了特征集,并优化了所有的超参数。但俗话说,是骡子是马得拉出来遛遛。

那么,交易智能体在新的奖励指标下表现如何呢?

在训练过程中,我分别使用了利润、Sortino 比率、Calmar 比率和 Omega 比率四个奖励指标来优化智能体。接下来我们需要在测试环境中检验哪种奖励指标训练出来的智能体收益最高,当然了,测试环境中的数据都是智能体在训练过程中从未见到过的比特币价格走势,这样保证了测试的公平性。


收益比较


在查看结果之前,我们需要知晓一个成功的交易策略是什么样的。出于这个原因,我们将针对一些常见且有效的比特币交易策略进行基准测试。令人震惊的是,在过去的十年中一个最有效的比特币交易策略就是买入并持有,而另外两个不错的交易策略则是使用简单但有效的技术分析来生成买入/卖出信号,从而指导交易。

1、买入并持有

这种交易策略指尽可能多地购买比特币并一直持有下去(也就是区块链社区中的江湖黑话“ HODL ”)。虽然说这种交易策略并不是特别复杂,但在过去这样做赚钱的机率很高。

2、相对强弱指数分歧(Relative Strength Index(RSI) divergence )

当相对强弱指数持续下跌且收盘价持续上涨时,这就是需要卖出的信号,而当相对强弱指数持续上涨且收盘价持续下跌时,就是需要买入的信号。

3、简单移动平均线( Simple Moving Average,SMA )交叉

当长期简单移动平均线超过短期简单移动平均线时,这就是需要卖出的信号,而当短期简单移动平均线超过长期简单移动平均线时,就是需要买入的信号。

你可能会问,为什么要做这些简单的基准测试呢?这样做是为了通过比较证明我们的强化学习交易智能体可以在比特币市场上发挥作用,如果智能体的收益连这些简单的基准收益都超不过,那么我们就相当于花费了大量的开发时间和显卡算力来进行了一场天马行空的科学实验。现在,让我们来证明事实并非如此。


实验结果


我们的数据集选用从加密货币数据网站 CryptoDataDownload 上下载的每小时收盘价位置价值( OHCLV )数据,其中前 80% 的数据用来训练智能体,后 20% 作为全新的数据进行测试,以了解智能体的收益能力。当前这种简单的交叉验证形式足以满足我们的需求,而如果这个比特币自动交易智能体真的走向生产就绪,我们就可以使用全部的数据集进行训练,然后在每天新产生的数据集上进行测试。

废话不多说,我们来看看结果。

可以看到,使用 Omega 比率作为奖励指标的智能体在测试阶段并没有让人眼前一亮的交易。





使用 Omega 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


分析智能体所进行的交易我们可以发现,很明显 Omega 比率这种奖励指标产生了过度交易(over-trade)的交易策略,以至于智能体未能抓住市场机会获得收益。

使用 Calmar 比率作为奖励指标的智能体与使用 Omega 比率作为奖励指标的智能体相比略有改进,但最终结果非常相似。看起来像是我们投入了大量的时间和精力,只是为了让事情变得更糟......





使用 Calmar 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


如果仅使用利润作为奖励指标效果如何呢?在上一篇文章中这种奖励指标被证明有点失败,这次做的所有修改和优化能否化腐朽为神奇呢?

在为期四个月的测试周期内,使用利润作为奖励指标的智能体平均收益达到账户初始金额的350%。你可能已经被这个结果吓呆了。这应该就是强化学习能达到的巅峰了吧,对吧?





使用利润作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


并不是这样的。使用 Sortino 比率作为奖励指标的智能体平均收益达到了账户初始金额的850%。当我看到这个数字时,我都不敢相信自己的眼睛,以至于我立马回去检查代码中是否存在问题。但经过彻底的检查后,很明显代码中没有任何错误,也就是说这些智能体已经知道如何进行比特币交易。





使用 Sortino 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


看起来使用 Sortino 比率作为奖励指标的智能体学习到了在最小化持有比特币风险的前提下低价买入和高价卖出的重要性,同时它们还躲过了过度交易和投资不足两大陷阱。虽然说智能体学到的具体交易策略我们不得而知,但是我们可以清楚地看到智能体已经学会通过交易比特币获得收益了。





使用 Sortino 比率作为奖励指标的智能体正在交易比特币,其中绿色的三角形表示买入信号,红色的三角形表示卖出信号


现在,我并没有被实验成功的兴奋冲昏头脑。我清楚地知道比特币自动交易智能体还远远没有达到生产就绪。话虽如此,但这些结果比我迄今为止看到的任何交易策略都要令人印象深刻。而且令人震惊的是,我们并没有告诉智能体关于加密货币市场如何运作、如何在加密货币市场上赚钱这样的先验知识,而是仅靠智能体重复地试验和试错就达到了这么好的效果,不过,这里经过了很多很多次的试验和试错。


写在最后


在本篇文章中,我们优化了基于强化学习的比特币自动交易智能体,让它在交易比特币时做出更好的决策,从而获得更多的收益!在这个过程中我们花费了大量的时间和精力,也遇到了很多的困难,我们把困难分解细化再逐个攻破,最终完成了智能体的优化,其中具体的操作步骤如下:

1、使用循环神经网络升级现有模型,即升级成使用平稳性数据的长短期记忆网络;

2、使用领域知识和统计分析进行特征工程,为智能体提供了 40 多个用来学习的新特征;

3、将投资的风险引入智能体的奖励指标,而不只是关注利润;

4、使用贝叶斯优化来寻找模型中最优的超参数;

5、使用常见的交易策略进行基准测试,以确保智能体的收益可以跑赢市场。


从理论上来说,这个高收益的交易智能体已经做得很不错了。

但是,我收到了相当多的反馈,他们声称交易智能体只是在学习拟合曲线,因此,面对生产环境中的实时数据,交易智能体永远不可能获得收益。虽然我们在不同数据集上训练/测试智能体的方法应该能够解决这个问题,但是模型确实会有过度拟合数据集的可能,并且可能不会很好地推广到实时数据。话虽这么说,但在我看来这些交易智能体学习到的远远不只是简单的曲线拟合,因此,我认为它们能够在实时交易的场景中获得收益。

为了检验这个想法,接下来的一段时间里我会把这些基于强化学习的智能体带到生产环节,为此,我们首先要更新智能体的运行环境以支持以太币、莱特币等其他加密货币,然后我们将升级智能体让它可以在加密货币交易所 Coinbase Pro 上实时交易。

这将会是一个激动人心的实验,请不要错过它。

需要强调的是,本篇文章中所有的方法和投资策略都是出于教育目的,不应被视为投资建议。我们的比特币自动交易智能体也远远没有达到实际生产层面,所以请管好自己的钱包。


参考资源:

1)基于 Python 语言和 Tensorflow 框架的循环神经网络和长短期记忆网络教程

https://adventuresinmachinelearning.com/recurrent-neural-networks-lstm-tutorial-tensorflow/

2)浅析基于 Python 语言的季节效应自回归移动平均模型预测时间序列

https://machinelearningmastery.com/sarima-for-time-series-forecasting-in-python/

3)浅析基于 Python 语言的非平稳性时间序列处理

https://www.analyticsvidhya.com/blog/2018/09/non-stationary-time-series-python/

4)超参数优化算法

https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf

5)机器学习方法在金融领域中的最新进展

https://dwz.cn/iUahVt2u


来源 | Towards Data Science 编译 | Guoxi 责编 | 乔治 出品 | 区块链大本营(Blockchain_camp) 查看全部
3D-Rendering-Robot-and-laptop-stock-exchange-trading.jpg


上个月,AI 工程师 Adam King 结合人工智能在预测方面得天独厚的优势,提出使用深度强化学习构建加密货币自动交易的程序。在展示模型中,程序的收益率竟达到了惊人的 60 倍(只讨论技术,无关投资建议)。

但在当时,这个展示模型略显粗糙。虽然能获得收益,但它并不稳定。使用它可能让你赚得盆满钵盈,也有可能让你赔得一无所有,颇有些“富贵险中求”的意味。

不稳定的问题一直困扰着 Adam 小哥,经过一个月的蛰伏,小哥提出将特征工程和贝叶斯优化两大杀器引入模型。这些改进会奏效么?收益率又能提升多少呢?一起来看看 Adam 小哥的最新力作吧!




在上一篇文章中(《60倍回报! AI工程师用OpenAI创建了一个比特币自动交易工具》),我们使用深度强化学习创建了一个可以赚钱的比特币自动交易智能体。虽然这个智能体能够做到自动交易比特币获得收益,但它的收益率并没有让人眼前一亮,今天我们会大幅度改进这个比特币交易智能体,从而提高它的收益率。

需要注意的是,本篇文章的目的是测试当下最先进的深度强化学习技术是否能与区块链相结合,创造出一个可以盈利的比特币自动交易智能体。目前看来业界都还没有意识到深度强化学习在自动交易方面强大的潜力,反而认为它并不是一个“能用来构建交易算法的工具”。不过,深度学习领域的最新进展已经表明,在同一个问题上强化学习智能体通常能够比普通的监督学习智能体学习到更多的特征。

出于这个原因,我做了相关的实验来探究基于深度强化学习的交易智能体究竟能达到怎样的收益率,当然了,结果也可能会是深度强化学习有着很强的局限性以至于并不适合做交易智能体,但不去尝试谁又知道结果如何呢?

首先,我们将会改进深度强化学习模型的策略网络( policy network )并使输入数据变得平稳,以便交易智能体能在很少的数据中学习到更多的特征。

接下来,我们将使用当下先进的特征工程方法来改善交易智能体的观察空间,同时微调交易智能体的奖励函数( reward function )以帮助它发现更好的交易策略。

最后,在训练并测试交易智能体获得的收益率之前,我们将使用贝叶斯优化的方法来寻找能最大化收益率的超参数。

前方高能,系好安全带,让我们开始这场干货满满的探索之旅吧。


关于深度强化学习模型的改进


在上一篇文章中,我们已经实现了深度强化学习模型的基本功能,

GitHub 地址:

https://github.com/notadamking/Bitcoin-Trader-RL

当务之急是提高深度强化学习智能体的盈利能力,换句话说就是要对模型进行一些改进。


循环神经网络(Recurrent Neural Network,RNN)

我们需要做的第一个改进就是使用循环神经网络来改进策略网络,也就是说,使用长短期记忆网络( Long Short-Term Memory ,LSTM )网络代替之前使用的多层感知机( Multi-Layer Perceptron,MLP )网络。由于循环神经网络随着时间的推移可以一直保持内部状态,因此我们不再需要滑动“回顾窗口“来捕捉价格变动之前的行为,循环神经网络的循环本质可以在运行时自动捕捉这些行为。在每个时间步长中,输入数据集中的新一个数据与上一个时间步长的输出会被一起输入到循环神经网络中。

因而长短期记忆网络可以一直维持一个内部状态。在每个时间步长中,智能体会新记住一些新的数据关系,也会忘掉一些之前的数据关系,这个内部状态也就会随之更新。

201906130048151683.jpg

循环神经网络会接收上一个时间步长的输出

201906130048238353.jpg

循环神经网络如何处理上一个时间步长的输出与这一个时间步长的输入

201906130048263656.jpg

长短期记忆网络实现代码 LSTM_model.py


介于循环神经网络对于内部状态得天独厚的优势,在这里,我们使用长短期记忆网络策略更新了近端策略优化 PPO2 模型。


数据平稳性

在上一篇文章中我曾指出比特币交易的数据是非平稳的(Non-Stationary,即存在一些趋势,而不能仅仅看作是随机的波动),因此,任何机器学习模型都难以预测未来。


    平稳时间序列是平均值,方差和自相关系数(与其自身的滞后相关)都恒定的时间序列。



而且,加密货币价格的时间序列有着很明显的趋势和季节效应(季节效应是指与季节相关联的股市非正常收益,是股市中的一种“异像”,是与市场有效性相悖的情况),这两者都会影响算法对时间序列预测的准确率,所以在这里,我们需要使用差分和变换的方法来处理输入数据,从现有的时间序列中构建一个正常的数据分布来解决这个问题。

从原理上来说,差分过程就是给任意两个时间步长内加密货币币价的导数(即收益率)做差值。在理想情况下,这样做可以消除输入时间序列中存在的趋势,但是,差分处理对季节效应并不奏效,处理后的数据仍然具有很强的季节效应。这就需要我们在差分处理之前进行对数处理来消除它,经过这样的处理最终我们会得到平稳的输入时间序列,如下方右图所示。

201906130048282233.jpg

从左到右分别为:加密货币的收盘价,差分处理后的收盘价,对数处理和差分处理后的收盘价

201906130050581432.jpg

对数处理和差分处理的代码 diff_and_log_time_series.py


处理后的输入时间序列平稳性如何,我们可以使用增广迪基-福勒检验( Augmented Dickey-Fuller test )验证一下。

运行以下代码:

201906130051017091.jpg

增广迪基-福勒检验的代码 adfuller_test.py


我们得到的 p 值为 0.00 ,这意味着我们拒绝假设检验中的零假设并确认处理后的输入时间序列是平稳的。

我们可以运行上面的增广迪基-福勒检验代码来检验输入时间序列的平稳性。

在完成了这项工作之后,接下来我们将使用特征工程的方法进一步优化交易智能体的观察空间。


特征工程


为了进一步提升交易智能体的收益率,我们需要做一些特征工程。


    特征工程是使用该领域知识来生成额外的输入数据从而优化机器学习模型的过程。



具体到交易智能体,我们将在输入数据集中添加一些常见且有效的技术指标,以及 Python 数据分析程序库 StatsModels 中季节效应预测模型 SARIMAX 的输出。这些技术指标会为我们的输入数据集带来一些相关的,但可能会滞后的信息,这些信息能大大提升交易智能体预测的准确性。这些优化方法的组合可以为交易智能体提供一个非常好的观察空间,让智能体学习到更多的特征,从而获得更多的收益。


技术分析


为了选择技术指标,我们将比较 Python 技术分析库 ta 中可用的所有 32 个指标( 58 个特征)的相关性。可以使用数据分析工具 pandas 来计算相同类型的各个指标(如动量,体积,趋势,波动率)之间的相关性,然后在每种类型中仅选择最不相关的指标作为特征。这样,就可以在不给观察空间带来过多噪音干扰的情况下,最大程度地发掘这些技术指标的价值。

201906130051032401.jpg

使用 Python 高级可视化库 seaborn 做出的比特币数据集上技术指标相关性的热力图


结果显示,波动率指标以及一些动量指标都是高度相关的。在删除所有重复的特征(每个类型中相关性的绝对平均值大于 0.5 的特征)之后,我们将剩余的 38 个技术特征添加到交易智能体的观察空间中。

在代码中,我们需要创建一个名为 add_indicators(添加指标)的函数来将这些特征添加到数据帧中,为了避免在每个时间步长中重复计算这些特征,我们只在交易智能体环境初始化的过程中调用 add_indicators 函数。

201906130054303259.jpg

交易智能体环境初始化的代码 initialize_env.py


在这里,初始化交易智能体环境,在进行数据平稳性处理之前将特征添加到了数据帧中。


统计分析


接下来我们需要添加预测模型。

由于季节效应自回归移动平均模型(Seasonal Auto Regressive Integrated Moving Average,SARIMA)可以在每个时间步长中快速计算价格的预测值,在平稳数据集中运算非常准确,因此我们使用它来进行加密货币币价预测。

除了上述这些优点之外,该模型实现起来非常简单,它还可以给出预测值的置信区间,通常情况下这比单独给出一个预测值能提供更多的信息。就比如说,当置信区间较小时,交易智能体就会更相信这个预测值的准确性,当置信区间很大时交易智能体就知道要承担更大的风险。

sarima.jpg

加入 SARIMA 预测模型的代码 add_sarimax_predictions.py


这里我们将 SARIMAX 预测模型和置信区间添加到交易智能体的观察空间中。

现在我们已经使用性能更好的循环神经网络更新了策略,并使用特征工程的方法改进了交易智能体的观察空间,是时候优化其他的部分了。
 

奖励优化


有些人可能会觉得上一篇文章中的奖励函数(即奖励资产总价值不断增加)已经是最好的解决方案了,但是,通过进一步的研究我发现奖励函数还有提升的空间。虽然我们之前使用的简单奖励函数已经能够获得收益,但它给出的投资策略非常不稳定,往往会导致资产的严重损失。为了改善这一点,除了考虑利润的增加以外,我们还需要考虑其他奖励的指标。

奖励指标的一个简单改进就是,不仅仅奖励在比特币价格上涨时持有比特币带来的利润,还奖励在比特币价格下跌时抛售比特币而避免的损失。就比如说,我们可以奖励智能体买入比特币而总资产增加的行为,以及卖出比特币避免总资产减少的行为。

虽然这种奖励指标在提高收益率方面非常出色,但这样做并没有考虑到高回报带来的高风险。投资者早已发现这种简单投资策略背后存在的漏洞,并将其改进成一种风险可调节的奖励指标。


基于波动率的奖励指标

这种风险可调节的奖励指标中的典型就是夏普比率(Sharpe Ratio,又被称为夏普指数)。它计算的是特定时间段内投资组合的超额收益与波动性的比率。具体的计算公式如下:

201906130054425439.jpg

夏普比率的计算公式:(投资组合的收益-大盘的收益)/投资组合的标准差


从公式中我们可以得出,为了保持较高的夏普比率,投资组合必须同时保证高收益和低波动性(也就是风险)。

作为一种奖励指标,夏普比率经受住了时间的考验,但它对于自动交易智能体来说并不是很完美,因为它会对上行标准差( upside volatility )产生不利影响,而在比特币交易环境中有时我们需要利用上行标准差,因为上行标准差(即比特币价格疯狂上涨)通常都是很好的机会窗口。

而使用索提诺比率( Sortino Ratio )可以很好地解决这个问题。索提诺比率与夏普比率非常相似,只是它在风险上只考虑了下行标准差,而不是整体标准差。因此,索提诺比率并不会对上行标准差产生什么不利影响。因而我们给交易智能体的第一条奖励指标就选择索提诺比率,它的计算公式如下:

201906130054443367-2.jpg

索提诺比率的计算公式:(投资组合的收益-大盘的收益)/投资组合的下行标准差


其他奖励指标

我们选择 Calmar 比率作为交易智能体的第二个奖励指标。到目前为止,我们所有的奖励指标都没有考虑到比特币币价最大回撤率(drawdown)这个关键因素。


    最大回撤率是指比特币币价从价格顶峰到价格低谷之间的价值差,用来描述买入比特币后最糟糕的情况。



最大回撤率对我们的投资策略来说是致命的,因为只需一次币价突然跳水,我们长时间累积的高收益就会化为乌有。

201906130054464046.jpg

最大回撤率


为了消除最大回撤率带来的负面影响,我们需要选用可以处理这种情况的奖励指标,就比如说选用 Calmar 比率。该比率与夏普比率类似,只是它将分母上投资组合的标准差替换为最大回撤率。

201906130059014313.jpg

Calmar 比率的计算公式:(投资组合的收益-大盘的收益)/最大回撤率


我们最后一个奖励指标是在对冲基金行业中广泛使用的 Omega 比率。从理论上来说,在衡量风险与收益时,Omega 比率应该优于 Sortino 比率和 Calmar 比率,因为它能够在单个指标中使用收益的分布来评估风险。

计算 Omega 比率时,我们需要分别计算在特定基准之上或之下投资组合的概率分布,然后两者相除计算比率。Omega 比率越高,比特币上涨潜力超过下跌潜力的概率就越高。

201906130059038913.jpg

Omege 比率的计算公式


Omega 比率的计算公式看起来很复杂,不过不要担心,在代码中实现它并不难。


代码实现

虽然说编写每个奖励指标的代码听起来很有意思且很有挑战性,但这里为了方便大家的理解,我选择使用 Python 量化金融程序包 empyrical 来计算它们。幸运的是,这个程序包中恰好包含了我们上面定义的三个奖励指标,因而在每个时间步长中,我们只需要将该时间段内收益和大盘收益的列表发给 Empyrical 函数,它就会返回这三个比率。

201906130059053400.jpg

使用 empyrical 程序包计算三个奖励指标的代码 risk_adjusted_reward.py


在代码中,我们通过预先定义的奖励函数设置了每个时间步长的奖励。

到目前为止,我们已经确定了如何衡量一个交易策略的成功与否,现在是时候弄清楚哪些指标会带来较高的收益。我们需要将这些奖励函数输入到自动超参数优化软件框架 Optuna 中,然后使用贝叶斯优化来的方法为输入数据集寻找最优的超参数。


工具集


俗话说,好马配好鞍。任何一个优秀的技术人员都需要一套好用的工具,否则就会巧妇难为无米之炊。

但我并不是说我们要重复造轮子,我们应该学会使用程序员前辈用秃头的代价为我们开发的工具,这样他们的工作也算没有白费。对于我们所开发的交易智能体,它要用到的最重要的工具就是自动超参数优化软件框架 Optuna,从原理上来说,它使用了树结构的 Parzen 窗估计(Tree-structured Parzen Estimators,TPEs)来实现贝叶斯优化,而这种估计方法是可以并行化运行的,这使得我们的显卡有了用武之地,执行搜索需要的时间也会大大缩短。简而言之,


    贝叶斯优化是一种搜索超参数空间以找到能最大化给定目标函数的超参数的高效解决方案。



也就是说,贝叶斯优化能够有效地改进任何黑箱模型。从工作原理上来说,贝叶斯优化通过使用替代函数( surrogate functions )或是替代函数的分布对要优化的目标函数进行建模。随着时间的推移,算法不断地检索超参数空间以找到那些能够最大化目标函数的超参数,分布的效果也会逐渐改善。

理论说了这么多,我们要如何把这些技术应用在比特币自动交易智能体中呢?从本质上来讲,我们可以使用这种技术来找到一组最优的超参数,使得智能体的收益率最高。这个过程就像是在超参数的汪洋大海中捞取一根效果最好的针,而贝叶斯优化就是带我们找到这根针的磁铁。让我们开始吧。

使用 Optuna 优化超参数并不是什么难事。

首先,我们需要创建一个 optuna 实例,也就是装载所有超参数试验的容器。在每次试验中我们需要调整超参数的设置来计算目标函数相应的损失函数值。在实例初始化完成后,我们需要向其中传入目标函数然后调用 study.optimize() 函数开始优化,Optuna 将使用贝叶斯优化的方法来寻找能够最小化损失函数的超参数配置。

201906130059078525.jpg

使用 Optuna 程序库贝叶斯优化的代码 optimize_with_optuna.py


在这个例子中,目标函数就是在比特币交易环境中训练并测试智能体,而目标函数的损失值则定义为测试期间智能体平均收益的相反数,之所以给收益值加上负号,是因为平均收益越高越好,而在 Optuna 看来损失函数越低越好,一个负号刚好解决这个问题。optimize 优化函数为目标函数提供了试验对象,代码中我们可以指定试验对象中的变量设置。

201906130104218908.jpg

优化目标函数的代码 optimize_objective_fn.py


optimize_ppo2 优化智能体函数和 optimize_envs 优化智能体环境函数接收试验对象作为输入并返回包含要测试参数的字典。每个变量的搜索空间由 suggest 函数进行设置,我们需要在试验中调用 suggest 函数并给函数中传入指定的参数。

比如说,如果设置参数在对数尺度上服从均匀分布,即调用函数

trial.suggest_loguniform('n_steps',16,2048),

相当于给函数了一个 16-2048 之间的 2 的指数次方(如16,32,64,…,1024,2048)的新浮点数。

再者,如果设置参数在普通尺度上服从均匀分布,即调用函数

trial.suggest_uniform('cliprange',0.1,0.4),

相当于给函数一个 0.1 到 0.4 之间的新浮点数(如0.1,0.2,0.3,0.4)。

相信你已经看出来了其中的规律,就是这样来设置变量:

suggest_categorical('categorical',['option_one','option_two']),其中 categorical 为设置变量的策略, option_one 和 option_two 分别为变量的两个选项,在刚才的函数中这两个选项为变量的范围,弄懂了这个相信下面的代码就难不倒你了。

201906130104292196.jpg

化交易智能体的代码 optimize_ppo2.py

201906130104344369.jpg

优化交易环境的代码 optimize_envs.py


代码写好后,我们在一台高性能服务器上以 CPU/显卡协同运算的方式运行了优化函数。在设置中,Optuna 创建了一个 SQLite 数据库,我们可以从中加载优化的实例。该实例记录了测试过程中性能最好的一次试验,从中我们可以推算出智能体交易环境中最优的超参数集。

201906130104367375.jpg

加载 optuna 实例的代码 load_optuna_study.py


到这里,我们已经改进了模型,改进了特征集,并优化了所有的超参数。但俗话说,是骡子是马得拉出来遛遛。

那么,交易智能体在新的奖励指标下表现如何呢?

在训练过程中,我分别使用了利润、Sortino 比率、Calmar 比率和 Omega 比率四个奖励指标来优化智能体。接下来我们需要在测试环境中检验哪种奖励指标训练出来的智能体收益最高,当然了,测试环境中的数据都是智能体在训练过程中从未见到过的比特币价格走势,这样保证了测试的公平性。


收益比较


在查看结果之前,我们需要知晓一个成功的交易策略是什么样的。出于这个原因,我们将针对一些常见且有效的比特币交易策略进行基准测试。令人震惊的是,在过去的十年中一个最有效的比特币交易策略就是买入并持有,而另外两个不错的交易策略则是使用简单但有效的技术分析来生成买入/卖出信号,从而指导交易。

1、买入并持有

这种交易策略指尽可能多地购买比特币并一直持有下去(也就是区块链社区中的江湖黑话“ HODL ”)。虽然说这种交易策略并不是特别复杂,但在过去这样做赚钱的机率很高。

2、相对强弱指数分歧(Relative Strength Index(RSI) divergence )

当相对强弱指数持续下跌且收盘价持续上涨时,这就是需要卖出的信号,而当相对强弱指数持续上涨且收盘价持续下跌时,就是需要买入的信号。

3、简单移动平均线( Simple Moving Average,SMA )交叉

当长期简单移动平均线超过短期简单移动平均线时,这就是需要卖出的信号,而当短期简单移动平均线超过长期简单移动平均线时,就是需要买入的信号。

你可能会问,为什么要做这些简单的基准测试呢?这样做是为了通过比较证明我们的强化学习交易智能体可以在比特币市场上发挥作用,如果智能体的收益连这些简单的基准收益都超不过,那么我们就相当于花费了大量的开发时间和显卡算力来进行了一场天马行空的科学实验。现在,让我们来证明事实并非如此。


实验结果


我们的数据集选用从加密货币数据网站 CryptoDataDownload 上下载的每小时收盘价位置价值( OHCLV )数据,其中前 80% 的数据用来训练智能体,后 20% 作为全新的数据进行测试,以了解智能体的收益能力。当前这种简单的交叉验证形式足以满足我们的需求,而如果这个比特币自动交易智能体真的走向生产就绪,我们就可以使用全部的数据集进行训练,然后在每天新产生的数据集上进行测试。

废话不多说,我们来看看结果。

可以看到,使用 Omega 比率作为奖励指标的智能体在测试阶段并没有让人眼前一亮的交易。

201906130104386353.jpg

使用 Omega 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


分析智能体所进行的交易我们可以发现,很明显 Omega 比率这种奖励指标产生了过度交易(over-trade)的交易策略,以至于智能体未能抓住市场机会获得收益。

使用 Calmar 比率作为奖励指标的智能体与使用 Omega 比率作为奖励指标的智能体相比略有改进,但最终结果非常相似。看起来像是我们投入了大量的时间和精力,只是为了让事情变得更糟......

201906130104406054.jpg

使用 Calmar 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


如果仅使用利润作为奖励指标效果如何呢?在上一篇文章中这种奖励指标被证明有点失败,这次做的所有修改和优化能否化腐朽为神奇呢?

在为期四个月的测试周期内,使用利润作为奖励指标的智能体平均收益达到账户初始金额的350%。你可能已经被这个结果吓呆了。这应该就是强化学习能达到的巅峰了吧,对吧?

201906130104425151.jpg

使用利润作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


并不是这样的。使用 Sortino 比率作为奖励指标的智能体平均收益达到了账户初始金额的850%。当我看到这个数字时,我都不敢相信自己的眼睛,以至于我立马回去检查代码中是否存在问题。但经过彻底的检查后,很明显代码中没有任何错误,也就是说这些智能体已经知道如何进行比特币交易。

201906130104442207.jpg

使用 Sortino 比率作为奖励指标的智能体在超过 3500 小时的交易时间里资产的总价值


看起来使用 Sortino 比率作为奖励指标的智能体学习到了在最小化持有比特币风险的前提下低价买入和高价卖出的重要性,同时它们还躲过了过度交易和投资不足两大陷阱。虽然说智能体学到的具体交易策略我们不得而知,但是我们可以清楚地看到智能体已经学会通过交易比特币获得收益了。

201906130104466538.jpg

使用 Sortino 比率作为奖励指标的智能体正在交易比特币,其中绿色的三角形表示买入信号,红色的三角形表示卖出信号


现在,我并没有被实验成功的兴奋冲昏头脑。我清楚地知道比特币自动交易智能体还远远没有达到生产就绪。话虽如此,但这些结果比我迄今为止看到的任何交易策略都要令人印象深刻。而且令人震惊的是,我们并没有告诉智能体关于加密货币市场如何运作、如何在加密货币市场上赚钱这样的先验知识,而是仅靠智能体重复地试验和试错就达到了这么好的效果,不过,这里经过了很多很多次的试验和试错。


写在最后


在本篇文章中,我们优化了基于强化学习的比特币自动交易智能体,让它在交易比特币时做出更好的决策,从而获得更多的收益!在这个过程中我们花费了大量的时间和精力,也遇到了很多的困难,我们把困难分解细化再逐个攻破,最终完成了智能体的优化,其中具体的操作步骤如下:


1、使用循环神经网络升级现有模型,即升级成使用平稳性数据的长短期记忆网络;

2、使用领域知识和统计分析进行特征工程,为智能体提供了 40 多个用来学习的新特征;

3、将投资的风险引入智能体的奖励指标,而不只是关注利润;

4、使用贝叶斯优化来寻找模型中最优的超参数;

5、使用常见的交易策略进行基准测试,以确保智能体的收益可以跑赢市场。



从理论上来说,这个高收益的交易智能体已经做得很不错了。

但是,我收到了相当多的反馈,他们声称交易智能体只是在学习拟合曲线,因此,面对生产环境中的实时数据,交易智能体永远不可能获得收益。虽然我们在不同数据集上训练/测试智能体的方法应该能够解决这个问题,但是模型确实会有过度拟合数据集的可能,并且可能不会很好地推广到实时数据。话虽这么说,但在我看来这些交易智能体学习到的远远不只是简单的曲线拟合,因此,我认为它们能够在实时交易的场景中获得收益。

为了检验这个想法,接下来的一段时间里我会把这些基于强化学习的智能体带到生产环节,为此,我们首先要更新智能体的运行环境以支持以太币、莱特币等其他加密货币,然后我们将升级智能体让它可以在加密货币交易所 Coinbase Pro 上实时交易。

这将会是一个激动人心的实验,请不要错过它。

需要强调的是,本篇文章中所有的方法和投资策略都是出于教育目的,不应被视为投资建议。我们的比特币自动交易智能体也远远没有达到实际生产层面,所以请管好自己的钱包。


参考资源:

1)基于 Python 语言和 Tensorflow 框架的循环神经网络和长短期记忆网络教程

https://adventuresinmachinelearning.com/recurrent-neural-networks-lstm-tutorial-tensorflow/

2)浅析基于 Python 语言的季节效应自回归移动平均模型预测时间序列

https://machinelearningmastery.com/sarima-for-time-series-forecasting-in-python/

3)浅析基于 Python 语言的非平稳性时间序列处理

https://www.analyticsvidhya.com/blog/2018/09/non-stationary-time-series-python/

4)超参数优化算法

https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf

5)机器学习方法在金融领域中的最新进展

https://dwz.cn/iUahVt2u


来源 | Towards Data Science 编译 | Guoxi 责编 | 乔治 出品 | 区块链大本营(Blockchain_camp)

60倍回报! AI工程师用OpenAI创建了一个比特币自动交易工具(附详细做法)

攻略blockchaincamp 发表了文章 • 2019-06-13 12:11 • 来自相关话题

炒股的人都知道,天天盯着大盘做决策不仅让人劳神,还让人秃头。所以一堆顶级的数学家开始用数学的手段进行股市预测。

加密货币市场也一样,而且加密货币市场波动更加频繁,更加剧烈。对于这个问题,国外加密货币开发者 Adam King 提出了一种新的解决思路。

结合人工智能在预测方面得天独厚的优势, Adam 提出了使用深度强化学习构建加密货币自动交易程序,同时,这位小哥还做出了一个能够真正交易比特币的展示模型,他是怎么做到的?这个自动交易程序又能达到怎样的效果呢?让我们在文中一探究竟。

在本文中,我们将使用深度强化学习建立一个加密货币自动交易智能体(agent),并训练它通过交易比特币盈利。

为了避免重复造轮子,在本篇教程中我们将使用人工智能研究机构 OpenAI 开发的程序包。

目前人工智能在很多领域都已经超过了人类,从最初谷歌 DeepMind 团队开发的 AlphaGo 战胜围棋世界冠军李世石,到后来师出同门的 AlphaStar 在星际争霸中以 10:1 的大比分战胜两位职业玩家。近日,OpenAI 团队的 OpenAI Five 在 Dota2 游戏中以 2:0 的比分将世界冠军 OG 斩于马下。





谷歌 DeepMind 团队星际争霸人工智能产品 AlphaStar 的训练过程


人工智能给我们带来了很多激动人心的结果,虽然我们不会构建像 AlphaGo 这样令人印象深刻的产品,但在日常的比特币交易中实现盈利也非易事。

因此,与其冒着脱发的风险苦苦探索比特币币价的规律,何不让人工智能来一展身手?

在本文中,我们将通过人工智能技术完成一下三个尝试:

    为我们的智能体(agent)创建一个测试强化学习的 gym 环境; 以一种简单、优雅的方式可视化我们的测试环境; 训练我们的智能体,让它学习到能获益的比特币交易策略。


这里有些操作可能会比较麻烦,就比如说从头开始构建 gym 测试环境并将测试环境可视化,不过不要担心,我会仔细介绍这些细节,跟上我的节奏就好。


程序库安装


在本教程中,我们将使用 Zielak 提供的 Kaggle 数据集。如果你想要这些数据,你可以在我的 Github 仓库中下载 .csv 数据文件。

首先,我们来导入所有必要的 Python 程序库。如果你的电脑上还没有安装这些程序库,你可以使用 pip install 命令进行安装。






接下来,我们创建一个比特币交易环境的类。我们需要向其中传入一个 pandas 数据帧,一个用于指示智能体在每一个时间步长( time step )需要分析前几个时间步长数据的回顾窗口大小( lookback_window_size ),以及可选的智能体账户初始余额( initial_balance )。

代码中我们将手续费( commission )设置为每笔交易的 0.075% ,也就是加密货币期货交易所 Bitmex 当前的费率,同时,我们将序列运行( serial )参数默认为否( false ),这意味着在默认情况下我们的数据帧将以随机的形式遍历各个片段。

除此之外,我们还在数据帧上分别调用了删除非数字(NaN,Not A Number)所在行的 dropna 函数以及在删除了数据之后重新设置数据帧索引的 reset_index 函数。






代码中 action_space (操作空间)的第一个数字表示可选的 3 个选项,即买入,卖出或持有,第二个数字表示所操作的比例,最小单位是 10% ,也就是说这个数字中的 1,2,3 分别代表 10%,20%,30% 。当选择买入操作时,具体买入的比特币数量将是第二个数字( amount )乘以当前账户的比特币余额( self.balance )。对于卖出操作,具体卖出的比特币数量也是第二个数字( amount )乘以当前账户的比特币余额( self.balance )。

当然了,如果选择持有操作,那么就不会买卖账户中的比特币,因而第二个数字就没有了意义。

我们的 observation_space(观察空间)被定义为 0 到 1 之间的连续浮点数集,它的大小为( 10,回顾窗口大小( lookback_window_size ) + 1)。这里的 + 1 操作是考虑到了当前这一时间步长的操作。对于窗口中的每一步,我们都将观察它的收盘价位置价值( OHCLV ),我们在那时的资产总价值、买入或卖出的比特币数量、以及我们在买入或卖出这些比特币时花费的美元数。

接下来,我们需要编写重新设置( reset )函数来初始化比特币交易环境。






代码中我们使用了重新设置会话控制( self._reset_session )函数和下一次数据观察( self._next_observation )函数,不过这些函数都还没有被定义,接下来我们来定义它们。


交易会话控制


交易会话控制( session )是比特币交易环境中的一个重要组成部分。如果我们将这个智能体部署到外部,我们可能永远都不会一次让它运行几个月的时间。出于这个原因,我们将在数据帧参数( self.df )中限制智能体能够连续看到的数据帧数量。

在我们的重新设置会话控制( _reset_session )函数中,我们首先将当前的时间步长( current_step )重新设置为 0 。接下来,我们将剩余时间步长( steps_left )设置为 1 到最大交易会话控制数( MAX_TRADING_SESSION )之间的随机数,当然了,最大交易会话控制数需要在文件的顶部定义。






接下来,如果需要连续遍历数据帧,那就应该设置遍历所有的数据帧,否则我们需要在数据帧参数( self.df )中设置一个随机的数据帧起始位置( frame_start ),并创建一个名为激活数据帧( active_df )的新数据帧,它是数据帧( self.df )从起始位置( frame_start )到起始位置 + 剩余时间步长( frame_start + steps_left )这些连续帧组成的切片。






使用数据帧切片带来的一个重要影响就是,智能体将获得更多独一无二的数据,以便进行长时间的训练。举个例子,如果我们只是按顺序来遍历数据帧(即按数据帧 0 到最后一帧(len(df))的顺序),那么我们就只有数据帧个数这么多的唯一数据点。我们的观察空间在每一个时间步长只能观察区区几个状态。

但是,通过随机遍历数据帧的切片,我们有效地结合了原始数据集上每一个时间点的账户余额,交易数据以及当前比特币价格,从而创造出了更多独一无二的数据点。接下来我们通过一个例子来说明一下。

我们的智能体在每个时间步长中都有三种选择:买入,卖出或持有。对于这三种选择中的每一种,都还需指定操作比特币的数量,如操作当前比特币余额的 10%,20%,或是 100% 。这意味着我们的智能体在每个时间步长中都有 30 种不同的选择(当然了,对于持有操作,这 10 种选择的效果是一样的),而它从中选出最好的一个。

回到我们随机切片后的比特币交易环境。在第 10 个时间步长中,我们的智能体可以处于数据帧内的任何数据帧长度(len(df))时间步长。考虑到每个时间步长智能体可以做 30 种选择,这意味着在任意 10 个时间步长的间隔时间中,该智能体可以经历数据帧长度(len(df))的 30 次方种可能的唯一状态。

虽然这样的操作可能会给大型数据集带来相当大的噪声,但我相信这是一把双刃剑,这样我们的智能体也会从有限的数据量中学到更多。不过,对于测试数据集,我们仍将按顺序来遍历,这样做更贴近于“实时”的交易数据,因而可以更好更精确地检测我们的智能体。


比特币交易智能体都学到了些什么


为了更好地了解智能体所看到并学习到的特征,我们需要将比特币交易环境的观察空间可视化。就比如说,下面是使用 OpenCV 可视化渲染后的观察空间。





OpenCV 可视化渲染后的观察空间


图像中的每一行都代表我们观察空间( observation_space )中的一行。前4行类似于频率的红线代表了 OHCL 数据,下方的橙色和黄色的点代表着数量,再下方这个起伏不定的蓝色长条是智能体所拥有资产的总价值,而下方颜色较浅的点代则表智能体的交易。

如果你眯着眼睛看这张图,你就可以看到一个 K 线图,下面有着代表数量的指示条以及一个显示交易历史的类似于莫尔斯电码的界面。看起来我们的智能体应该能够在观察空间( observation_space )的数据中学到一些东西。在这里,我们将定义下一次观察( _next_observation )函数,在这个函数中我们要将观察到的数据缩放到 0 到 1 之间。

重要的一点是,仅仅缩放智能体到目前为止所观察到的数据,以避免出现前视偏差( Look-ahead bias,前视偏差是指在策略的开发中,采取了未来的一些信息,而这些信息在实盘操作中是基本上不可能得到的)。







编写步骤


现在我们已经设置好了观察空间,是时候编写我们的操作步骤( step )函数了,这个函数可以指导智能体的行为。

每当当前交易时段的剩余操作步骤( self.steps_left )等于 0 时,我们将卖出所持有的所有比特币并调用重新设置会话控制( _reset_session )函数。

否则,我们将智能体的奖励( reward )设置为当前所持有资产的总价值,如果智能体的资金用完了,则只会将完成( done )设置为真( True )。






其实,采取行动的过程十分简单,也就只有三步:

第一步,获取当前的比特币价格( current_price );

第二步,确定该买入卖出还是持有,以及所要操作的份额;

第三步,就是真实买入或卖出这些比特币。现在我们来编写采取行动( _take_action )函数,以便于测试我们的比特币交易智能体。






最后,在这个函数中,我们将交易添加到交易记录参数( self.trades )中,并更新我们的资产总价值和账户交易历史。






到这里,我们的智能体就可以启动新环境,在新环境中学习比特币交易的特征,并采取行动以获得收益。是时候让比特币交易智能体一展身手了。


查看比特币交易智能体的交易记录


上文中说到了,我们需要将智能体的学习和决策过程可视化。当然了,仅仅使用最简单的方法,在智能体每次决策后输出智能体所持有资产的总价值(print(self.net_worth))也不是不可以,不过这样做就少了很多的乐趣。因此,我们决定绘制一个简单的比特币价格数据 K 线图,其中包含数量栏和我们资产总价值的单独图表。

在代码中,我们需要定义一个用来可视化的资产交易图( StockTradingGraph )函数,在函数的初始化过程中,我们需要调用 python 可视化程序库 matplotlib.pyplot ,并指出每一个需要可视化的数据。






为了更好地展现数据,在可视化方法中我们需要导入 Python 时间日期( datetime )处理模块,在数据上标注出人类可读的日期和时间。






在导入完成后,我们需要使用将时间戳转换为世界统一时间 UTC 的 utcfromtimestamp 函数,将每个时间戳转化为 UTC 时间,然后用计算机时间函数( strftime )将这个 UTC 时间按照“ 年 - 月 - 日 小时:分钟 ”的格式展现出来。






到这里,可视化函数的各个部分都已编写完成,回到比特币交易环境,我们现在可以汇总出一个可视化( render )函数来显示图形。






ok了!我们现在可以看到智能体正在交易比特币。





使用 Matplotlab 程序库可视化后的智能体交易比特币数据


图中绿色的竖线代表智能体在买入比特币,红色的竖线代表智能体在卖出比特币。右上角的白色方框是智能体所持有资产的总价值,在其下方的白色方框是当前比特币的价格。

这里容我自恋一下,我认为这个可视化的效果简单而又不失优雅。现在,是时候训练我们的比特币交易智能体了,看看它能帮我们赚到多少钱!


训练比特币交易智能体


由于我们训练智能体时使用的是时间序列数据,因此在交叉验证方面我们并没有太多的选择。

就拿一种常见的交叉验证形式: k-fold(k组)交叉验证来举例,在 k-fold 交叉验证中,你需要将数据拆分成 k 个相等的分组,将每一个分组分别做一次测试组,其余的 k-1 组数据用作训练组。

然而,时间序列数据与时间有着高度的依赖性,这意味着后面出现的数据高度依赖于先前出现的数据。所以在这种情况下 k-fold 将不起作用,因为这样会让我们的智能体提前知道未来的数据,即使盈利了我们也不知道是得益于智能体精准的预测还是因为智能体作弊了。

当应用于时间序列数据时,大多数其他的交叉验证策略也都存在着同样的缺陷。因此,我们只需在完整数据帧中给定一个分界点,前一部分的数据用作训练集,其余的数据用作测试集。






接下来,由于我们的比特币交易环境被设置为仅处理单个数据帧,因此我们需要创建两个比特币交易环境,一个用于训练数据,一个用于测试数据。






到这里,我们就可以训练模型了。如下面的代码所示,我们只需要在比特币交易环境中创建智能体,然后调用 model.learn 命令开始训练。






在这里,我们会使用机器学习框架 tensorflow 的可视化工具 tensorboard ,从而我们可以轻松地可视化 tensorflow 的数据流图并查看有关我们智能体的一些量化指标。

比如说,下图展示了智能体在经过 200000 个时间步长后的盈利:






看起来我们的智能体都获得了很多的收益!最好的一个智能体在 200,000 个时间步长后资产总价值提升了 1000 倍,而其余的智能体资产总价值平均提升了 30 倍以上!

不过,就在这时,我意识到比特币交易环境中存在一个错误......在修复了该错误之后,这是新的收益图:






正如你所看到的,我们的一些智能体做得很好,而有一些则表现很差。总的来说,表现良好的智能体最多能够实现资产总价值提升 10 倍甚至 60 倍。

我必须承认,所有这些智能体都是在虚拟的比特币交易环境中训练和测试的,所以将这个比特币交易智能体直接应用于比特币区块链上还为时尚早。但是至少这个结果告诉我们,使用人工智能来进行加密货币交易决策这条路是行得通的。

接下来,让我们在比特币交易测试环境中测试智能体,在测试环境中我们将使用智能体以前从未见过的全新数据,看看这些智能体是否学到了比特币的交易策略。





结果显示,我们训练出来的比特币交易智能体在新的测试环境中争相走向破产


这也并不意外,因为我们还有很多的工作要做。仅仅通过简单地将模型从当前的近端策略优化( Proximal Policy Optimization , PPO2 )智能体切换到 stable-baseline 程序库中的 A2C ( Advantage Actor-Critic )就可以大大提高我们在此数据集上的性能。

同时,我们也可以更新奖励函数,激励那些资产总价值不断增加的操作,防止有些比特币交易智能体在资产总价值达到高位时就消极怠工。






仅仅做出这两个改动就可以大幅度提高比特币交易智能体在当前数据集上的性能,正如下图所示,最终我们在数据全新的测试环境上成功实现了盈利。






除此之外,我们还可以做得更好。为了提升这些比特币交易智能体的准确度,我们可以优化超参数并训练智能体更长的时间。是时候给你的显卡(深度学习代码运行在显卡之上)一点压力了!

如果你想继续优化,这里可以给你提供些思路,你可以使用贝叶斯优化来在问题空间上寻找最佳的超参数,并使用显卡的 CUDA 运算平台优化训练环境和测试环境。


结论


在本教程中,我们使用深度强化学习从零开始创建了一个能够获得收益的比特币交易智能体。

具体而言,我们完成了以下的任务:

    使用 OpenAI 团队开发的用于测试强化学习算法的工具包 gym 从零开始创建了一个比特币交易环境;
    使用 Python 可视化程序库 Matplotlib 将比特币交易环境可视化;
    使用简单的交叉验证对我们的比特币交易智能体进行了训练和测试;
    虽然还有很多的工作需要完成,但现在我们已经可以看到成功的曙光。


 
虽然最后我们的比特币交易智能体在数据全新的测试环境中还不能保证总是盈利,但我们已经离成功不远了。


作者 | Adam King
译者 | Guoxi
责编 | Aholiab
出品 | 区块链大本营(blockchain_camp) 查看全部
3D-Rendering-Robot-and-laptop-stock-exchange-trading.jpg

炒股的人都知道,天天盯着大盘做决策不仅让人劳神,还让人秃头。所以一堆顶级的数学家开始用数学的手段进行股市预测。

加密货币市场也一样,而且加密货币市场波动更加频繁,更加剧烈。对于这个问题,国外加密货币开发者 Adam King 提出了一种新的解决思路。

结合人工智能在预测方面得天独厚的优势, Adam 提出了使用深度强化学习构建加密货币自动交易程序,同时,这位小哥还做出了一个能够真正交易比特币的展示模型,他是怎么做到的?这个自动交易程序又能达到怎样的效果呢?让我们在文中一探究竟。

在本文中,我们将使用深度强化学习建立一个加密货币自动交易智能体(agent),并训练它通过交易比特币盈利。

为了避免重复造轮子,在本篇教程中我们将使用人工智能研究机构 OpenAI 开发的程序包。

目前人工智能在很多领域都已经超过了人类,从最初谷歌 DeepMind 团队开发的 AlphaGo 战胜围棋世界冠军李世石,到后来师出同门的 AlphaStar 在星际争霸中以 10:1 的大比分战胜两位职业玩家。近日,OpenAI 团队的 OpenAI Five 在 Dota2 游戏中以 2:0 的比分将世界冠军 OG 斩于马下。

201905131840081.png

谷歌 DeepMind 团队星际争霸人工智能产品 AlphaStar 的训练过程


人工智能给我们带来了很多激动人心的结果,虽然我们不会构建像 AlphaGo 这样令人印象深刻的产品,但在日常的比特币交易中实现盈利也非易事。

因此,与其冒着脱发的风险苦苦探索比特币币价的规律,何不让人工智能来一展身手?

在本文中,我们将通过人工智能技术完成一下三个尝试:


    为我们的智能体(agent)创建一个测试强化学习的 gym 环境; 以一种简单、优雅的方式可视化我们的测试环境; 训练我们的智能体,让它学习到能获益的比特币交易策略。



这里有些操作可能会比较麻烦,就比如说从头开始构建 gym 测试环境并将测试环境可视化,不过不要担心,我会仔细介绍这些细节,跟上我的节奏就好。


程序库安装


在本教程中,我们将使用 Zielak 提供的 Kaggle 数据集。如果你想要这些数据,你可以在我的 Github 仓库中下载 .csv 数据文件。

首先,我们来导入所有必要的 Python 程序库。如果你的电脑上还没有安装这些程序库,你可以使用 pip install 命令进行安装。

201905131840082.jpg


接下来,我们创建一个比特币交易环境的类。我们需要向其中传入一个 pandas 数据帧,一个用于指示智能体在每一个时间步长( time step )需要分析前几个时间步长数据的回顾窗口大小( lookback_window_size ),以及可选的智能体账户初始余额( initial_balance )。

代码中我们将手续费( commission )设置为每笔交易的 0.075% ,也就是加密货币期货交易所 Bitmex 当前的费率,同时,我们将序列运行( serial )参数默认为否( false ),这意味着在默认情况下我们的数据帧将以随机的形式遍历各个片段。

除此之外,我们还在数据帧上分别调用了删除非数字(NaN,Not A Number)所在行的 dropna 函数以及在删除了数据之后重新设置数据帧索引的 reset_index 函数。

201905131840083.jpg


代码中 action_space (操作空间)的第一个数字表示可选的 3 个选项,即买入,卖出或持有,第二个数字表示所操作的比例,最小单位是 10% ,也就是说这个数字中的 1,2,3 分别代表 10%,20%,30% 。当选择买入操作时,具体买入的比特币数量将是第二个数字( amount )乘以当前账户的比特币余额( self.balance )。对于卖出操作,具体卖出的比特币数量也是第二个数字( amount )乘以当前账户的比特币余额( self.balance )。

当然了,如果选择持有操作,那么就不会买卖账户中的比特币,因而第二个数字就没有了意义。

我们的 observation_space(观察空间)被定义为 0 到 1 之间的连续浮点数集,它的大小为( 10,回顾窗口大小( lookback_window_size ) + 1)。这里的 + 1 操作是考虑到了当前这一时间步长的操作。对于窗口中的每一步,我们都将观察它的收盘价位置价值( OHCLV ),我们在那时的资产总价值、买入或卖出的比特币数量、以及我们在买入或卖出这些比特币时花费的美元数。

接下来,我们需要编写重新设置( reset )函数来初始化比特币交易环境。

201905131840084.jpg


代码中我们使用了重新设置会话控制( self._reset_session )函数和下一次数据观察( self._next_observation )函数,不过这些函数都还没有被定义,接下来我们来定义它们。


交易会话控制


交易会话控制( session )是比特币交易环境中的一个重要组成部分。如果我们将这个智能体部署到外部,我们可能永远都不会一次让它运行几个月的时间。出于这个原因,我们将在数据帧参数( self.df )中限制智能体能够连续看到的数据帧数量。

在我们的重新设置会话控制( _reset_session )函数中,我们首先将当前的时间步长( current_step )重新设置为 0 。接下来,我们将剩余时间步长( steps_left )设置为 1 到最大交易会话控制数( MAX_TRADING_SESSION )之间的随机数,当然了,最大交易会话控制数需要在文件的顶部定义。

201905131840095.png


接下来,如果需要连续遍历数据帧,那就应该设置遍历所有的数据帧,否则我们需要在数据帧参数( self.df )中设置一个随机的数据帧起始位置( frame_start ),并创建一个名为激活数据帧( active_df )的新数据帧,它是数据帧( self.df )从起始位置( frame_start )到起始位置 + 剩余时间步长( frame_start + steps_left )这些连续帧组成的切片。

201905131840096.jpg


使用数据帧切片带来的一个重要影响就是,智能体将获得更多独一无二的数据,以便进行长时间的训练。举个例子,如果我们只是按顺序来遍历数据帧(即按数据帧 0 到最后一帧(len(df))的顺序),那么我们就只有数据帧个数这么多的唯一数据点。我们的观察空间在每一个时间步长只能观察区区几个状态。

但是,通过随机遍历数据帧的切片,我们有效地结合了原始数据集上每一个时间点的账户余额,交易数据以及当前比特币价格,从而创造出了更多独一无二的数据点。接下来我们通过一个例子来说明一下。

我们的智能体在每个时间步长中都有三种选择:买入,卖出或持有。对于这三种选择中的每一种,都还需指定操作比特币的数量,如操作当前比特币余额的 10%,20%,或是 100% 。这意味着我们的智能体在每个时间步长中都有 30 种不同的选择(当然了,对于持有操作,这 10 种选择的效果是一样的),而它从中选出最好的一个。

回到我们随机切片后的比特币交易环境。在第 10 个时间步长中,我们的智能体可以处于数据帧内的任何数据帧长度(len(df))时间步长。考虑到每个时间步长智能体可以做 30 种选择,这意味着在任意 10 个时间步长的间隔时间中,该智能体可以经历数据帧长度(len(df))的 30 次方种可能的唯一状态。

虽然这样的操作可能会给大型数据集带来相当大的噪声,但我相信这是一把双刃剑,这样我们的智能体也会从有限的数据量中学到更多。不过,对于测试数据集,我们仍将按顺序来遍历,这样做更贴近于“实时”的交易数据,因而可以更好更精确地检测我们的智能体。


比特币交易智能体都学到了些什么


为了更好地了解智能体所看到并学习到的特征,我们需要将比特币交易环境的观察空间可视化。就比如说,下面是使用 OpenCV 可视化渲染后的观察空间。

201905131840097.jpg

OpenCV 可视化渲染后的观察空间


图像中的每一行都代表我们观察空间( observation_space )中的一行。前4行类似于频率的红线代表了 OHCL 数据,下方的橙色和黄色的点代表着数量,再下方这个起伏不定的蓝色长条是智能体所拥有资产的总价值,而下方颜色较浅的点代则表智能体的交易。

如果你眯着眼睛看这张图,你就可以看到一个 K 线图,下面有着代表数量的指示条以及一个显示交易历史的类似于莫尔斯电码的界面。看起来我们的智能体应该能够在观察空间( observation_space )的数据中学到一些东西。在这里,我们将定义下一次观察( _next_observation )函数,在这个函数中我们要将观察到的数据缩放到 0 到 1 之间。

重要的一点是,仅仅缩放智能体到目前为止所观察到的数据,以避免出现前视偏差( Look-ahead bias,前视偏差是指在策略的开发中,采取了未来的一些信息,而这些信息在实盘操作中是基本上不可能得到的)。

201905131840138.jpg



编写步骤


现在我们已经设置好了观察空间,是时候编写我们的操作步骤( step )函数了,这个函数可以指导智能体的行为。

每当当前交易时段的剩余操作步骤( self.steps_left )等于 0 时,我们将卖出所持有的所有比特币并调用重新设置会话控制( _reset_session )函数。

否则,我们将智能体的奖励( reward )设置为当前所持有资产的总价值,如果智能体的资金用完了,则只会将完成( done )设置为真( True )。

201905131840139.jpg


其实,采取行动的过程十分简单,也就只有三步:

第一步,获取当前的比特币价格( current_price );

第二步,确定该买入卖出还是持有,以及所要操作的份额;

第三步,就是真实买入或卖出这些比特币。现在我们来编写采取行动( _take_action )函数,以便于测试我们的比特币交易智能体。

2019051318401410.jpg


最后,在这个函数中,我们将交易添加到交易记录参数( self.trades )中,并更新我们的资产总价值和账户交易历史。

2019051318401411.jpg


到这里,我们的智能体就可以启动新环境,在新环境中学习比特币交易的特征,并采取行动以获得收益。是时候让比特币交易智能体一展身手了。


查看比特币交易智能体的交易记录


上文中说到了,我们需要将智能体的学习和决策过程可视化。当然了,仅仅使用最简单的方法,在智能体每次决策后输出智能体所持有资产的总价值(print(self.net_worth))也不是不可以,不过这样做就少了很多的乐趣。因此,我们决定绘制一个简单的比特币价格数据 K 线图,其中包含数量栏和我们资产总价值的单独图表。

在代码中,我们需要定义一个用来可视化的资产交易图( StockTradingGraph )函数,在函数的初始化过程中,我们需要调用 python 可视化程序库 matplotlib.pyplot ,并指出每一个需要可视化的数据。

2019051318401412.jpg


为了更好地展现数据,在可视化方法中我们需要导入 Python 时间日期( datetime )处理模块,在数据上标注出人类可读的日期和时间。

2019051318401513.jpg


在导入完成后,我们需要使用将时间戳转换为世界统一时间 UTC 的 utcfromtimestamp 函数,将每个时间戳转化为 UTC 时间,然后用计算机时间函数( strftime )将这个 UTC 时间按照“ 年 - 月 - 日 小时:分钟 ”的格式展现出来。

2019051318401514.jpg


到这里,可视化函数的各个部分都已编写完成,回到比特币交易环境,我们现在可以汇总出一个可视化( render )函数来显示图形。

2019051318401515.jpg


ok了!我们现在可以看到智能体正在交易比特币。

2019051318401516.jpg

使用 Matplotlab 程序库可视化后的智能体交易比特币数据


图中绿色的竖线代表智能体在买入比特币,红色的竖线代表智能体在卖出比特币。右上角的白色方框是智能体所持有资产的总价值,在其下方的白色方框是当前比特币的价格。

这里容我自恋一下,我认为这个可视化的效果简单而又不失优雅。现在,是时候训练我们的比特币交易智能体了,看看它能帮我们赚到多少钱!


训练比特币交易智能体


由于我们训练智能体时使用的是时间序列数据,因此在交叉验证方面我们并没有太多的选择。

就拿一种常见的交叉验证形式: k-fold(k组)交叉验证来举例,在 k-fold 交叉验证中,你需要将数据拆分成 k 个相等的分组,将每一个分组分别做一次测试组,其余的 k-1 组数据用作训练组。

然而,时间序列数据与时间有着高度的依赖性,这意味着后面出现的数据高度依赖于先前出现的数据。所以在这种情况下 k-fold 将不起作用,因为这样会让我们的智能体提前知道未来的数据,即使盈利了我们也不知道是得益于智能体精准的预测还是因为智能体作弊了。

当应用于时间序列数据时,大多数其他的交叉验证策略也都存在着同样的缺陷。因此,我们只需在完整数据帧中给定一个分界点,前一部分的数据用作训练集,其余的数据用作测试集。

2019051318401817.jpg


接下来,由于我们的比特币交易环境被设置为仅处理单个数据帧,因此我们需要创建两个比特币交易环境,一个用于训练数据,一个用于测试数据。

2019051318401818.jpg


到这里,我们就可以训练模型了。如下面的代码所示,我们只需要在比特币交易环境中创建智能体,然后调用 model.learn 命令开始训练。

2019051318401819.jpg


在这里,我们会使用机器学习框架 tensorflow 的可视化工具 tensorboard ,从而我们可以轻松地可视化 tensorflow 的数据流图并查看有关我们智能体的一些量化指标。

比如说,下图展示了智能体在经过 200000 个时间步长后的盈利:

2019051318401820.jpg


看起来我们的智能体都获得了很多的收益!最好的一个智能体在 200,000 个时间步长后资产总价值提升了 1000 倍,而其余的智能体资产总价值平均提升了 30 倍以上!

不过,就在这时,我意识到比特币交易环境中存在一个错误......在修复了该错误之后,这是新的收益图:

2019051318401921.jpg


正如你所看到的,我们的一些智能体做得很好,而有一些则表现很差。总的来说,表现良好的智能体最多能够实现资产总价值提升 10 倍甚至 60 倍。

我必须承认,所有这些智能体都是在虚拟的比特币交易环境中训练和测试的,所以将这个比特币交易智能体直接应用于比特币区块链上还为时尚早。但是至少这个结果告诉我们,使用人工智能来进行加密货币交易决策这条路是行得通的。

接下来,让我们在比特币交易测试环境中测试智能体,在测试环境中我们将使用智能体以前从未见过的全新数据,看看这些智能体是否学到了比特币的交易策略。

2019051318401922.jpg

结果显示,我们训练出来的比特币交易智能体在新的测试环境中争相走向破产


这也并不意外,因为我们还有很多的工作要做。仅仅通过简单地将模型从当前的近端策略优化( Proximal Policy Optimization , PPO2 )智能体切换到 stable-baseline 程序库中的 A2C ( Advantage Actor-Critic )就可以大大提高我们在此数据集上的性能。

同时,我们也可以更新奖励函数,激励那些资产总价值不断增加的操作,防止有些比特币交易智能体在资产总价值达到高位时就消极怠工。

2019051318401923.png


仅仅做出这两个改动就可以大幅度提高比特币交易智能体在当前数据集上的性能,正如下图所示,最终我们在数据全新的测试环境上成功实现了盈利。

2019051318401924.jpg


除此之外,我们还可以做得更好。为了提升这些比特币交易智能体的准确度,我们可以优化超参数并训练智能体更长的时间。是时候给你的显卡(深度学习代码运行在显卡之上)一点压力了!

如果你想继续优化,这里可以给你提供些思路,你可以使用贝叶斯优化来在问题空间上寻找最佳的超参数,并使用显卡的 CUDA 运算平台优化训练环境和测试环境。


结论


在本教程中,我们使用深度强化学习从零开始创建了一个能够获得收益的比特币交易智能体。

具体而言,我们完成了以下的任务:


    使用 OpenAI 团队开发的用于测试强化学习算法的工具包 gym 从零开始创建了一个比特币交易环境;
    使用 Python 可视化程序库 Matplotlib 将比特币交易环境可视化;
    使用简单的交叉验证对我们的比特币交易智能体进行了训练和测试;
    虽然还有很多的工作需要完成,但现在我们已经可以看到成功的曙光。



 
虽然最后我们的比特币交易智能体在数据全新的测试环境中还不能保证总是盈利,但我们已经离成功不远了。


作者 | Adam King
译者 | Guoxi
责编 | Aholiab
出品 | 区块链大本营(blockchain_camp)

比特暴富,大陆忌寒

公司aicaijing 发表了文章 • 2018-09-29 11:06 • 来自相关话题

吴忌寒


矿机生意将淘金卖水的故事演绎得淋漓尽致。

1.3亿美元,2.7亿美元,25.1亿美元,这是比特大陆在过去三年的营收。除了小米,几乎很难在国内找到一家成长如此迅速的企业。但即便是小米和雷军,也没有像比特大陆和它的CEO吴忌寒那样,遭遇如此多的争议和质疑。

现在,人们最关心的是,这样一家“一夜暴富”的公司,会不会仅仅是昙花一现?


理想信仰者还是恐怖分子?


2013年,投资经理吴忌寒在北京结识了做机顶盒芯片的詹克团。詹克团是典型的理工男,也具有福建商人的气质,低调务实,几乎没有接受过采访。之前甚至有媒体将詹克团写成清华大学计算机系毕本科毕业。但据AI财经社向官方核实,詹克团的本科毕业于山东大学,研究生在中科院微电子研究所。

吴忌寒与詹克团合伙创业时有过一份对赌协议,詹克团带领的技术团队如果能按时研发出达标的矿机芯片,整个团队就可以拿到60%的股份。2013年,詹克团花了6个月时间便开发出了比特大陆的第一代矿机,挖矿效率远超当时同行,成为比特大陆日后崛起的关键。

在这周在港交所提交IPO前,詹克团持有比特大陆36.58%的股份,而吴忌寒为20.5%。比特大陆也一直采用联席董事长和联席CEO的管理层设计,这在国内公司的运营中相当少见。

“我和Micree(詹克团)更多是一个互补组队的局面,就像一个乒乓球双打比赛,球打过来,谁在最佳接球位置谁说了算,大家配合比赛,获取胜利是关键。”这是吴忌寒第一次公开评价自己和创业伙伴的关系。吴忌寒出生于1986年,詹克团比他大了7岁。

两个人的性格差异很大,吴忌寒是北大心理学和经济学出身,长着娃娃脸,但在比特币的世界里,他愿意发声,也敢于与别人开火互怼,因此收获了一堆外号,大多是贬义,包括“矿霸”、“恐怖分子”。

但这位“矿霸”也有着侠客精神。一位比特大陆知情人士透露,吴忌寒曾告诫同事,当合作伙伴的体量较小时要对外积极宣传,能提携就提携,而当合作公司体量比自己更庞大时则不宜宣传,免得落下“抱大腿”的嫌疑。

在红杉资本的一场活动结束后,吴忌寒边看手机,边等待专车到来。当AI财经社拦住他并希望简单聊几句时,他没有拒绝,但表现得尤为谨慎,眼睛一直盯着记者的手机,担心被录音,一点也没有互联网上的洒脱。

而在今年中兴事件后,当全中国的公司都巴不得和“自主研发芯片”建立某种干系的时候,吴忌寒却告诉同事,别动不动对外喊自主。

在矿机的世界里,另一家企业嘉楠耘智的灵魂人物是张楠赓,江湖人称“南瓜张”,毕业于北航,曾与中科大少年班毕业的“烤猫” 蒋信予齐名。

相比于吴忌寒和南瓜张在圈内的知名度,还有一家矿机企业亿邦国际的创始人胡东,则游离于圈子外,一众币圈玩家都对他知之甚少。在官方文件里,胡东最早的业务是给电信运营商们提供设备和零配件。

“南瓜张”和胡东都属于性格低调的人,詹克团的想法也倾向于闷头做事,闷声发财。相比之下,吴忌寒较为西式,频频出席圈内活动,敢于表达,也不排斥媒体采访。

他并非一个完全嗜血的商人,在他的身上能够看到对比特币的信仰。今年3月,吴忌寒站在华盛顿的一个行业会议上,但却站在了美联储的对立面,鼓吹私有中央银行,探讨私有中央银行和货币的关系,以及如何通过比特币帮助人们远离恶性通货膨胀。

吴忌寒经常出现在类似的行业会议中,展现他对数字货币的理想主义。他也是公认第一位将中本聪白皮书翻译成中文的人,成了比特币的早期布道者。

他受邀为《算力之美》的书撰序。他用了华美而富有理想的语言描述了算力给人类带来的财富。他提到了内蒙古达拉特旗、新疆伊犁以及云南红河,在这些地方都曾分布着比特大陆的矿场。不过,由于内蒙古当地政府对挖矿本身的犹豫,比特大陆已经关闭了当地的矿场,而最新把矿场建到了美国。

但在他的反对者甚至是旁人看来,吴忌寒容易情绪化。他在推特上痛击意见相左者,就像别人抨击他那样。

在宝二爷的印象中,三十出头的吴忌寒,自尊心很强,甚至有点自负,“有啥不能说啥,反而是见谁怼谁”。宝二爷的真名叫郭宏才,也是币圈的传奇人物,卖牛肉出身,做矿场发了财,常年旅居海外。

他坦承与吴忌寒之间并无恩怨,他倒是希望吴忌寒能够在世界范围建立起中国币圈的影响力,“这个人要有大胸怀,大智慧,而不是把别人都打得干不下去了,只顾着自己一家子发展。”


一夜暴富


被宝二爷寄予厚望的吴忌寒,已经和自己的合伙人将比特大陆做到了全球矿机老大,在全球市场的占有率超过了70%,而旗下自建或投资的矿池算力接近全网一半。

“詹克团是芯片设计的高手,吴忌寒又是最早进入比特币社区的人,他们两个人是天作之合。”闪电智能CEO廖翔分析比特大陆在一大批矿机厂商中存活并壮大的原因。

相对于其他矿机企业,比特大陆成功的关键因素是,在合适的时间造出了性能和功耗表现出色的矿机芯片。在比特大陆的招股书中,推出28nm的S7矿机芯片和16nm的S9矿机芯片,都被列为里程碑事件。

在几年之前,整个币圈和矿机市场遭遇过一轮洗牌。背景是2014年美联储对比特币持消极态度,比特币的价格从年初的9000元,一路跌到年末的800元。一大批矿机厂商被洗牌出局,包括烤猫矿机、Bitfury和KnCMiner。

但比特大陆没停止研发,不断迭代产品。从它的发展历程可以清晰地看到:2014年6月,第一版28nm芯片研发成功;7月,搭载28nm芯片的蚂蚁矿机S3量产;12月,蚂蚁矿机S5量产;2015年8月,第四代矿机芯片BM1385发布;11月,蚂蚁矿机S7量产。

谨慎储备现金的意识,也让比特大陆得以应对这一疯狂市场的大起大落。“对传统公司来说,今年生意这么大,明年生意这么小,他们肯定受不了。但对我们来说,大的时候,就要想好明年会这么小,要准备更多现金。未来即使币价低迷3年,公司还是要能很好地活着。”比特大陆联合创始人詹克团在接受外媒采访时说。

等到2015年下半年,比特币价格逐渐回暖,执着和谨慎,让比特大陆成了比特币价格回暖的直接受益者。比特大陆的蚂蚁矿机,几乎是矿机市场上最有竞争力的产品。





坐落于鄂尔多斯的比特币矿场


廖翔则给AI财经社提供了另外一个比特大陆暴富的版本。它在自己造芯片之前买阿瓦隆的芯片做矿机,因为矿机交不上货,客户找它退钱,才知道比特大陆已经把钱都拿去做芯片了。好在芯片很快出来后,性能和功耗甚至比预期还要突出。

之后的故事就变得梦幻了。比特币从几百美元涨到七八千美元,又从七八千美元涨到了逼近两万美元。

币价的疯涨直接刺激了矿机生产商的销量,比特大陆旗下搭载了最新款芯片的蚂蚁S7大卖,成了比特大陆走向行业龙头的关键。年初卖五六千元一台的矿机,到了2017年末卖到3万元。

由于崛起速度太快,比特大陆起初被认为是一家“神秘的公司”。直到后来,不断上演的淘金卖水的故事,才将这种神秘感打破。

与公司销售额一起水涨船高的是比特大陆的估值。比特大陆历史上拿过三轮融资,并在pre-IPO轮融资后估值达到140亿-150亿美元。这种速度几乎打破了国内科技公司的估值上升纪录。

外界质疑价格太高的声浪一浪高过一浪,质问谁会为这个千亿市值买单?不过,同在筹备中的嘉楠耘智,其P/E倍数是比特大陆的6倍。

在比特大陆之外,卖矿机的企业几乎都在这一波上涨行情中赚到了钱。位于浙江的嘉楠耘智在2016年的营收只有3亿元,次年猛增到13亿元。

嘉楠耘智在很长一段时间的业务是销售矿机ASIC芯片。这是一类专门针对某矿机开发的芯片。直到2016年,嘉楠耘智暂停了这部分业务,转而全面卖矿机。杨作兴对AI财经社分析说,早期卖芯片后来被证明是一种失败的商业模式,当时很大一个原因是从芯片到矿机的量产能力太差,烤猫的一款芯片在2014年3月发布,直到7月才见到矿机。而当下从芯片到矿机只需要一个星期时间。

而比特大陆一开始就直接卖矿机。对于很多买矿机的人而言,光提供芯片并不能满足他们的要求。

亿邦国际也是浙江的一家企业,最早的业务是给电信运营商们提供设备和零配件。矿机生意的高毛利很快让他们调整了业务方向。由于挖矿生意的兴隆,它的区块链业务,从2900万元猛增到9.2亿元,电信业务的比重则变成了可怜的5%。

连给矿机厂商代工芯片制造的台积电也迎来了第二春,2017年的增长达到44%,今年预计增长79%,这背后中国矿机厂商功不可没。

矿机企业的利润高得惊人。随着矿机的走俏,嘉楠耘智的毛利率涨到了46.2%。

作为业内龙头,比特大陆的毛利更是高得吓人。2016、2017、2018第一季度的毛利润率为56.91%、57.21%、59.97%,同期的净利润则达到了42.8%、49.40%、59.99%。

从比特大陆的角度来分析,现在上市算是恰当的时机。从公司本身看,它经历了数字货币牛市,业务日趋成熟,即便市场在转弱,还能交出一份不错的财报,可以获得不低的估值。而它的下一步是研发AI芯片,这无疑是当下最时髦的行当。

从外部环境来看,资本市场尤其是私募基金投资全线缩紧,钱荒的风声此起彼伏。矿机界的竞争对手都已经向港交所提交了招股书。进入公开市场,能让比特大陆获得更多资本的加持。


围攻比特大陆


无论在哪儿,人们都不太喜欢一夜暴富的人。在比特币的生态社区里,不喜欢甚至敌视比特大陆的人并不少见,至少有两件事让比特大陆不受待见:一是比特大陆掌握的算力过于庞大,而比特币的世界里崇尚去中心化,一个币圈人的典型担忧是“51%攻击”,但比特大陆正在成为那个中心,具备了那个攻击性。

吴忌寒一再引述中本聪白皮书的内容:即便攻击成功,整个系统也并非就此完全受制于攻击者的独断意志;一个攻击者能做的,最多是更改他自己的交易信息,并试图拿回他刚刚付给别人的钱。

另一个让比特大陆饱受争议的是它支持了比特币现金(BCH)。2017年,整个币圈都在为比特币是否要进行区块扩容的方案争吵不休。围绕这个问题,比特币社区出现了两大阵营,以吴忌寒为代表的“大矿池”一派,和以Core为代表的“比特币核心开发团队”。

Core团队主要是一些技术人员,自比特币诞生以来做着技术维护的工作。他们认为,吴忌寒支持的BCH扩容方案,使得参与的节点越来越少,降低了去中心化程度,违背了比特币的核心精神。而吴忌寒在对方眼中,被看作是追逐利益的“商人”。

在没有达成共识的情况下,由比特大陆投资的矿池ViaBTC突然在2017年8月实施了硬分叉行动,从比特币分叉出BCH(比特币现金)。相比于拥挤的比特币社区,新的方案将比特币区块大小扩容到了8M。

比特大陆将手中的比特币大部分换成了比特币现金。比特大陆的一份投资路演PPT显示,其持有的比特币从2016年底的71560枚降到了22082枚,而BCH则增加到了102万枚。不难发现,比特大陆在抛售比特币,转而持有分叉币BCH。

比特大陆确实展现出了它在市场上的影响力。BCH在短时间内就以比特币10%的总市值规模,站到了数字加密货币的第三名。

港交所披露比特大陆的IPO招股书当天,BCH暴涨,24小时涨幅达17.26%,打破了“美联储加息,币圈血流成河”的魔咒。

而这却引起了很多比特币忠实用户的不满。“小寒走错一步棋就是力挺了BCH。”宝二爷对AI财经社表示,比特币是主链,BCH是分叉链,虽然分叉链涨得更猛,但在社区心目中,除了比特币,其他分叉币都是山寨币。

“比特大陆如果以后出问题的话,就出现在这个方面,这是一个它背不起的包袱。”廖翔说。

在比特币的社区里,曾有过一个简单的线上投票:如果BCH分裂成CSW和矿霸链(比特大陆),你支持哪边?超过50%的人支持了前者,支持比特大陆的人只有13%,剩下的人选择中立。

“之前很多币圈的公司有点像欺负小孩儿似的,天天欺负小寒的公司,弄得挺不是滋味儿的。这个不太对。”宝二爷对AI财经社说,吴忌寒发展好的时候大家都捧着,但稍微有点风吹草动,所有脏水立刻都泼了过来。

麻烦事接踵而至。随着矿场越来越散户化,2015年比特大陆的客户数量接近6000个,而到2018年中已经超过了8万个。大量的小矿工进入,给市场增加了不少泡沫和韭菜,当然也增添了不理智因素。

今年5月,比特大陆的蚂蚁B3矿机引起了诸多不满,这款专门用来挖BTM(比原链)的矿机售价高达1.7万元,却陷入了虚假宣传和算力不达标的争议,遭多名购买者上门索赔。比特大陆觉得委屈,一位知情人士告诉AI财经社,其实在组织直播宣传之前,矿机已经售罄,并不存在误导嫌疑。

然而在这个从来不缺乏暴富故事的圈子里,也从来不会缺少贪婪和纠纷。赚钱者欢天喜地,成了新的宣传样本;赔钱者寻死觅活,走上了维权道路。

“比特大陆最痛苦的是,前期得罪的人太多了,现在用拳头说话的时代已经过去了,需要更多的合作。”宝二爷对AI财经社说。

现在大家的选择越来越多,矿工的粘性也随着价格而不是品牌在流动,除了比特大陆的蚂蚁矿机,他们也可以选择买神马和阿瓦隆的机器。

而比特大陆矿机和芯片迭代步伐在明显放缓。自从2016年3月份推出16nm矿机芯片之后,直到2018年9月才开始有新产品出现。外界也因此质疑比特大陆将在矿机领域掉队。






据深圳比特微电子董事长杨作兴透露,比特大陆花重金研发过10nm和12nm的矿机芯片,但詹克团选择了一个功耗更低也更冒险的方案,最终失败,光12nm芯片就耗费了1亿美元。这个消息并没有得到比特大陆的回应,而杨作兴也不愿意透露消息的来源。

宝二爷一直对比特大陆漫长的业务链条持有怀疑。除了加密数字货币矿机,比特大陆开矿场,经营矿池,投资交易所,做加密数字货币钱包。

“比特大陆的最终逻辑是把自己搞得很累,而主力研发的产品利润没有得到绝对的垄断优势。”宝二爷说,“我没看到比特大陆变成了独角兽,变成了矿霸,而是一点一点被其他的四五家肢解市场。”

比特大陆的IPO历程也是一波三折,早前的消息是比特大陆将于8月30日提交招股书,后来推迟到9月下旬。直到9月19日,Coingeek创始人Calvin Ayre在Twitter上爆料称,比特大陆将终止IPO并尝试重组,“他们的技术不再起作用了,他们在其鲁莽的未经测试的虫洞分叉计划上失败了”。

一周后,比特大陆以提交招股书的方式终结了流言。事实上,Coinggeek和吴忌寒此前存在矛盾。8月30日,吴忌寒通过推特抨击Coingeek雇佣的都是小说作家,“报道的都不是新闻”。

看好者与看衰者两极分化。深创投一位资深投资人对AI财经社表示,比特大陆就是一家“昙花一现”的公司,一夜暴富后未来并不可期。他的判断基于其芯片设计能力,认为比特大陆之前做矿机芯片就是“一堆加法器的叠加”,这样的能力不足以应对未来复杂的人工智能芯片设计。





比特大陆自主研发7nm芯片 支持SHA256算法


而竞争对手却开始呈现赶超态势,嘉楠耘智抢在今年8月官宣了7nm矿机芯片,宣称这是全球首个7nm量产芯片,距离嘉楠耘智提交IPO招股书刚刚过去三个月。

不过,嘉楠耘智的7nm芯片受到很大争议,苹果公司的在9月份发布的新一代iPhone,采用的A12处理器就是采用7nm制程,先不考虑两者难度有天壤之别,仅从苹果公司的发布时间来看,其7nm芯片的量产应该远早于嘉楠耘智。甚至有人怀疑,嘉楠耘智也混淆了量产和试产的区别。

9月21日,比特大陆终于宣布即将量产下一代7nm ASIC芯片。从其官方披露的信息来看,新一代矿机芯片,无论是功耗还是性能都在圈子内有足够吸引力。只不过不太乐观的一面是,之前比特大陆的运势实在是太好了,无论是28nm芯片还是后来的16nm芯片,都赶上了币价疯涨的好时候,而当下的行情却持续低迷。

矿机的价格是最直接的晴雨表。随着币价持续低迷,挖矿变得无利可图,直接影响到了矿机销售。结果直接表现在了比特大陆第二季度的财务报表里。

比特大陆2017年的毛利为48.2%,半年后降到了36.2%。矿机的平均售价在下降。以2017年5月升级上市的S9i为例,售价6500元。而据AI财经社从矿机市场获得的最新消息, S9i 当下的价格降到了2950元。

据《台湾经济日报》报道,受销量和市场需求下降的影响,比特大陆第二季度对供应链砍单 50%—60%。

而AI财经社获悉,电子元器件分销商安富利因为比特大陆矿机销量的下滑,造成了接近2亿美元的元器件库存,安富利北区的总经理也因此下课。


寻找新大陆


相比于外界的非议,比特大陆更愿意把时间和精力解决自身业务的风险与困局:因矿机暴富的比特大陆一直有着被币价捆绑的隐忧。

全球矿机市场的规模在2017年为30亿美元,五年后预计将达到171亿美元。相比之下,AI芯片的增长速度将更为迅猛,将于五年后达到235亿美元,复合增长率超过62%。

2017年底,比特大陆正式对外公布了旗下首款AI芯片SOPHON BM1680,中文名为“算丰”。这是《三体》小说里外星球用来控制人类科技发展的机器人“智子”的英文名。

与其说投入大量算力和电力,去生产一堆公众感知很小的数字货币,AI芯片的应用领域显然带来了更多正向的社会价值。

但在AI芯片市场,比特大陆的对手从嘉楠耘智、比特微变成了英伟达——一个至今无人能撼动的角色。业界有着“防火防盗防老黄”的说法,这个老黄就是英伟达的创始人黄仁勋。

两年前,比特大陆从英伟达、英特尔、AMD等顶级芯片企业开始招募高级工程师,开发其AI芯片。

比特大陆还从英特尔挖来AI产品战略总监汤炜伟,他之前在英特尔负责高性能计算。汤炜伟透露,比特大陆将在ABCR(AI、大数据、云计算和机器人)四大领域布局重点。                                                                                

比特大陆在AI芯片的决心很大。招股书透露,截止2018年6月,比特大陆的员工人数超过了2500人,研发和行政人员的平均月薪都超过了7.5万元。据AI财经社获悉,比特大陆现在的人数已经超过了3500人,短短几个月时间增加了上千人,而重点投入到AI芯片的研发。






算力是比特大陆的优势,所以在AI芯片切入安防领域时,比特大陆也是从云端芯片着手,摄像头采集到数据后上传到云平台,然后对这些视频和图像进行海量计算分析。

不过,比特大陆看中的安防市场也是每位对手都紧盯的市场。相比于比特币世界,比特大陆在AI芯片领域遭遇的对手,无论是资本还是技术积累,都比以前更加强大。

除了英伟达之外,2017年11月,一向在终端AI芯片上发力的寒武纪首次推出了云端芯片。在此之前,这家有着中科院背景的AI芯片独角兽曾为华为手机的AI芯片提供技术。“在三年前,我们就开始了两颗测试芯片的研发了。我们时刻准备着将自己的产品放入云端。”寒武纪创始人陈天石表示。

还有一个潜在的有力对手是华为海思。这个拥有上万人但始终低调的华为芯片机构,是中国芯片设计行业的老大,比特大陆目前位列第二,但与第一相差甚远。

在今年8月,华为云总裁郑叶来接受AI财经社专访时透露,伴随人工智能时代的到来,原来通用硬件、芯片处理能力已经不够了,专用硬件和垂直方案的需求提上日程,华为将会在此发力。这也预示着,华为海思一定会研发针对云端的AI芯片。

比特大陆的AI芯片会突围吗?根据相关信息,它的第一代芯片已于2017年上半年流片量产,在当年11月份搭载芯片的板卡和服务器产品成熟后,正式发布。相比这波AI芯片浪潮中,一些PPT公司,比特大陆还算扎实。

比特大陆招股书里体现的AI营收很少。这也说明了人工智能芯片开拓市场的难度,要远远高于矿机芯片。比如,比特大陆瞄准的安防市场,属于典型的2B行业,需要一步步打通渠道,一步步让产品过关,这是漫长的通关过程。

汤炜伟说,比特大陆在探索新的业务模式,包括设备租赁,减少客户的升级和保修成本,但这种模式的缺点是前期投入比较大。但矿机市场的原始积累将给它带来充足的研发资金。相比于其他单纯依靠资本输血的公司,比特大陆简直是坐在一片金矿上。

在去年底的世界人工智能大会上,吴忌寒给出了一个乐观预测,未来5年内比特大陆40%的收入将来自AI芯片。这是一片新大陆,比特大陆能在此找到自己的绿洲吗?


撰文:周路平
编辑:赵艳秋 查看全部
bi1.jpg

吴忌寒


矿机生意将淘金卖水的故事演绎得淋漓尽致。

1.3亿美元,2.7亿美元,25.1亿美元,这是比特大陆在过去三年的营收。除了小米,几乎很难在国内找到一家成长如此迅速的企业。但即便是小米和雷军,也没有像比特大陆和它的CEO吴忌寒那样,遭遇如此多的争议和质疑。

现在,人们最关心的是,这样一家“一夜暴富”的公司,会不会仅仅是昙花一现?


理想信仰者还是恐怖分子?


2013年,投资经理吴忌寒在北京结识了做机顶盒芯片的詹克团。詹克团是典型的理工男,也具有福建商人的气质,低调务实,几乎没有接受过采访。之前甚至有媒体将詹克团写成清华大学计算机系毕本科毕业。但据AI财经社向官方核实,詹克团的本科毕业于山东大学,研究生在中科院微电子研究所。

吴忌寒与詹克团合伙创业时有过一份对赌协议,詹克团带领的技术团队如果能按时研发出达标的矿机芯片,整个团队就可以拿到60%的股份。2013年,詹克团花了6个月时间便开发出了比特大陆的第一代矿机,挖矿效率远超当时同行,成为比特大陆日后崛起的关键。

在这周在港交所提交IPO前,詹克团持有比特大陆36.58%的股份,而吴忌寒为20.5%。比特大陆也一直采用联席董事长和联席CEO的管理层设计,这在国内公司的运营中相当少见。

“我和Micree(詹克团)更多是一个互补组队的局面,就像一个乒乓球双打比赛,球打过来,谁在最佳接球位置谁说了算,大家配合比赛,获取胜利是关键。”这是吴忌寒第一次公开评价自己和创业伙伴的关系。吴忌寒出生于1986年,詹克团比他大了7岁。

两个人的性格差异很大,吴忌寒是北大心理学和经济学出身,长着娃娃脸,但在比特币的世界里,他愿意发声,也敢于与别人开火互怼,因此收获了一堆外号,大多是贬义,包括“矿霸”、“恐怖分子”。

但这位“矿霸”也有着侠客精神。一位比特大陆知情人士透露,吴忌寒曾告诫同事,当合作伙伴的体量较小时要对外积极宣传,能提携就提携,而当合作公司体量比自己更庞大时则不宜宣传,免得落下“抱大腿”的嫌疑。

在红杉资本的一场活动结束后,吴忌寒边看手机,边等待专车到来。当AI财经社拦住他并希望简单聊几句时,他没有拒绝,但表现得尤为谨慎,眼睛一直盯着记者的手机,担心被录音,一点也没有互联网上的洒脱。

而在今年中兴事件后,当全中国的公司都巴不得和“自主研发芯片”建立某种干系的时候,吴忌寒却告诉同事,别动不动对外喊自主。

在矿机的世界里,另一家企业嘉楠耘智的灵魂人物是张楠赓,江湖人称“南瓜张”,毕业于北航,曾与中科大少年班毕业的“烤猫” 蒋信予齐名。

相比于吴忌寒和南瓜张在圈内的知名度,还有一家矿机企业亿邦国际的创始人胡东,则游离于圈子外,一众币圈玩家都对他知之甚少。在官方文件里,胡东最早的业务是给电信运营商们提供设备和零配件。

“南瓜张”和胡东都属于性格低调的人,詹克团的想法也倾向于闷头做事,闷声发财。相比之下,吴忌寒较为西式,频频出席圈内活动,敢于表达,也不排斥媒体采访。

他并非一个完全嗜血的商人,在他的身上能够看到对比特币的信仰。今年3月,吴忌寒站在华盛顿的一个行业会议上,但却站在了美联储的对立面,鼓吹私有中央银行,探讨私有中央银行和货币的关系,以及如何通过比特币帮助人们远离恶性通货膨胀。

吴忌寒经常出现在类似的行业会议中,展现他对数字货币的理想主义。他也是公认第一位将中本聪白皮书翻译成中文的人,成了比特币的早期布道者。

他受邀为《算力之美》的书撰序。他用了华美而富有理想的语言描述了算力给人类带来的财富。他提到了内蒙古达拉特旗、新疆伊犁以及云南红河,在这些地方都曾分布着比特大陆的矿场。不过,由于内蒙古当地政府对挖矿本身的犹豫,比特大陆已经关闭了当地的矿场,而最新把矿场建到了美国。

但在他的反对者甚至是旁人看来,吴忌寒容易情绪化。他在推特上痛击意见相左者,就像别人抨击他那样。

在宝二爷的印象中,三十出头的吴忌寒,自尊心很强,甚至有点自负,“有啥不能说啥,反而是见谁怼谁”。宝二爷的真名叫郭宏才,也是币圈的传奇人物,卖牛肉出身,做矿场发了财,常年旅居海外。

他坦承与吴忌寒之间并无恩怨,他倒是希望吴忌寒能够在世界范围建立起中国币圈的影响力,“这个人要有大胸怀,大智慧,而不是把别人都打得干不下去了,只顾着自己一家子发展。”


一夜暴富


被宝二爷寄予厚望的吴忌寒,已经和自己的合伙人将比特大陆做到了全球矿机老大,在全球市场的占有率超过了70%,而旗下自建或投资的矿池算力接近全网一半。

“詹克团是芯片设计的高手,吴忌寒又是最早进入比特币社区的人,他们两个人是天作之合。”闪电智能CEO廖翔分析比特大陆在一大批矿机厂商中存活并壮大的原因。

相对于其他矿机企业,比特大陆成功的关键因素是,在合适的时间造出了性能和功耗表现出色的矿机芯片。在比特大陆的招股书中,推出28nm的S7矿机芯片和16nm的S9矿机芯片,都被列为里程碑事件。

在几年之前,整个币圈和矿机市场遭遇过一轮洗牌。背景是2014年美联储对比特币持消极态度,比特币的价格从年初的9000元,一路跌到年末的800元。一大批矿机厂商被洗牌出局,包括烤猫矿机、Bitfury和KnCMiner。

但比特大陆没停止研发,不断迭代产品。从它的发展历程可以清晰地看到:2014年6月,第一版28nm芯片研发成功;7月,搭载28nm芯片的蚂蚁矿机S3量产;12月,蚂蚁矿机S5量产;2015年8月,第四代矿机芯片BM1385发布;11月,蚂蚁矿机S7量产。

谨慎储备现金的意识,也让比特大陆得以应对这一疯狂市场的大起大落。“对传统公司来说,今年生意这么大,明年生意这么小,他们肯定受不了。但对我们来说,大的时候,就要想好明年会这么小,要准备更多现金。未来即使币价低迷3年,公司还是要能很好地活着。”比特大陆联合创始人詹克团在接受外媒采访时说。

等到2015年下半年,比特币价格逐渐回暖,执着和谨慎,让比特大陆成了比特币价格回暖的直接受益者。比特大陆的蚂蚁矿机,几乎是矿机市场上最有竞争力的产品。

bi2.jpg

坐落于鄂尔多斯的比特币矿场


廖翔则给AI财经社提供了另外一个比特大陆暴富的版本。它在自己造芯片之前买阿瓦隆的芯片做矿机,因为矿机交不上货,客户找它退钱,才知道比特大陆已经把钱都拿去做芯片了。好在芯片很快出来后,性能和功耗甚至比预期还要突出。

之后的故事就变得梦幻了。比特币从几百美元涨到七八千美元,又从七八千美元涨到了逼近两万美元。

币价的疯涨直接刺激了矿机生产商的销量,比特大陆旗下搭载了最新款芯片的蚂蚁S7大卖,成了比特大陆走向行业龙头的关键。年初卖五六千元一台的矿机,到了2017年末卖到3万元。

由于崛起速度太快,比特大陆起初被认为是一家“神秘的公司”。直到后来,不断上演的淘金卖水的故事,才将这种神秘感打破。

与公司销售额一起水涨船高的是比特大陆的估值。比特大陆历史上拿过三轮融资,并在pre-IPO轮融资后估值达到140亿-150亿美元。这种速度几乎打破了国内科技公司的估值上升纪录。

外界质疑价格太高的声浪一浪高过一浪,质问谁会为这个千亿市值买单?不过,同在筹备中的嘉楠耘智,其P/E倍数是比特大陆的6倍。

在比特大陆之外,卖矿机的企业几乎都在这一波上涨行情中赚到了钱。位于浙江的嘉楠耘智在2016年的营收只有3亿元,次年猛增到13亿元。

嘉楠耘智在很长一段时间的业务是销售矿机ASIC芯片。这是一类专门针对某矿机开发的芯片。直到2016年,嘉楠耘智暂停了这部分业务,转而全面卖矿机。杨作兴对AI财经社分析说,早期卖芯片后来被证明是一种失败的商业模式,当时很大一个原因是从芯片到矿机的量产能力太差,烤猫的一款芯片在2014年3月发布,直到7月才见到矿机。而当下从芯片到矿机只需要一个星期时间。

而比特大陆一开始就直接卖矿机。对于很多买矿机的人而言,光提供芯片并不能满足他们的要求。

亿邦国际也是浙江的一家企业,最早的业务是给电信运营商们提供设备和零配件。矿机生意的高毛利很快让他们调整了业务方向。由于挖矿生意的兴隆,它的区块链业务,从2900万元猛增到9.2亿元,电信业务的比重则变成了可怜的5%。

连给矿机厂商代工芯片制造的台积电也迎来了第二春,2017年的增长达到44%,今年预计增长79%,这背后中国矿机厂商功不可没。

矿机企业的利润高得惊人。随着矿机的走俏,嘉楠耘智的毛利率涨到了46.2%。

作为业内龙头,比特大陆的毛利更是高得吓人。2016、2017、2018第一季度的毛利润率为56.91%、57.21%、59.97%,同期的净利润则达到了42.8%、49.40%、59.99%。

从比特大陆的角度来分析,现在上市算是恰当的时机。从公司本身看,它经历了数字货币牛市,业务日趋成熟,即便市场在转弱,还能交出一份不错的财报,可以获得不低的估值。而它的下一步是研发AI芯片,这无疑是当下最时髦的行当。

从外部环境来看,资本市场尤其是私募基金投资全线缩紧,钱荒的风声此起彼伏。矿机界的竞争对手都已经向港交所提交了招股书。进入公开市场,能让比特大陆获得更多资本的加持。


围攻比特大陆


无论在哪儿,人们都不太喜欢一夜暴富的人。在比特币的生态社区里,不喜欢甚至敌视比特大陆的人并不少见,至少有两件事让比特大陆不受待见:一是比特大陆掌握的算力过于庞大,而比特币的世界里崇尚去中心化,一个币圈人的典型担忧是“51%攻击”,但比特大陆正在成为那个中心,具备了那个攻击性。

吴忌寒一再引述中本聪白皮书的内容:即便攻击成功,整个系统也并非就此完全受制于攻击者的独断意志;一个攻击者能做的,最多是更改他自己的交易信息,并试图拿回他刚刚付给别人的钱。

另一个让比特大陆饱受争议的是它支持了比特币现金(BCH)。2017年,整个币圈都在为比特币是否要进行区块扩容的方案争吵不休。围绕这个问题,比特币社区出现了两大阵营,以吴忌寒为代表的“大矿池”一派,和以Core为代表的“比特币核心开发团队”。

Core团队主要是一些技术人员,自比特币诞生以来做着技术维护的工作。他们认为,吴忌寒支持的BCH扩容方案,使得参与的节点越来越少,降低了去中心化程度,违背了比特币的核心精神。而吴忌寒在对方眼中,被看作是追逐利益的“商人”。

在没有达成共识的情况下,由比特大陆投资的矿池ViaBTC突然在2017年8月实施了硬分叉行动,从比特币分叉出BCH(比特币现金)。相比于拥挤的比特币社区,新的方案将比特币区块大小扩容到了8M。

比特大陆将手中的比特币大部分换成了比特币现金。比特大陆的一份投资路演PPT显示,其持有的比特币从2016年底的71560枚降到了22082枚,而BCH则增加到了102万枚。不难发现,比特大陆在抛售比特币,转而持有分叉币BCH。

比特大陆确实展现出了它在市场上的影响力。BCH在短时间内就以比特币10%的总市值规模,站到了数字加密货币的第三名。

港交所披露比特大陆的IPO招股书当天,BCH暴涨,24小时涨幅达17.26%,打破了“美联储加息,币圈血流成河”的魔咒。

而这却引起了很多比特币忠实用户的不满。“小寒走错一步棋就是力挺了BCH。”宝二爷对AI财经社表示,比特币是主链,BCH是分叉链,虽然分叉链涨得更猛,但在社区心目中,除了比特币,其他分叉币都是山寨币。

“比特大陆如果以后出问题的话,就出现在这个方面,这是一个它背不起的包袱。”廖翔说。

在比特币的社区里,曾有过一个简单的线上投票:如果BCH分裂成CSW和矿霸链(比特大陆),你支持哪边?超过50%的人支持了前者,支持比特大陆的人只有13%,剩下的人选择中立。

“之前很多币圈的公司有点像欺负小孩儿似的,天天欺负小寒的公司,弄得挺不是滋味儿的。这个不太对。”宝二爷对AI财经社说,吴忌寒发展好的时候大家都捧着,但稍微有点风吹草动,所有脏水立刻都泼了过来。

麻烦事接踵而至。随着矿场越来越散户化,2015年比特大陆的客户数量接近6000个,而到2018年中已经超过了8万个。大量的小矿工进入,给市场增加了不少泡沫和韭菜,当然也增添了不理智因素。

今年5月,比特大陆的蚂蚁B3矿机引起了诸多不满,这款专门用来挖BTM(比原链)的矿机售价高达1.7万元,却陷入了虚假宣传和算力不达标的争议,遭多名购买者上门索赔。比特大陆觉得委屈,一位知情人士告诉AI财经社,其实在组织直播宣传之前,矿机已经售罄,并不存在误导嫌疑。

然而在这个从来不缺乏暴富故事的圈子里,也从来不会缺少贪婪和纠纷。赚钱者欢天喜地,成了新的宣传样本;赔钱者寻死觅活,走上了维权道路。

“比特大陆最痛苦的是,前期得罪的人太多了,现在用拳头说话的时代已经过去了,需要更多的合作。”宝二爷对AI财经社说。

现在大家的选择越来越多,矿工的粘性也随着价格而不是品牌在流动,除了比特大陆的蚂蚁矿机,他们也可以选择买神马和阿瓦隆的机器。

而比特大陆矿机和芯片迭代步伐在明显放缓。自从2016年3月份推出16nm矿机芯片之后,直到2018年9月才开始有新产品出现。外界也因此质疑比特大陆将在矿机领域掉队。

bi3.jpg


据深圳比特微电子董事长杨作兴透露,比特大陆花重金研发过10nm和12nm的矿机芯片,但詹克团选择了一个功耗更低也更冒险的方案,最终失败,光12nm芯片就耗费了1亿美元。这个消息并没有得到比特大陆的回应,而杨作兴也不愿意透露消息的来源。

宝二爷一直对比特大陆漫长的业务链条持有怀疑。除了加密数字货币矿机,比特大陆开矿场,经营矿池,投资交易所,做加密数字货币钱包。

“比特大陆的最终逻辑是把自己搞得很累,而主力研发的产品利润没有得到绝对的垄断优势。”宝二爷说,“我没看到比特大陆变成了独角兽,变成了矿霸,而是一点一点被其他的四五家肢解市场。”

比特大陆的IPO历程也是一波三折,早前的消息是比特大陆将于8月30日提交招股书,后来推迟到9月下旬。直到9月19日,Coingeek创始人Calvin Ayre在Twitter上爆料称,比特大陆将终止IPO并尝试重组,“他们的技术不再起作用了,他们在其鲁莽的未经测试的虫洞分叉计划上失败了”。

一周后,比特大陆以提交招股书的方式终结了流言。事实上,Coinggeek和吴忌寒此前存在矛盾。8月30日,吴忌寒通过推特抨击Coingeek雇佣的都是小说作家,“报道的都不是新闻”。

看好者与看衰者两极分化。深创投一位资深投资人对AI财经社表示,比特大陆就是一家“昙花一现”的公司,一夜暴富后未来并不可期。他的判断基于其芯片设计能力,认为比特大陆之前做矿机芯片就是“一堆加法器的叠加”,这样的能力不足以应对未来复杂的人工智能芯片设计。

bi4.jpg

比特大陆自主研发7nm芯片 支持SHA256算法


而竞争对手却开始呈现赶超态势,嘉楠耘智抢在今年8月官宣了7nm矿机芯片,宣称这是全球首个7nm量产芯片,距离嘉楠耘智提交IPO招股书刚刚过去三个月。

不过,嘉楠耘智的7nm芯片受到很大争议,苹果公司的在9月份发布的新一代iPhone,采用的A12处理器就是采用7nm制程,先不考虑两者难度有天壤之别,仅从苹果公司的发布时间来看,其7nm芯片的量产应该远早于嘉楠耘智。甚至有人怀疑,嘉楠耘智也混淆了量产和试产的区别。

9月21日,比特大陆终于宣布即将量产下一代7nm ASIC芯片。从其官方披露的信息来看,新一代矿机芯片,无论是功耗还是性能都在圈子内有足够吸引力。只不过不太乐观的一面是,之前比特大陆的运势实在是太好了,无论是28nm芯片还是后来的16nm芯片,都赶上了币价疯涨的好时候,而当下的行情却持续低迷。

矿机的价格是最直接的晴雨表。随着币价持续低迷,挖矿变得无利可图,直接影响到了矿机销售。结果直接表现在了比特大陆第二季度的财务报表里。

比特大陆2017年的毛利为48.2%,半年后降到了36.2%。矿机的平均售价在下降。以2017年5月升级上市的S9i为例,售价6500元。而据AI财经社从矿机市场获得的最新消息, S9i 当下的价格降到了2950元。

据《台湾经济日报》报道,受销量和市场需求下降的影响,比特大陆第二季度对供应链砍单 50%—60%。

而AI财经社获悉,电子元器件分销商安富利因为比特大陆矿机销量的下滑,造成了接近2亿美元的元器件库存,安富利北区的总经理也因此下课。


寻找新大陆


相比于外界的非议,比特大陆更愿意把时间和精力解决自身业务的风险与困局:因矿机暴富的比特大陆一直有着被币价捆绑的隐忧。

全球矿机市场的规模在2017年为30亿美元,五年后预计将达到171亿美元。相比之下,AI芯片的增长速度将更为迅猛,将于五年后达到235亿美元,复合增长率超过62%。

2017年底,比特大陆正式对外公布了旗下首款AI芯片SOPHON BM1680,中文名为“算丰”。这是《三体》小说里外星球用来控制人类科技发展的机器人“智子”的英文名。

与其说投入大量算力和电力,去生产一堆公众感知很小的数字货币,AI芯片的应用领域显然带来了更多正向的社会价值。

但在AI芯片市场,比特大陆的对手从嘉楠耘智、比特微变成了英伟达——一个至今无人能撼动的角色。业界有着“防火防盗防老黄”的说法,这个老黄就是英伟达的创始人黄仁勋。

两年前,比特大陆从英伟达、英特尔、AMD等顶级芯片企业开始招募高级工程师,开发其AI芯片。

比特大陆还从英特尔挖来AI产品战略总监汤炜伟,他之前在英特尔负责高性能计算。汤炜伟透露,比特大陆将在ABCR(AI、大数据、云计算和机器人)四大领域布局重点。                                                                                

比特大陆在AI芯片的决心很大。招股书透露,截止2018年6月,比特大陆的员工人数超过了2500人,研发和行政人员的平均月薪都超过了7.5万元。据AI财经社获悉,比特大陆现在的人数已经超过了3500人,短短几个月时间增加了上千人,而重点投入到AI芯片的研发。

bi5.jpg


算力是比特大陆的优势,所以在AI芯片切入安防领域时,比特大陆也是从云端芯片着手,摄像头采集到数据后上传到云平台,然后对这些视频和图像进行海量计算分析。

不过,比特大陆看中的安防市场也是每位对手都紧盯的市场。相比于比特币世界,比特大陆在AI芯片领域遭遇的对手,无论是资本还是技术积累,都比以前更加强大。

除了英伟达之外,2017年11月,一向在终端AI芯片上发力的寒武纪首次推出了云端芯片。在此之前,这家有着中科院背景的AI芯片独角兽曾为华为手机的AI芯片提供技术。“在三年前,我们就开始了两颗测试芯片的研发了。我们时刻准备着将自己的产品放入云端。”寒武纪创始人陈天石表示。

还有一个潜在的有力对手是华为海思。这个拥有上万人但始终低调的华为芯片机构,是中国芯片设计行业的老大,比特大陆目前位列第二,但与第一相差甚远。

在今年8月,华为云总裁郑叶来接受AI财经社专访时透露,伴随人工智能时代的到来,原来通用硬件、芯片处理能力已经不够了,专用硬件和垂直方案的需求提上日程,华为将会在此发力。这也预示着,华为海思一定会研发针对云端的AI芯片。

比特大陆的AI芯片会突围吗?根据相关信息,它的第一代芯片已于2017年上半年流片量产,在当年11月份搭载芯片的板卡和服务器产品成熟后,正式发布。相比这波AI芯片浪潮中,一些PPT公司,比特大陆还算扎实。

比特大陆招股书里体现的AI营收很少。这也说明了人工智能芯片开拓市场的难度,要远远高于矿机芯片。比如,比特大陆瞄准的安防市场,属于典型的2B行业,需要一步步打通渠道,一步步让产品过关,这是漫长的通关过程。

汤炜伟说,比特大陆在探索新的业务模式,包括设备租赁,减少客户的升级和保修成本,但这种模式的缺点是前期投入比较大。但矿机市场的原始积累将给它带来充足的研发资金。相比于其他单纯依靠资本输血的公司,比特大陆简直是坐在一片金矿上。

在去年底的世界人工智能大会上,吴忌寒给出了一个乐观预测,未来5年内比特大陆40%的收入将来自AI芯片。这是一片新大陆,比特大陆能在此找到自己的绿洲吗?


撰文:周路平
编辑:赵艳秋

美国科技公司为中国主要港口提供区块链供应链解决方案

资讯chainb 发表了文章 • 2018-09-25 11:40 • 来自相关话题

美国科技公司Ideanomics已与亚太模范电子港口网络(APMEN)贸易技术公司合作,通过区块链技术简化供应链。Ideanomics与APMEN贸易技术公司一起,旨在利用区块链和所谓的“超级人工智能”,为亚太经济合作组织(APEC)在线港口清关系统中的港口清关和运输处理削减“中间商”。

根据9月20日星期四发布的新闻稿,美国科技公司Ideanomics已与亚太模范电子港口网络(APMEN)贸易技术公司合作,通过区块链技术简化供应链。

Ideanomics与APMEN贸易技术公司一起,旨在利用区块链和所谓的“超级人工智能”,为亚太经济合作组织(APEC)在线港口清关系统中的港口清关和运输处理削减“中间商”。

这些工具的第一次使用将发生在中国的两个主要港口——上海和广州,前者在2017年是世界上最繁忙的港口。

此举标志着区块链行业不断增长的趋势,一大批大公司希望通过技术的引入来代替传统的供应链基础设施。

在有关Ideanomics和APMEN Tech Trade Co.合作伙伴关系的新闻稿中,Ideanomics董事长兼联合首席执行官Bruno Wu表示:

“我们将整合来自不同合作伙伴的业务数据,与单一窗口合作建立风险控制模型,为监管机构和企业提供风险控制服务。”


新闻稿指出,Ideanomics将拥有新合资企业60%的股份,并承诺在年底之前将在中国证券交易所上市。

随着行业的扩大,一些消息来源最近对区块链供应链效率持怀疑态度,并警告这可能是“炒作”。

Tradeshift首席执行官Christian Lanng上周在中国举行的世界经济论坛上发言,甚至表示区块链在当前状态下并不适合“高效”地适应这种规模。

“每当人们说区块链时,我认为他们真正说的是他们想要以数字方式连接东西,”他建议道。



原文:US Tech Firm Eyes Blockchain Supply Chain Solution for Major Chinese Ports
作者:William Suberg
编译:Miranda
来源:cointelegraph 查看全部
740_aHR0cHM6Ly9zMy5jb2ludGVsZWdyYXBoLmNvbS9zdG9yYWdlL3VwbG9hZHMvdmlldy9jYjE4YmJhODUxMGIxZDFhN2IxNjg4NzNhYTY4Y2NiNC5qcGc.jpg

美国科技公司Ideanomics已与亚太模范电子港口网络(APMEN)贸易技术公司合作,通过区块链技术简化供应链。Ideanomics与APMEN贸易技术公司一起,旨在利用区块链和所谓的“超级人工智能”,为亚太经济合作组织(APEC)在线港口清关系统中的港口清关和运输处理削减“中间商”。

根据9月20日星期四发布的新闻稿,美国科技公司Ideanomics已与亚太模范电子港口网络(APMEN)贸易技术公司合作,通过区块链技术简化供应链。

Ideanomics与APMEN贸易技术公司一起,旨在利用区块链和所谓的“超级人工智能”,为亚太经济合作组织(APEC)在线港口清关系统中的港口清关和运输处理削减“中间商”。

这些工具的第一次使用将发生在中国的两个主要港口——上海和广州,前者在2017年是世界上最繁忙的港口。

此举标志着区块链行业不断增长的趋势,一大批大公司希望通过技术的引入来代替传统的供应链基础设施。

在有关Ideanomics和APMEN Tech Trade Co.合作伙伴关系的新闻稿中,Ideanomics董事长兼联合首席执行官Bruno Wu表示:


“我们将整合来自不同合作伙伴的业务数据,与单一窗口合作建立风险控制模型,为监管机构和企业提供风险控制服务。”



新闻稿指出,Ideanomics将拥有新合资企业60%的股份,并承诺在年底之前将在中国证券交易所上市。

随着行业的扩大,一些消息来源最近对区块链供应链效率持怀疑态度,并警告这可能是“炒作”。

Tradeshift首席执行官Christian Lanng上周在中国举行的世界经济论坛上发言,甚至表示区块链在当前状态下并不适合“高效”地适应这种规模。


“每当人们说区块链时,我认为他们真正说的是他们想要以数字方式连接东西,”他建议道。




原文:US Tech Firm Eyes Blockchain Supply Chain Solution for Major Chinese Ports
作者:William Suberg
编译:Miranda
来源:cointelegraph

45%区块链项目一年后价值归零 人工智能的预测能信吗?

攻略blockbeats 发表了文章 • 2018-09-21 12:05 • 来自相关话题

如果人工智能可以帮你预测未来的价格并且帮你做出投资决定,你会把钱交给人工智能吗?

在媒体上,我们看到有关人工智能帮助人类做出投资决策的新闻分为两类,一种是人工智能管理的基金在「一顿操作」之后没有赚钱、甚至亏钱,另外一种是人工智能在股票市场的表现超越专业的基金经理,实现逆市盈利。

国外有一家名为 Wallet Investor 的网站,专门做人工智能对各种金融产品的预测,包括股票、外汇、商品期货、基金等,最近他们还加入了对数字加密货币的人工智能预测。Wallet Investor 通过对金融产品的交易量、近期和历史价格、发展趋势等数据,将其投入人工智能预测模型中,得出一个有一定参考意义的投资参考。但是对于区块链世界的数字加密货币投资,这个市场真的可以预测吗?

以股票、大宗商品为例,老练的投资者是可以根据市场信息、波动趋势来判断买入卖出点的,总体宏观上是可以进行预测的。但是数字加密货币市场存在更多的不可控因素,比如私募投资者、交易所、黑客等诸多因素都将导致 BTC、ETH 等数字机密货币发生不可预测的变化。

让我们来看一下人工智能给数字加密货币投资建议,到底一顿操作之后,是猛如虎,还是 0:5 呢?


人工智能预测 45% 的 ICO 项目一年后价值归零


根据这家网站的人工智能分析,我们看到它对每个数字加密货币的价格都进行了预测,时间范围包括 14 天、3 个月、6 个月、1 年和 5 年等。

在这份数据中我们发现了几个有意思的数据,比如多个主流币种将在一年内归零,如 ETH、BCH、ADA、QTM 等,还有一些知名项目比如 OMG、Gifto、Cybermiles、Bit-z、秘银币等多个项目,也将面临归零的风险。而列表中,BTC、EOS、XRP、莱特币、门罗币等项目将实现翻倍。











在整个列表中,有约 960 个 Token 被人工智能预测为「一年后价值归零,价格下跌 100%」,还有上百个 Token 在未来一年里「价格下跌 80% 以上」,可以说是哀「红」一片。

有 355 个 Token 被人工智能预测为「一年后价值翻倍」,其中 19 个项目可以实现 10 倍的价值增长。我们熟悉的项目比如 BTC、EOS、XRP、LTC、DASH、ETC、TRX 等都将实现最少一倍的增长。


但是人工智能的预测真的准吗?


实际上,在预测价格方面,人工智能做的一直很差。曾一度被人称之为是「人工智障」。因为模型的精度、权重和预测数据来源等多方面原因,人工智能对于一件事情的预测仍然出在很早的阶段。

在 Wallet Investor 的暴涨 10 倍币列表里,我们看到了几个令人匪夷所思的项目,比如已经被宣判死刑的 Centra。这是一个被区块律动 BlockBeats 写过的项目,该项目由美国拳王梅威瑟代言,但是因为存在商业欺诈行为,该项目定美国方面定性为诈骗,创始人在机场被警方抓捕。该项目已经基本进入死亡阶段,仅剩少数人进行交易,过去 24 小时的交易量仅 2000 美元。






另外 10 倍币的榜单中也有大量空气币项目,比如排名第一的 Mercury Protocl 项目已经接近被统计网站除名的状态,过去 24 小时的交易量不足 100 美元。对,你没看错,这个项目已经死了。排名第三的 Blockchain Index,过去 24 小时的交易量不足 200 美元。排名第四的项目 10M Token 未被 CoinMarketCap 收录。排名第五的 Xplay,过去 24 小时的交易量不到 300 美元。

而在归零币的列表中,我们也看到几个令人感到困惑的项目出现在上面,比如以太坊的代币 ETH 将会在一年内归零,比特币现金一年后将下跌 99.9983%,几乎归零,达世币也会归零,知名技术项目 ADA 也会归零,每日交易量近 5000 币的量子链 QTM 等都将归零。

不可否认,上述 5 个项目近期的表现确实差强人意,尤其是 ETH 更是被媒体和专业人士做空即将归零。但是像以太坊、比特币现金、达世币、量子链等已经成型的项目,他们已经产生了相应的社会价值,理论上很难归零。

这里就不得不开始怀疑人工智能到底能不能做投资分析和判断,他们的决策真的有可信度吗?


人工智能到底行不行?


2017 年,全球第一支应用人工智能进行投资的 ETF 基金 AIEQ 开始运作。这只基金的经理是一个跑在 IBM Watson 超级计算机上「人工智能」,它可以一年 365 天、一天 24 小时不间断地对 6000 支股票进行分析和交易。

在许多人眼里,人工智能速度更快、判断更准,而且相比于传统的纯人工投资,可以对更多的投资标的做出操作。原先需要人工大量时间做出的投资决定,人工智能只需要几秒钟。在上线的前两天,这只人工智能投资基金轻轻松松地就跑赢了大盘,看上去人工智能好像即将实现惊天逆转,让不少基金经理、交易员和分析师开始担心自己饭碗不保。

然而一个月之后,AIEQ 累积跌了 3.27%,而同期美国标普 500 指数却上涨了 1.06%。在那波牛市里,投资者随便买一只股票都比 AIEQ 赚的多。但是在美股今年的利好下,AIEQ 又开始了漂亮转身的操作,标准普尔 500 指数今年回报约为 8%,而 AIEQ 的回报已经达到了 12%,后者的投资者可以获得 4% 的超额收益。

除了美国之外,中国的不少机构也在涉足人工智能投资顾问业务,比如招商银行的摩羯智投、工商银行的 AI 投、宜信投米 RA、理财魔法、璇玑等。根据《轻金融》统计,只有璇玑的投资收益是正的,其他四家的智能投顾都是负数。但是对比沪深 300 指数同期 10% 跌幅的话,剩下的四家表现其实也不算差。






风险分析师陆晨在一财的采访中表示,现在「很多的 AI」是回溯历史大数据的统计方法,统计的黑匣子胃口食量很大,要喂给它大量的历史数据才能对未来有非常局限的预测。同时这个预测是很固定静态的,根据这个预测再针对未来设定相应的解决方式,要面对未来的不确定性。然而,市场是瞬息万变的,时间又不停息,原有的固定起点变成了历史。

虽然上市公司会主动披露很多数据,而且隐藏在数据背后的很多信息是人工智能无法分析出来的。比如虽然披露了员工数量,但是员工的状态需要现场考察才能确定;虽然财报上展示了业务数据,但也有可能出现绿诺科技这种只有亲自去现场才能发现其造假。诸如此类的问题,人工智能虽然可以预测,但是其预测结果并不准确。

再回到本文的人工智能分析币价上,从这个网站给出的数据中的大量偏差就可以看出,数字加密货币市场几乎无法做出预测。这与数字加密货币市场的混乱现状有很大关系,也与参与分析的人工智能其智能程度也有很大的关系。

人工智能肯定是不知道庄家会在什么时候拉盘的。


文| 0x2  查看全部
algorithmic-trading-software-system.jpg

如果人工智能可以帮你预测未来的价格并且帮你做出投资决定,你会把钱交给人工智能吗?

在媒体上,我们看到有关人工智能帮助人类做出投资决策的新闻分为两类,一种是人工智能管理的基金在「一顿操作」之后没有赚钱、甚至亏钱,另外一种是人工智能在股票市场的表现超越专业的基金经理,实现逆市盈利。

国外有一家名为 Wallet Investor 的网站,专门做人工智能对各种金融产品的预测,包括股票、外汇、商品期货、基金等,最近他们还加入了对数字加密货币的人工智能预测。Wallet Investor 通过对金融产品的交易量、近期和历史价格、发展趋势等数据,将其投入人工智能预测模型中,得出一个有一定参考意义的投资参考。但是对于区块链世界的数字加密货币投资,这个市场真的可以预测吗?

以股票、大宗商品为例,老练的投资者是可以根据市场信息、波动趋势来判断买入卖出点的,总体宏观上是可以进行预测的。但是数字加密货币市场存在更多的不可控因素,比如私募投资者、交易所、黑客等诸多因素都将导致 BTC、ETH 等数字机密货币发生不可预测的变化。

让我们来看一下人工智能给数字加密货币投资建议,到底一顿操作之后,是猛如虎,还是 0:5 呢?


人工智能预测 45% 的 ICO 项目一年后价值归零


根据这家网站的人工智能分析,我们看到它对每个数字加密货币的价格都进行了预测,时间范围包括 14 天、3 个月、6 个月、1 年和 5 年等。

在这份数据中我们发现了几个有意思的数据,比如多个主流币种将在一年内归零,如 ETH、BCH、ADA、QTM 等,还有一些知名项目比如 OMG、Gifto、Cybermiles、Bit-z、秘银币等多个项目,也将面临归零的风险。而列表中,BTC、EOS、XRP、莱特币、门罗币等项目将实现翻倍。

c798ebe181de2c795513e91a1d0ddd31.jpg


fbadfa8e551577313147fc07ffa41f5a.jpg


在整个列表中,有约 960 个 Token 被人工智能预测为「一年后价值归零,价格下跌 100%」,还有上百个 Token 在未来一年里「价格下跌 80% 以上」,可以说是哀「红」一片。

有 355 个 Token 被人工智能预测为「一年后价值翻倍」,其中 19 个项目可以实现 10 倍的价值增长。我们熟悉的项目比如 BTC、EOS、XRP、LTC、DASH、ETC、TRX 等都将实现最少一倍的增长。


但是人工智能的预测真的准吗?


实际上,在预测价格方面,人工智能做的一直很差。曾一度被人称之为是「人工智障」。因为模型的精度、权重和预测数据来源等多方面原因,人工智能对于一件事情的预测仍然出在很早的阶段。

在 Wallet Investor 的暴涨 10 倍币列表里,我们看到了几个令人匪夷所思的项目,比如已经被宣判死刑的 Centra。这是一个被区块律动 BlockBeats 写过的项目,该项目由美国拳王梅威瑟代言,但是因为存在商业欺诈行为,该项目定美国方面定性为诈骗,创始人在机场被警方抓捕。该项目已经基本进入死亡阶段,仅剩少数人进行交易,过去 24 小时的交易量仅 2000 美元。

695472221f7db9fe0450aaf3d05c97f8.jpg


另外 10 倍币的榜单中也有大量空气币项目,比如排名第一的 Mercury Protocl 项目已经接近被统计网站除名的状态,过去 24 小时的交易量不足 100 美元。对,你没看错,这个项目已经死了。排名第三的 Blockchain Index,过去 24 小时的交易量不足 200 美元。排名第四的项目 10M Token 未被 CoinMarketCap 收录。排名第五的 Xplay,过去 24 小时的交易量不到 300 美元。

而在归零币的列表中,我们也看到几个令人感到困惑的项目出现在上面,比如以太坊的代币 ETH 将会在一年内归零,比特币现金一年后将下跌 99.9983%,几乎归零,达世币也会归零,知名技术项目 ADA 也会归零,每日交易量近 5000 币的量子链 QTM 等都将归零。

不可否认,上述 5 个项目近期的表现确实差强人意,尤其是 ETH 更是被媒体和专业人士做空即将归零。但是像以太坊、比特币现金、达世币、量子链等已经成型的项目,他们已经产生了相应的社会价值,理论上很难归零。

这里就不得不开始怀疑人工智能到底能不能做投资分析和判断,他们的决策真的有可信度吗?


人工智能到底行不行?


2017 年,全球第一支应用人工智能进行投资的 ETF 基金 AIEQ 开始运作。这只基金的经理是一个跑在 IBM Watson 超级计算机上「人工智能」,它可以一年 365 天、一天 24 小时不间断地对 6000 支股票进行分析和交易。

在许多人眼里,人工智能速度更快、判断更准,而且相比于传统的纯人工投资,可以对更多的投资标的做出操作。原先需要人工大量时间做出的投资决定,人工智能只需要几秒钟。在上线的前两天,这只人工智能投资基金轻轻松松地就跑赢了大盘,看上去人工智能好像即将实现惊天逆转,让不少基金经理、交易员和分析师开始担心自己饭碗不保。

然而一个月之后,AIEQ 累积跌了 3.27%,而同期美国标普 500 指数却上涨了 1.06%。在那波牛市里,投资者随便买一只股票都比 AIEQ 赚的多。但是在美股今年的利好下,AIEQ 又开始了漂亮转身的操作,标准普尔 500 指数今年回报约为 8%,而 AIEQ 的回报已经达到了 12%,后者的投资者可以获得 4% 的超额收益。

除了美国之外,中国的不少机构也在涉足人工智能投资顾问业务,比如招商银行的摩羯智投、工商银行的 AI 投、宜信投米 RA、理财魔法、璇玑等。根据《轻金融》统计,只有璇玑的投资收益是正的,其他四家的智能投顾都是负数。但是对比沪深 300 指数同期 10% 跌幅的话,剩下的四家表现其实也不算差。

250ca9bdd35ef4f60eb3eb63f8893732.jpg


风险分析师陆晨在一财的采访中表示,现在「很多的 AI」是回溯历史大数据的统计方法,统计的黑匣子胃口食量很大,要喂给它大量的历史数据才能对未来有非常局限的预测。同时这个预测是很固定静态的,根据这个预测再针对未来设定相应的解决方式,要面对未来的不确定性。然而,市场是瞬息万变的,时间又不停息,原有的固定起点变成了历史。

虽然上市公司会主动披露很多数据,而且隐藏在数据背后的很多信息是人工智能无法分析出来的。比如虽然披露了员工数量,但是员工的状态需要现场考察才能确定;虽然财报上展示了业务数据,但也有可能出现绿诺科技这种只有亲自去现场才能发现其造假。诸如此类的问题,人工智能虽然可以预测,但是其预测结果并不准确。

再回到本文的人工智能分析币价上,从这个网站给出的数据中的大量偏差就可以看出,数字加密货币市场几乎无法做出预测。这与数字加密货币市场的混乱现状有很大关系,也与参与分析的人工智能其智能程度也有很大的关系。

人工智能肯定是不知道庄家会在什么时候拉盘的。


文| 0x2 

吴忌寒:未来十年区块链技术发展的8条主线

观点8btc 发表了文章 • 2018-09-11 15:26 • 来自相关话题

今天上午,在2018第四届区块链全球峰会上,比特大陆创始人吴忌寒讲到了未来十年的区块链技术发展的8条主线。本文根据吴忌寒现场演讲整理,内容有删减。


大家好。2008年,中本聪发布白皮书,区块链诞生,到今年已经第十年了。我在很早的时候就开始接触区块链,之后将所有积蓄都投入到里面。今天我想跟大家分享,未来区块链的十年的一些重要的技术课题。


第一条:隐私和安全问题。


首先,金融是区块链技术的第一大应用,隐私性和安全性是金融业务的第一大要点。在区块链技术上面,隐私性和安全性存在一个矛盾。那么,最早是UTXO和账户模型,它在系统安全性上有明显的优势的,因为它所有的交易记录,都是记录在链上,货币有没有被蒸发,或者说交易有没有出现明显的漏洞,那么所有的人对区块链的执行过程有很直观的观察。

所以呢,它是安全性更强,即便是你出了漏洞,那么你能够立即发现,系统可以迅速查出。

区块链上的交易能被实时观察到,隐私性不高。如果你是一个特别有钱的消费者,你也不希望你走进任何一个工厂或者你消费的时候,商家都对你个人资产的情况把握得特别清楚,每个人都会希望屏蔽自己。关于隐私性需求,我们过去已经做出了很多努力,未来我们怎样利用区块链去保护人的隐私和安全?未来的区块链的十年,肯定会在这对矛盾中往前发展。

如果说隐私性和安全性是一个的曲线的话,有的区块链肯定能将这个曲线外推到的最为远的位置,超越其他区块链的技术。我们也是非常期待有一些理论、框架的突破和解决这个矛盾。


第二条:技术中立性问题。


区块链是无国界的金融网络,但是,是有国界的参与者。有复杂的立法问题需要去解决。

比如说A国的一个金融产品的发行方,欺诈了另外一个国家的金融消费者,那么另外一个国家要不要对其他国家的犯罪方追究责任? 如果本国的一个区块链实施金融诈骗,欺诈了其他国家的金融消费者,这个如何解决?同时,资本跨国流动,它跟现在很多国家的制度相冲突,怎样提到全球金融市场上来?

区块链技术它本身的独立性,我相信它是很难打破的。为什么呢?因为区块链它是自由的。一个受到监管的区块链很难继续保持独立性。所以,我相信会有一个基于中立的区块链的监管机制。

最值得参考的就是互联网,在今天它也是中立的,它本身也是缺乏监管的,但是互联网从业者他们本身受到的监管越来越强,互联网的一些金融机构已经纳入到严格的立法框架中。同样,区块链发展过程中也会有一个监管框架,金融秩序的构建过程。这也会是未来十年的发展路线之一。







第三条:区块链的发展性能扩展问题。


区块链用户现在人数并不多,全网2000万人,增长曲线非常快。跟互联网过去的增长曲线相符合,我们其实可以预见,十年之内,整个区块链,用户人数可能会超过十亿人。这个用户规模的话,处理数据的性能压力需要四个数量级的提升。包括侧链和跨链、闪电网络、压缩交易的历史技术和综合采用硬件加速和平行化的软件工程技术。

首先是侧链技术与跨栏交互技术。这个技术在主链和侧链之间能够安全快速地互联,同时还能够去中心化,在理论上仍未很好地解决。这个解决方向有两个方面。一个是我们放弃去中心化的原则,用中心化来做主链和侧链之间的互联。另外一种是,理论上的突破,但是我个人对理论上的突破信心不是很大,如果将来能在这一块得到应用的话,中心化的解决方案可能是比较好的。

第二个是闪电网络。它被提出来以后,理论上是可行的,工程上也是可行的,但它的整个用户体验是有问题的。闪电网络将只会应用在machine和software上的特殊场景,它必须被包装为用户所不可感知的技术工具。凡是需要用户直接操作闪电网络的应用,它在整个经济上是不可行的,因为用户将来也不能去接受一些奇怪的系统异常现象。

第三个是对交易的历史进行压缩。交易它本身是不上链的,它只是把结果上链,它本身的交易压缩可以去提升普适性,也能够以小小的数据去记录庞大的交易历史的最终结果。但是,这种压缩交易历史的技术的是有安全隐患的,它的技能是极其困难的,如果编码或者译码在某一天被发现重大漏洞的话,可能会出现一些问题。

第四个是综合采用硬件加速和平行化的软件工程技术。这个在我看来是特别切实可行的。如果将来区块链更改它一些技术层面的架构,它的将来网络处理压力增大,它的软件网络架构不需要做大幅度的更改,只需要让运维线性增加硬件服务器即可,扩容就很容易实现。

这在我看来是最为切实可行的道路。如果将来区块链软件更改它的一些现有的几个架构,随着网络处理压力的增加,对于整个软件架构不需要做大幅度的更改,只需要平行、线性增加一点服务器即可,整个扩容在理论上就实现的。我们不应该相信市面上普遍存在的谎言,很多是为了吸引用户搞出来的噱头。比如在声称在自己的PC机上、服务器上,可以实现每秒百万级的TPS,这在专业人士听起来是非常可笑的事情。我们切实的工作方向,应该是在自己的软件架构修改为可以在一个T级别或者数百GB级别的区块上,它能够在简单平行增加服务器的情况下去处理交易,我觉得在软件架构上的努力,是一个实现的重要目标。当然这个目标现在是没有实现了绝大多数的区块链项目,它们现在基本上都是为单台服务器准备的,它们并没有为长期的平行化、并行化去做好最底层的架构设计。


第四,扩展区块链应用场景的专门技术。


区块链如何跟现实世界进行交互呢?大概有两个方向。 (一),需要现实世界的重要事件在区块链上面得到忠实的记录,比如有的企业发展食品溯源的区块链。 (二),希望区块链上的虚拟事件去驱动现实世界的物质产生变化。比如去中心化的Airbnb,去中心化的Airbnb就是你在区块链上订购了一个房间,当你走在房间的面前,锁认得你,因为它从区块链上租到了有关信息,你订了房间的一晚,它会自动为你打开。这是区块链上的虚拟事件,在驱动现实物质世界的变化。这个方向综合起来,就是所谓的区块链技术如何落地的问题。

但所有的落地尝试,以及这一波的项目,我认为几乎绝大多数都会失败,它们真正的机会窗口在未来可见的几年中都不会到来。但我相信在未来十年快要结束的时候,会看到一些有趣的项目开始出现。因为这样的一种特定的应用场景,所谓的落地技术,它都是涉及基础设施。就好像在流媒体的这一类创业活动,在互联网带宽真正发展起来之前,不可能出来巨头。在手机GPS应用出现之前,也不可能出现网约车或者货拉拉这种激动人心的互联网创业项目。区块链与现实世界的交互逻辑,现在依然缺乏必要的基础设施。

这样的基础设施和相应的区块链现实世界实现双向互联,肯定要受特定应用场景的驱动,这是鸡生蛋还是蛋生鸡的问题。如果你与现实世界的互动,如果现实世界偏虚拟一些,可能会更加容易。比方说一个流媒体的版权市场,在现在看来是高度可行的。因为它是一种数字资产版权的购买,它能够构建的基础设施所需要的成本是比较低的。







第五,区块链上的密码学算法的安全性。


我们期待在第二个十年快要结束的时候,量子计算机开始区域成熟。在区块链领域里面,现在所应用的密码学算法,再过一时间之后,可能在第二个十年快要结束的时候,会面临升级的压力。我想提醒的是,如果过早投入到抗量子密码学算法的研究,并付诸实施,这是一种不理性的行为。它更早是一种用于营销的噱头,因为现在这种压力并不大。而且你需要选定的量子抗泄密密码学算法,最好也是通用的。


第六,区块链的身份问题。


中本聪最早设计的公私钥系统,其实私钥就是区块链上的身份,它带来的技术门槛很高,就是私钥的情况非常普遍。如果我们把公私钥的体系,转化为抽象身份的问题,我相信在接下来的十年当中,区块链如何综合性的采用各种身份认证技术,来帮助大家使用区块链,这会是一个非常重要的问题。为什么一定是依靠,且紧紧依靠私钥来确定区块链使用者在区块链上的身份呢?像BCH最近准备要去激活的OP-code(音),就为链外的权威相对中心化的身份认证打开了大门。它有可能和链上的私钥本身,和最早最原始、最原始的公私钥本身构建一个综合的身份体系。这样的身份体系,为未来用户的大规模应用大开大门。不然凡是涉及到私钥的保管,区块链的应用无法像普罗大众进行普及。不可能想象这个世界有10亿人,懂得保管私钥的技术。


第七,智能合约更强、降低开发难度。


智能合约是一种具有独立的计算机程序,一段程序如果被部署在以太坊,这个程序的运转行就具有超越程序创立者的独立性。智能合约它能够去解决交易各方对中央诚信度的担心,它可以去扮演一个绝对公正无私的角色。虽然智能合约承载的希望很多,但是现在独立性程序做的事情还是非常少的。智能合约它如何变得更强大,一定未来十年我们所关注的重点方向。它就算计算机技术在早期发展,受到硬件性能和软件编程开发环境的影响一样,智能合约目前也是如此。中心化的程序开发环境,目前依然是具有压倒性的程序的。去中心化智能合约开发难度大、收益比较低,而且智能合约爆出漏洞的事件不断发生。未来开发环境会不断趋于成熟,有更多的开发者参与,开发成本会进一步降低。开发成本的降低,会刺激更多的应用诞生。


第八,人工智能加区块链。


人工智能加区块链,也是未来一个重要的课题。因为人工智能的程序它的算法非常适合放在区块链上面,成为一种独立的存在。同时人工智能它最重要的驱动是数据,数据可以帮助人工智能算法得到很好的训练。数据的各方需要保密,这种矛盾点有可能用区块链来解决。同时强大的人工智能程序,它可能凌驾于系统的所有参与者之上。这也是将来一种可行的解决方案,就是人工智能本身是可以被部署在区块链上面,人工智能不再被拥有或者属于任何一个单一的系统参与者。它可以获得一个更好的公信力和权威性,如果有单一的企业掌握了特别多的数据,同时拥有了强大的人工智能,对于社会的公平性挑战将是巨大的。(汤霞玲) 查看全部
201809110601289263.jpg


今天上午,在2018第四届区块链全球峰会上,比特大陆创始人吴忌寒讲到了未来十年的区块链技术发展的8条主线。本文根据吴忌寒现场演讲整理,内容有删减。



大家好。2008年,中本聪发布白皮书,区块链诞生,到今年已经第十年了。我在很早的时候就开始接触区块链,之后将所有积蓄都投入到里面。今天我想跟大家分享,未来区块链的十年的一些重要的技术课题。


第一条:隐私和安全问题。


首先,金融是区块链技术的第一大应用,隐私性和安全性是金融业务的第一大要点。在区块链技术上面,隐私性和安全性存在一个矛盾。那么,最早是UTXO和账户模型,它在系统安全性上有明显的优势的,因为它所有的交易记录,都是记录在链上,货币有没有被蒸发,或者说交易有没有出现明显的漏洞,那么所有的人对区块链的执行过程有很直观的观察。

所以呢,它是安全性更强,即便是你出了漏洞,那么你能够立即发现,系统可以迅速查出。

区块链上的交易能被实时观察到,隐私性不高。如果你是一个特别有钱的消费者,你也不希望你走进任何一个工厂或者你消费的时候,商家都对你个人资产的情况把握得特别清楚,每个人都会希望屏蔽自己。关于隐私性需求,我们过去已经做出了很多努力,未来我们怎样利用区块链去保护人的隐私和安全?未来的区块链的十年,肯定会在这对矛盾中往前发展。

如果说隐私性和安全性是一个的曲线的话,有的区块链肯定能将这个曲线外推到的最为远的位置,超越其他区块链的技术。我们也是非常期待有一些理论、框架的突破和解决这个矛盾。


第二条:技术中立性问题。


区块链是无国界的金融网络,但是,是有国界的参与者。有复杂的立法问题需要去解决。

比如说A国的一个金融产品的发行方,欺诈了另外一个国家的金融消费者,那么另外一个国家要不要对其他国家的犯罪方追究责任? 如果本国的一个区块链实施金融诈骗,欺诈了其他国家的金融消费者,这个如何解决?同时,资本跨国流动,它跟现在很多国家的制度相冲突,怎样提到全球金融市场上来?

区块链技术它本身的独立性,我相信它是很难打破的。为什么呢?因为区块链它是自由的。一个受到监管的区块链很难继续保持独立性。所以,我相信会有一个基于中立的区块链的监管机制。

最值得参考的就是互联网,在今天它也是中立的,它本身也是缺乏监管的,但是互联网从业者他们本身受到的监管越来越强,互联网的一些金融机构已经纳入到严格的立法框架中。同样,区块链发展过程中也会有一个监管框架,金融秩序的构建过程。这也会是未来十年的发展路线之一。

201809110605439664.jpg



第三条:区块链的发展性能扩展问题。


区块链用户现在人数并不多,全网2000万人,增长曲线非常快。跟互联网过去的增长曲线相符合,我们其实可以预见,十年之内,整个区块链,用户人数可能会超过十亿人。这个用户规模的话,处理数据的性能压力需要四个数量级的提升。包括侧链和跨链、闪电网络、压缩交易的历史技术和综合采用硬件加速和平行化的软件工程技术。

首先是侧链技术与跨栏交互技术。这个技术在主链和侧链之间能够安全快速地互联,同时还能够去中心化,在理论上仍未很好地解决。这个解决方向有两个方面。一个是我们放弃去中心化的原则,用中心化来做主链和侧链之间的互联。另外一种是,理论上的突破,但是我个人对理论上的突破信心不是很大,如果将来能在这一块得到应用的话,中心化的解决方案可能是比较好的。

第二个是闪电网络。它被提出来以后,理论上是可行的,工程上也是可行的,但它的整个用户体验是有问题的。闪电网络将只会应用在machine和software上的特殊场景,它必须被包装为用户所不可感知的技术工具。凡是需要用户直接操作闪电网络的应用,它在整个经济上是不可行的,因为用户将来也不能去接受一些奇怪的系统异常现象。

第三个是对交易的历史进行压缩。交易它本身是不上链的,它只是把结果上链,它本身的交易压缩可以去提升普适性,也能够以小小的数据去记录庞大的交易历史的最终结果。但是,这种压缩交易历史的技术的是有安全隐患的,它的技能是极其困难的,如果编码或者译码在某一天被发现重大漏洞的话,可能会出现一些问题。

第四个是综合采用硬件加速和平行化的软件工程技术。这个在我看来是特别切实可行的。如果将来区块链更改它一些技术层面的架构,它的将来网络处理压力增大,它的软件网络架构不需要做大幅度的更改,只需要让运维线性增加硬件服务器即可,扩容就很容易实现。

这在我看来是最为切实可行的道路。如果将来区块链软件更改它的一些现有的几个架构,随着网络处理压力的增加,对于整个软件架构不需要做大幅度的更改,只需要平行、线性增加一点服务器即可,整个扩容在理论上就实现的。我们不应该相信市面上普遍存在的谎言,很多是为了吸引用户搞出来的噱头。比如在声称在自己的PC机上、服务器上,可以实现每秒百万级的TPS,这在专业人士听起来是非常可笑的事情。我们切实的工作方向,应该是在自己的软件架构修改为可以在一个T级别或者数百GB级别的区块上,它能够在简单平行增加服务器的情况下去处理交易,我觉得在软件架构上的努力,是一个实现的重要目标。当然这个目标现在是没有实现了绝大多数的区块链项目,它们现在基本上都是为单台服务器准备的,它们并没有为长期的平行化、并行化去做好最底层的架构设计。


第四,扩展区块链应用场景的专门技术。


区块链如何跟现实世界进行交互呢?大概有两个方向。 (一),需要现实世界的重要事件在区块链上面得到忠实的记录,比如有的企业发展食品溯源的区块链。 (二),希望区块链上的虚拟事件去驱动现实世界的物质产生变化。比如去中心化的Airbnb,去中心化的Airbnb就是你在区块链上订购了一个房间,当你走在房间的面前,锁认得你,因为它从区块链上租到了有关信息,你订了房间的一晚,它会自动为你打开。这是区块链上的虚拟事件,在驱动现实物质世界的变化。这个方向综合起来,就是所谓的区块链技术如何落地的问题。

但所有的落地尝试,以及这一波的项目,我认为几乎绝大多数都会失败,它们真正的机会窗口在未来可见的几年中都不会到来。但我相信在未来十年快要结束的时候,会看到一些有趣的项目开始出现。因为这样的一种特定的应用场景,所谓的落地技术,它都是涉及基础设施。就好像在流媒体的这一类创业活动,在互联网带宽真正发展起来之前,不可能出来巨头。在手机GPS应用出现之前,也不可能出现网约车或者货拉拉这种激动人心的互联网创业项目。区块链与现实世界的交互逻辑,现在依然缺乏必要的基础设施。

这样的基础设施和相应的区块链现实世界实现双向互联,肯定要受特定应用场景的驱动,这是鸡生蛋还是蛋生鸡的问题。如果你与现实世界的互动,如果现实世界偏虚拟一些,可能会更加容易。比方说一个流媒体的版权市场,在现在看来是高度可行的。因为它是一种数字资产版权的购买,它能够构建的基础设施所需要的成本是比较低的。

201809110602002418.jpg



第五,区块链上的密码学算法的安全性。


我们期待在第二个十年快要结束的时候,量子计算机开始区域成熟。在区块链领域里面,现在所应用的密码学算法,再过一时间之后,可能在第二个十年快要结束的时候,会面临升级的压力。我想提醒的是,如果过早投入到抗量子密码学算法的研究,并付诸实施,这是一种不理性的行为。它更早是一种用于营销的噱头,因为现在这种压力并不大。而且你需要选定的量子抗泄密密码学算法,最好也是通用的。


第六,区块链的身份问题。


中本聪最早设计的公私钥系统,其实私钥就是区块链上的身份,它带来的技术门槛很高,就是私钥的情况非常普遍。如果我们把公私钥的体系,转化为抽象身份的问题,我相信在接下来的十年当中,区块链如何综合性的采用各种身份认证技术,来帮助大家使用区块链,这会是一个非常重要的问题。为什么一定是依靠,且紧紧依靠私钥来确定区块链使用者在区块链上的身份呢?像BCH最近准备要去激活的OP-code(音),就为链外的权威相对中心化的身份认证打开了大门。它有可能和链上的私钥本身,和最早最原始、最原始的公私钥本身构建一个综合的身份体系。这样的身份体系,为未来用户的大规模应用大开大门。不然凡是涉及到私钥的保管,区块链的应用无法像普罗大众进行普及。不可能想象这个世界有10亿人,懂得保管私钥的技术。


第七,智能合约更强、降低开发难度。


智能合约是一种具有独立的计算机程序,一段程序如果被部署在以太坊,这个程序的运转行就具有超越程序创立者的独立性。智能合约它能够去解决交易各方对中央诚信度的担心,它可以去扮演一个绝对公正无私的角色。虽然智能合约承载的希望很多,但是现在独立性程序做的事情还是非常少的。智能合约它如何变得更强大,一定未来十年我们所关注的重点方向。它就算计算机技术在早期发展,受到硬件性能和软件编程开发环境的影响一样,智能合约目前也是如此。中心化的程序开发环境,目前依然是具有压倒性的程序的。去中心化智能合约开发难度大、收益比较低,而且智能合约爆出漏洞的事件不断发生。未来开发环境会不断趋于成熟,有更多的开发者参与,开发成本会进一步降低。开发成本的降低,会刺激更多的应用诞生。


第八,人工智能加区块链。


人工智能加区块链,也是未来一个重要的课题。因为人工智能的程序它的算法非常适合放在区块链上面,成为一种独立的存在。同时人工智能它最重要的驱动是数据,数据可以帮助人工智能算法得到很好的训练。数据的各方需要保密,这种矛盾点有可能用区块链来解决。同时强大的人工智能程序,它可能凌驾于系统的所有参与者之上。这也是将来一种可行的解决方案,就是人工智能本身是可以被部署在区块链上面,人工智能不再被拥有或者属于任何一个单一的系统参与者。它可以获得一个更好的公信力和权威性,如果有单一的企业掌握了特别多的数据,同时拥有了强大的人工智能,对于社会的公平性挑战将是巨大的。(汤霞玲)