介绍几个基于深度神经网络在自然语言处理上的应用-诗词生成,语法修正,同声传译

以下文章来源于集智AI学园 ,作者吴迪

[

集智AI学园 .集智学园为高级技术人员、科研工作者量身打造的在线知识服务平台, 内容包括人工智能、机器学习、神经网络、自然语言处理、计算机视觉、复杂网络、多主体模拟等领域。 具备专业知识覆盖面广、理论与实践相结合、学习方式多样化等特点。

](#)

一、诗词生成器

陈伟明利用业余时间写了“诗词生成器”这个AI,不仅可以轻松完成李白藏头诗,还能填词,还能看图写诗,看图猜年龄,相当厉害(如图一、二、三)。

(陈伟明:悉尼新南威尔士大学硕士,现为澳大利亚某创业公司的数据工程师)

/pic/1_weqJ3CNUWkPsIe3okWTUW79ic4SbIg.jpg

图一

/pic/2_1ibcxfYsuibEiavIXiaUOFibtbVTBw.jpg

图二

/pic/3_yS7ohcWv8tnbu0nQHL3BTUHhm5hz7Q.jpg

图三这种“诗词生成器”背后的算法,就是RNN,即循环神经网络。这也是惊艳网络的谷歌翻译背后的主要技术,可以称得上是深度学习未来最有前景的工具之一。

“循环”两个字,已经点出了RNN的核心特征,即系统的输出会保留在网络里,和系统下一刻的输入一起共同决定下一刻的输出。这就把动力学的本质体现了出来,循环正对应系统论的反馈概念,即此刻的状态包含上一刻的历史,又是下一刻变化的依据。RNN是可以自己学会这样的输入输出规律的,而且因此具有预测能力。**在这点上说,RNN是图灵完备的。**一个语言是图灵完备的,意味着该语言的计算能力与一个通用图灵机 (Universal Turing Machine)相当,这也是现代计算机语言所能拥有的最高能力。即RNN可以使用计算机完成任何计算机可以完成的任务,也就能够发挥计算机的所有能力。对人类自然语言的理解处理一直是AI在不断攀登的险峰,所以RNN才能成为AI解决人类自然语言问题的重要工具。

搜索微信公众号:**“TangPoemGen”,或扫面二维码,即可为你写诗!

/pic/4_gtRPGufpGFQu1G7JW9RicPMoAJsqbg.jpg

二、AI-Reviser

生成诗词,无非是可以让你闲来无事炫技朋友圈,然而我们在日常生活中更可能遭遇这样的场景:老板、老师、同事、同学丢给你一段中文或英文,拍拍你的肩膀,让你翻译。而四六级都是磕磕绊绊才考过的你,只能拿着翻译材料找学霸帮忙,最后拿到的成品,还得认真校对。此时你就需要一个好的语言修改校对软件,它在你心中应该是这样的:

1)一进去就能找到输入窗口,就好比谷歌搜索主页那样;

2)免费;

3)没有很无聊的语法分析,直接给出修正后的结果;

4)不仅仅改各种语法错误,而且还改表达方式,能把不地道的改得地道;

5)技术上必须是世界领先。

集智社群有个怪青年曹振峰,经常说着大家听不懂的话,最近突然憋出了一个大招:AI-Reviser ,这就是一个符合五大优点的英文语法自动修改器。你输入一段英文,它会自动纠正其中的语法错误。

(曹振峰:迈阿密大学复杂系统方向博士在读,从事互联网时代人类行为方面的研究)

AI-Reviser使用了NMT技术。NMT即Neural Machine Translation(神经机器翻译)。最新版本的谷歌翻译采用的也是类似的技术。这种技术的特点是,不需要进行语义分析,可以把一个句子直接喂给神经网络进行训练。

**语言的奥义是什么?**地道。传统的语法修改器,就好比一个经过充分语法培训的中国国籍的英语老师,她会给你指出哪个地方犯了什么语法错误;而基于这种技术训练出来的语法修改器,就好比一个从未学过语法规则的外国国籍英语老师。他帮你修改文章,全凭“语感”——他给你的反馈永远是:“额,这个地方读着别扭,改成这样如何?”正因如此,这款修改器具有传统修改器难以匹敌的将不地道的表达方式改得地道的能力。

输出结果也秉承了“天下第一懒”的风格。对的!就两个版本——不多也不少:第一个版本是修改后的全文,方便复制粘贴;第二个版本是逐句对比,方便分析修改结果。此外,修改了的地方还会自动用彩色标出来,方便用户快速看出修改了哪。对比测试发现,AI-Reviser不仅仅能找出所有常规语法错误,而且还能将表达不地道的地方替换成更地道的表达方式。

/pic/5_HefEia3ckIiakhYd2nGiahiauibSLw.jpg

打开链接试用此AI语法修改器软件:

https://www.aireviser.com/?inv=5128318

/pic/6_9ibk8ECv83N3VQO53lISwV511nywlA.png

三、彩云小译

曾经开发出了“彩云天气”项目的集智深度学习读书会会员袁行远和肖达在半年前又憋出了大招:“彩云小译”。它是如今最好用的翻译app,同时还加入了复读机的重听功能,这就解锁了学习英语的新姿势,从此妈妈再也不用担心我的外语作业了!

上线不久,“彩云小译”就成了app store的“网红APP”,获得首页第一位推荐。你只需直接说出你想翻译的话即可,不需要按任何按钮,极致简单。小译的界面也非常简洁,左下角切换「同传」和「交传」模式,右下角切换识别语言(中文、英文、自动),中部切换语音和文字输入模式。更为神奇的是,当你插入耳机之后,还能实现同声传译的效果,今后再也不用花大钱请同声传译啦!因为彩云小译是免费的!免费的!免费的!

彩云小译也采用了NMT技术。2016年的冬天,袁行远团队搜索了互联网上存在的中英文对照的语料库,把这些语料喂给了一个超过1亿个连接的神经网络。经过不断训练,神经网络自主学会了中英文词语和语法的对照关系。彩云小译使用了深度神经网络序列到序列映射的技术,先把中文句子转换成为一个意义空间的向量,再把这个向量投射为英文的文字。类似你给同学传纸条,但不想老师知道内容,所以你们先编了一个谜语,同学看到就知道意思了。只是这次编谜语和解谜语的都是一个机器人。

只要扫码关注,在对话框中吼一句**“小译开门”**,然后就可以任意调戏啦。先用“彩云小译”翻译老板老师交给你的任务,再用“AI-Reviser”校对修正,是不是很完美?

并且,“彩云小译”还在不断进步中。它不仅是一只懂翻译的AI,还在迭代中加入了复制、分享的功能,和歪果仁聊微信再也无压力啦。**而且,彩云小译的英语已经支持英国、美国、加拿大、澳大利亚、印度五个国家的口音,粤语、河南话和四川话的方言也可支持,**不用care令人头疼的口音问题,让你交(liao)友(mei)的范围更广。在出国旅行、朋友聚会的时候,只要把手机放在桌子上,打开这个app,你就能用中文和外国人谈笑风生,从诗词歌赋谈到人生哲学。

彩云小译未来可能不仅仅是一个翻译AI。袁行远之前接受Xtecher采访的时候他也曾强调过:“我们目前在做的是人与人之间语言的翻译,未来实际上同样也可以作为机器与人沟通的桥梁。”

搜索微信公众号:“彩云小译”或者扫码下载APP皆可调戏小译哦~

/pic/7_77kXgNMemzZCZgAvqO9h1JHncWq4EA.jpg

延伸学习

AI-Reviser设计中用到了基于神经网络的机器翻译技术,若要对神经机器翻译、RNN、LSTM、Seq2Seq等技术有进一步了解,请观看集智AI学园的相关课程。

/pic/8_vibdApz0avDR4y5xVKPMiccjx57mBw.jpg

/pic/9_LWkL9ruudj1XZBhSiaF7pbpicxq6Jw.jpg

李嫣然的自然语言处理与深度学习系列视频之机器翻译课程

http://campus.swarma.org/gcou=10062

/pic/10_BSARf2d8yfKZ1Xmqh6Y9pAKed8WTdg.jpg

龚力的机器翻译原理简介视频课程

http://campus.swarma.org/gcou=10166

扩展阅读

AI 微视频连载-NLP与聊天机器人

四分钟学会你的第一个机器学习APP

钟志超2017-05-10 08:47:04

真心感谢推荐,学习了。赞 1