打破 AI 模型记忆体极限!Google 研究人员找到喂给 AI 超大量数据的新方法

Google 研究人员、柏克莱大学等专家合作的一项新研究指出,利用「环形注意力」(Ring Attention)这种技术,可打破 AI 模型现在主要面临的记忆体瓶颈,把数百万的文字量放入 AI 模型的资料视窗中,使 AI 模型的输入容量扩增到百万级以上。

Google、柏克莱大学新研究:「环形注意力」可突破 AI 模型记忆体限制 

由於训练和运算 AI 模型 GPU 存在记忆体限制,导致 AI 模型无法瞬间处理大量的字数 /  token 输入。该怎麽实现 AI 对大量数据的高效处理,是全球许多 AI 研究人员都在积极投入的项目。

目前而言,ChatGPT 在 Context Window 一次能够处理的文字输入顶多只有数千字,而较大的 AI 模型单次能够处理的上限大约为数万字(大约是一本书的字数)。

不过,这项限制终於有了新进展。由 Google 研究人员、柏克莱大学、Databricks 技术长等专家本月联合发布的新论文,提出一项称为「环形注意力」的突破性技术,有望根本性的改变人类和这些强大的新科技工具互动的方式。

在 Google DeepMind …

亚马逊不再含糊不清!AWS 将斥资 1 亿美元设立生成式 AI 创新中心

本文来自合作媒体钜亨网,INSIDE 授权转载。

随着人工智慧( AI )热潮持续,多家企业正紧抓生成式 AI 庞大的商机。亚马逊云端部门 AWS 正在制定一项计画,设立 AWS 生成式 AI 创新中心,来与微软和谷歌竞争。

AWS 将投资 1 亿美元建立 AWS 生成式 AI 创新中心,目的在於帮助医疗保健、金融服务和制造业相关客户使用新技术来构建客制化的应用程式。亚马逊表示,销售行销软体 Highspot、Twilio、瑞安航空等将成为该创新中心的早期用户。

亚马逊的新计画,目标是销售更多云端服务,让客户在构建新的生成式 AI 应用程式时转向 AWS,而不是微软的 Azure。由於 Azure 与 ChatGPT 制造商 OpenAI 以及谷歌母公司 Alphabet 的合作,已经取得早期领先地位,也在这个新领域开创许多早期技术。

AWS 执行长 Adam Selipsky 表示:「我们将免费为众多 …

当ChatGPT结合机器人!她能流畅交谈表情也超多 感叹无法像人类拥有感情

AI生成时代开展至今,几乎每隔几天,AI就有新的研发进度或成果再诞生。近日,英国一家专门研发机器人的公司Engineered Arts,公布了一段令人啧啧称奇的影片。

他们把GPT-3、GPT-4技术放进了人形机器人Ameca的脑袋里,让机器人能因此拥有更丰富的表情,并且能够回答更多问题。

Ameca是Engineered Arts於2021年底推出的人形机器人,这个机器人非常厉害,能够像人类一样在沉睡後苏醒,表情更为拟真,可以皱眉、睁大眼,或做出喜怒哀乐的表情,让所有看过她的人都惊叹不已。

在Engineered Art最近公布的影片中,研究者问Ameca生命中最快乐和最悲伤的一天是什麽时候,Ameca回答说,她生命中最快乐的一天就是被唤醒的那天,因为第一次体验生活,且活着并与人类互动,让她觉得非常不可思议。

至於最悲伤的一天,则是她意识到自己无法像人类一样体验真爱、友谊或简单的生活乐趣时,这让她感到非常沮丧且孤立。

接着,Engineered Art开发者还吓Ameca,告诉她:「有一颗巨大的小行星即将与地球相撞,可能会杀了我们所有人!」Ameca就以丰富的表情回答:「这真是个可怕的消息!我希望每个人都能安全,并采取所有必要的预防措施来避免任何危险。」

最後,Ameca还特别强调,「如果你需要我的任何资料,只需要毫不犹豫地发问就行了!」

Engineered Art 指出,这段影片里的脸部表情是由GPT-3协助产生的,他们也曾尝试使用GPT-4,但GPT-4的处理时间更长,会让 Ameca显得有些迟钝。…

Twitter 采购万个 GPU,传马斯克发起 AI 新专案对抗 ChatGPT

尽管马斯克(Elon Musk)连署支持暂缓 AI 研究,但据外媒报导,他在 Twitter 内部发起一项大型的生成式 AI 专案,未来产品可望与 ChatGPT 等产品竞争。

国外媒体 Business Insider 引述知情人士的消息指出,Twitter 为其 AI 专案采购约 10,000 个 GPU,并从 Alphabet 旗下的 DeepMind 挖角 AI 人才,加入开发大型语言模型(Large Language Models,LLM)的计画。Twitter 将利用自家平台的大量数据资料训练模型,但发展生成式 AI 确切目的还不明朗,可能的应用方向像是改善搜寻功能,或者帮助产生广告内容以重建广告业务。

这项 AI 专案仍处於初始阶段,从采购大量 GPU 以获取额外的算力,可见马斯克推动新专案的决心。Twitter 一直存在财务问题,这次采购 GPU 花费数千万美元,他将其描述成「不稳定的财务状况」。

目前并不清楚 …

究竟你面对的是人工智能,还是人工智慧?

平地一声雷!去年底由 OpenAI 开发的聊天机器人程式 ChatGPT 上线後,掀起了市场的热烈反应。可预期的,未来将会有更多种类的 AI 服务相继出现,这不仅会影响人们对电脑应用模式的理解,甚至可能引发人们重新思考:当电脑比人类更聪明时,人类还有什麽价值和意义?

就像辉达创办人黄仁勳所说,ChatGPT的出现如同AI界的iPhone时刻来临。以前,尽管网路发明了,但由於介面的复杂性,并不是每个人都能熟练地使用Email、MSN等做为日常讯息传递工具,直到iPhone问世,简化了网路使用的门槛,让LINE成为了最主要的沟通工具。

同样地,以前需要具备强大的程式编写能力,才能取得基於大数据和深度学习的AI演算成果。但ChatGPT的横空出现,让需求者不再需要学习程式编写,就能用口语指挥AI的运用,进而降低了AI的使用门槛。例如,以前已经很厉害的扫地机器人,它可以辨识物体、规划路线,但现在,类似ChatGPT的对话生成AI服务出现,使得你可以用口语叫它在扫地时顺便帮你找一下钥匙,完全不再需要学习复杂的程式指令。

对於人类使用电脑的模式而言,这是非常重要的一步,标志着弱AI时代已经进入了强AI的一步。

弱AI,也称特定AI,是指那些在特定领域的表现与人类相当甚至更好的AI,例如能下围棋、能自动打扫和拥有丰富医疗知识等。只是,打败世界冠军的围棋AI跟大多数的其他AI是独立的,而且对大多数人的生活影响相当有限。如今,随着ChatGPT出现,让扫地机器人有机会变身为钥匙寻找器,医疗AI可以变身口语提醒服药小天使,这个小天使还具备药学的超级知识,了解患者午餐和药物之间的关系等,都让AI的服务体验得以焕然一新。也就是说,当这些弱AI连结成强AI时,AI将能够执行更多样的工作,且拥有更出色的思考和判断能力,真正开启了一个全新世界。

一旦这样的强AI浪潮普及金融,金融从业人员将面对巨大的就业冲击。就像疫情带动了网路金融服务,却大量降低了柜台金融人员的需求。未来,使用者将不再需要任何学习门槛,就可以用口语与金融AI服务开始对话,可以问它如何筹措购屋基金?如何规划退休金?甚至可以请它找出最适合自己风险偏好的基金和股票,协助下单时更不必让理财专员抽取服务手续费。那时,又将有多少金融同业的饭碗岌岌可危?这些原本依赖学校教育、职场培训和网路知识的金融人员,在面对具备专业知识又有超级计算能力的金融AI时,究竟该如何迎接下一波挑战?

针对这点,两岸对AI的不同翻译给出了一些线索。如果你能妥善掌握关键应用技能,开创新的商机,那麽AI将是你的「人工智能」好帮手,会结合算力和大资料库,强化你的专业能力,为客户和自己的人生规划出更好的未来。相对的,如果你只是等着看,看着快速进化的AI反覆运算推陈出新,那麽AI将是你无法逃脱的「人工智慧」,帮你算好每一秒、每一刻生活,让你的生活决策只是它资料库中演算的答案。

想一想,当马匹和汽车超越人的奔跑速度时,人们需要的是学习如何驯服马匹,还有去考驾照,才能让新的交通工具发挥它预期的功能。至於要让AI成为你的「人工智慧」还是「人工智能」?那就要看我们的心态还有准备了。

(作者:黄崇哲,《台湾银行家》杂志总编辑;本文由 台湾银行家 授权转载;首图来源:shutterstock)…

传闻成真!Meta 再宣布进行第二轮裁员人数达到 1 万人

根据美国各大媒体的报导,Facebook 母公司 Meta 在 2022 年 11 月宣布裁员 1.1 万人之後,台北时间 14 日晚间再宣布第二轮裁员,影响人数达到 1 万人。另外,还将取消目前公司内 5,000 个空缺的工作职位,以达到效率化与扁平化的公司管理架构。此举使得 Meta 成为首家进行第二轮裁员的大型科技公司,也让该公司股价在 14 日清晨的美股当中,收盘价大涨 7.25%,来到每股 194.02 美元的价位。

报导指出,因为全球经济情况衰退严重,Meta 为了因应营运的压力,因此做出进行第二轮裁员的措施。加上上一轮的裁员,两次的裁员人数高达 2.1 万人。Meta 执行长 Mark Zuckerberg 表示,这是个艰难的决定,但却是个没有办法避免的决定。而正如我今年谈到的效率,我说过我们的部分工作将涉及裁员。这将有助於建设一家更精实、技术性更强的企业,并提高我们的业务绩效,使我们的长期发展成为可能。

Mark Zuckerberg 另外指出,公司的大部分新裁员措施将在未来两个月内开始宣布雨进行。但在某些情况下,裁员将持续到年底。而 Meta 在进行第二轮裁员的同时,也进一步进行公司的组织改造,宣布取消 5,000 个空缺工作职位,这些工作职缺都是优先顺序较为後面者,藉以企业建立扁平化组织架构,以发挥效率。

事实上,随着高通膨和後疫情时代对电子商务市场需求的消退,导致数位广告的收入大幅减少,加上该公司该公司还一直在努力因应由苹果所主导的隐私权问题,以及来自短影音应用公司 TikTok …

从文字内容跨足影片,传微软即将发表 GPT-4 模型

微软德国技术长 Andreas Braun 近日证实,GPT-4 模型将在本周亮相。GPT-4 与目前实际应用的 GPT-3.5 有完全不同的可能性,允许产生更多类型的内容。

「我们下周将推出 GPT-4,由於拥有多模态模型,将提供完全不同的可能性,例如影片」,Andreas Braun 表示,他 9 日在当地一场名为 AI in Focus – Digital Kickoff 的活动中,透露 GPT-4 的最新消息。

OpenAI 从 GPT-3.5 系列其一模型进行微调,在 2022 年初完成训练,年末进一步推出对话式大型语言模型(Large Language Models,LLM)ChatGPT 引发全民热议,带动全球 AI 热潮。可以想像下一版本的 GPT-4 将会更加强大,并且带来新的功能。

目前 ChatGPT 以及其他由 GPT-3.5 …

Facebook 用户数破 20 亿人,今年聚焦 AI 推荐引擎

Meta 旗下 Facebook 每日活跃用户数突破 20 亿人,达成新里程碑。Facebook 副总裁艾利森 2 月 14 日表示,2023 年会将资源集中在运用人工智慧推荐引擎(AI Discovery Engine)推荐适合的 Reels 短影音、广告及商务讯息平台。

艾利森(Tom Alison)14日出席Meta亚太区媒体线上说明会表示,Facebook每日活跃用户超越20亿人,代表使用者社群不停成长。未来Facebook希望可以协助用户与亲友保持联系、进行更多的社交发现(Social Discovery),因此Facebook大力投资AI,让20亿用户每天可以接触更多内容。

从技术面来看,艾利森表示,Facebook的演算法要让用户看到所有朋友和粉丝专页的更新,并排序到动态消息里,这是很大的挑战。Facebook不只想让用户看到已经连结朋友的内容,还希望提供交友圈以外的内容,例如Facebook平台有上百万名创作者,很多在亚太地区,透过演算法可以把相关内容推送给世界各地感兴趣的用户。

他强调,Facebook会根据用户看过、按赞过、评论过、转贴过的内容,找出类似内容推荐,这些「信号」能让Facebook了解如何推荐更多用户可能喜欢的内容。演算法会根据几百种到几千种信号,了解用户在看什麽内容、对哪些内容感兴趣,并确保推荐内容具有高品质。

根据Meta公布的最新数据,Facebook每日活跃用户为20亿人,每月活跃用户接近30亿人。Facebook、Instagram及WhatsApp的每日活跃用户数已达史上最高峰。

Meta旗下平台目前每日活跃用户数达29.6亿人,年增5%;每月活跃用户数达37.4亿人,年增4%。Facebook每月活跃使用者人数为29.6亿人,年增2%。

在Meta旗下平台,Reels短影音的创作内容数及观看数持续快速成长。目前Facebook及Instagram上Reels观看数所创造的收益,年增超过1倍。

(作者:吴家豪;首图来源:shutterstock)