绵阳网赚论坛

被议员警告中国项目有风险后 这所美高校回应真刚_绵阳网赚论坛

admin 2019-08-04 08:06 新闻公告 0 评论

手机看新闻赚钱任务平台摘要:随着自媒体的发展,传统媒体面临着巨大的压力和挑战,新华智云运用大数据和人工智能技术,致力于为媒体行业赋能。通过媒体大数据开放平台,将媒体行业全网数据汇总起来,借助平台数据处理能力和算法能力,将有价值数据内容和能力开放给用户。本文主要从新华智云数芯平台,媒体行业数据特征,批流处理数据架构,以及通用的媒体大数据平台能力等几个方面介绍了如何基于MaxCompute做媒体大数据开放平台建设。

演讲嘉宾简介: 李金波,新华智云首席数据官。负责阿里巴巴大数据通用计算平台MaxCompute(原ODPS)框架架构。对高可用分布式系统设计开发有多年经验。先后研发过阿里巴巴机器学习平台在线预测系统和通用大数据计算平台框架系统。

本次直播视频精彩回顾,戳这里!live/796 以下内容根据演讲嘉宾视频分享整理而成。

本次的分享主要围绕以下五个方面:

一、关于新华智云 二、数芯-媒体大数据开放平台 三、媒体大数据平台能力 四、Project依赖 五、几点小提示 一、关于新华智云

新华智云是新华社与阿里巴巴合资成立的一家公司,主要面向运用大数据和人工智能技术,致力于为媒体行业赋能。随着自媒体的发展,自媒体公司非常的火热,如今日头条,抖音等。对传统媒体来说,面临着巨大的压力和挑战。传统媒体急切的希望互联网的技术帮助他们赋能。

媒体大脑-数芯

媒体大脑是新华智云底层的产品品牌,数芯是媒体大脑基础的数据平台。数芯定位为媒体大数据开放平台,平台中包含了媒体行业所依赖的各种各样的数据。数芯希望通过平台本身的数据处理能力和算法加工,将挖掘的有价值数据内容和能力开放给上层用户。目前,数芯包含了各种各样的数据,涵盖了400多万互联网站点,主要以中文站点为主,日增7千万文章,包含微信公众号,微博账号,图片以及多媒体来源等。将不同来源存储在平台中,之后对接数据,进行更多的加工和运用。“数据已经不再是一种成本,而是成为一种生产资料”,这句话在媒体行业更能够有所感受。一篇新闻除了是新闻之外,还是一条数据,同时新闻本身又会衍化产生新闻。很多媒体公司利用互联网技术获得大量的新闻内容之后,辅助他们新闻的生成过程。数芯会将媒体数据从不同的源头,不同供应商,以不同内容格式存储到平台中,进行数据清洗,结构化,加工等等一系列的操作之后,生成有价值的内容。如,这段时间之内媒体关注的热点,互联网上发生的事件,同时识别新闻和机构之间的关系,基于实体将各个渠道上的数据整合起来,为用户提供统一的视图。用户可以看到信息的发酵过程,以及信息在什么地方传播。 二、数芯-媒体大数据开放平台

数芯是一个开放的大数据平台,开放的点主要有三个方面。第一,数据的开放。任何数据进到数芯之后,都会在整个大数据处理的链条中做计算,内容结构化,加入标签。同时基于用户感兴趣的数据范围,做标签的特征过滤,筛选用户想要的数据。数芯帮助用户了解互联上的信息,了解互联网上与自身相关的事件。第二,数芯提供智能能力的开放。用户不管怎么努力,不可能获取到互联网上所有的数据;而且不可能每个公司都会自建内容大数据平台,做数据分析,也不可能都配备算法工程师;而且公司的数据处理能力也不是足够强;媒体大数据平台可以帮助用户将与他们有关的数据加工好,通过算法能力获得用户关心的信息。如用户提供一个文章,数芯可以反馈这篇文章与谁相关,相同的文章在什么地方传播,文章由谁编写,发在什么地方等等信息。通过开放算法能力,帮助用户做数据能力和算法能力的应用,提供文本反垃圾服务,互联网内容结构化服务,文本内容实体识别服务,文本去重判定服务,图像人物识别服务和图像标签化服务等等。第三,产品能力的开发,包含舆情监测能力,版权检测,传播分析等能力。

媒体数据特征

媒体大数据有三大特征,第一,媒体数据是非结构化性非常强。与传统行业数仓最大的区别是媒体行业90%以上数据都是非结构化的,如文本,图片,视频等等。第二,数据来源多样性。媒体行业数据有多种外部的数据源,它们有不同的数据提供的方式,提供不同的数据能力。所以必须要有强大的数据汇总能力才能将所有数据汇总在一起并服务好下游客户。另外,数据效性要求非常高。媒体行业天然追逐新闻热点,假如知道一个事件是潜在的热点,媒体希望第一时间对热点进行追踪,报道和解读。媒体机构希望通过数芯平台,能够最快的发现互联网上发生的事情,发现热点之后以最快的方式,将结构化后的数据给到用户。

批流处理结合

基于媒体行业数据的特征,数芯平台采取批,流结合的方式解决目前客户和业务场景对数据的要求。批指的是大量的计算,基于平台特征完成复杂的模型,算法训练,长周期计算,文本实体识别,文本挖掘,借助批量的能力解决数据更深度,更大规模的加工。流指的是流式的计算,完成数据的清洗,结构化,轻计算和实时统计。出来一篇新闻,在整个新闻流传的过程中实时的将信息处理好。目前数芯整体的流计算大概需要300毫秒,即一篇新闻从源头过来,存储到平台,服务化出去中间需要经过300毫秒的时间。

批流结合的数据架构

数据从不同数据源过来,如API,OTS,ROS,log,file等,一方面数据要在实时计算当中做URL去重,正文结构化,标记来源,垃圾识别,实体识别和轻度的实时统计。另外基于MaxCompute,利用DataHub将数据存储在批处理平台中,由于流计算本身不做持久化存储,所以所有数据都将存储在MaxCompute上。数据存储之后做主题建设,关系挖掘,知识图谱计算,算法训练。通过批流结合的的处理方式能够满足客户对数据本身能力的需要。之后,给用户提供搜索能力,大屏能力和BI能力等。 三、媒体大数据平台能力

内容结构化

人们在网页当中看到一篇新闻,而在数据库当中新闻是按字段存储的。比如,分为新闻标题,发布网站,时间,新闻来源,情感等等。平台需要将新闻信息进行结构化,成为后续计算过程需要依赖的数据结构化字段。

主题构建

媒体行业会分主题建设数据。平台会获取到不同的数据源,不同类型的数据。这些数据不可能完全的结合在一起,数芯平台会将所有数据分门别类的分成不同主题,按不同主题建设,存放和加工。媒体是一个非常复杂的行业,对各个行业的数据都是有所诉求,媒体需要挖掘很多不同行业的数据支撑新闻生产和报道。目前,数芯集中在媒体内在的数据,体育,金融,气象等几个主题。数芯一方面将不同的数据源汇总到平台当中,另一方面数据进来之后,挖掘潜在的新闻点,生成选题策划,帮助用户做选题等等工作。

实体识别

实体识别对于媒体大数据来说是最基础的能力。数芯目前积累的实体围绕人,机构,地点等三类数据。新闻行业,媒体行业会围绕某一个实体,关注与实体相关的数据能力。比如,很多公司会关注和自己相关的咨询,关心这些新闻是正面还是负面,哪些机构会发正面的信息,哪些机构会发负面的信息等。只有当将大批量的数据汇集起来之后,才能做相关内容的分析。实体识别场景在媒体大数据领域是非常基础的能力,首先,建立实体库。同时,当有一篇新闻产生,数芯需要实时的识别新闻与哪些人,机构和地点相关。另外,数芯需要汇集实体之间关系,做实体关系图谱。比如,很多品牌会瞄准自己的竞争对手,调整品牌战略,实体关系图谱对很多公司品牌运营的推广有很大的帮助。

情感分析

情感分析也是媒体大数据平台中比较通用的能力,当一篇新闻出来之后,用户需要知道是情感上褒义还是贬义。信息数量少的信息可以人工判断,但是如果每天有上千篇,上完篇的内容就无法通过人工来判断。媒体行业的情感分析与学术上的情感分析有差异。目前,自媒体出来之后短文本的内容越来越多。短文本的情感分析和长文本的情感分析不同,以往都是采用同一个算法实现情感分析,但发现效果并不好。现在,数芯将情感分析场景分开,微博短文本的情感分析用Word2vec+LSTM,新闻类的长文本的情感分析用Word2vec+CNN+RNN。分开之后发现每一类情感分析的效果都有所提升。

内容去重

内容去重是媒体大数据平台非常重要的一部分。去重能力是对于常见的新闻摘录,编辑,删减有准确的判重能力。一篇新闻并不是只由一个人写,它会被很多机构和渠道所转发。如何知道一篇新闻在哪些渠道被转发,其实就是通过去重的方式实现的。通过从大量的渠道汇集数据后,平台需要比对一篇新闻与之前哪篇新闻相似,通过相似度的比对得到结果。最早的时候,去重是基于关键词进行比对,数芯采取关键词和语义,两种方式比对,去重效果明显提升。内容去重可以用于新闻的热度计算,新闻数据顾虑清洗,文章版权追踪等业务场景。

内容标签化

搜索引擎可以用来搜索新闻,通过关键词和文章的匹配度来决定这篇内容是否推荐给用户。但纯搜索的方式已经满足不了用户家的需求。今日头条之所以成功,是因为它基于新闻和用户的习惯推荐内容。内容标签化就是通过机器的方式理解新闻,理解新闻与哪些信息相关,基于文本挖掘的手段,实现对于全网采集的内容数据进行分类打标。 四、Project依赖

很多时候,使用大数据平台要不要分项目都是一个很难的抉择。不分项目的好处是开发人员都在同一个平台工作,互相之间不需要太多的授权,整体工作效率会比较高。分项目的好处是利用不同平台做不同的业务会更清晰,更具条理性。数芯在开始使用MaxCompute时,便采取分项目方式,其考虑的原因有以下三点。首先,分项目可以区分业务优先级,避免低优先级任务影响高优先级的数据产出。另外,可以区分资源消耗型,避免出现高资源消耗任务整体影响数据产出。还有区分内外服务,避免内部服务互相交叉影响。总体上,分项目可以为数据产出的稳定性提供很好的保障。 五、几点小提示

首先,由于媒体行业大部分数据都是非结构化的数据,会造成对单字段的容量要求比较大的问题。而且不同的平台和传输工具对于数据的字段大小的限制不同。在从不同平台做数据传输时,尤其需要关注这个问题。 第二,能用UDF解决的问题,不要使用MR。使用UDF可以提高开发和运维的效率。即尽量用简单的表达式处理逻辑,这对整体数据产出稳定性有好处。 第三,对查询效率要求不高的数据报表可以直连MaxCompute,减少中间环节。如此可以大大减少数据转换和数据维护成本。 第四,Datahub一方面可以接数据源,另外还可以较好的串联批,流之间的计算流程,保持数据一致性和形成依赖。 第五,合理设计批,流的数据处理分工,减少重复计算。 第六,媒体大数据经常需要运用不同的算法,PAI可以帮助解决很多算法问题,减少开发的工作量,提高数据处理的效率。

本文作者:晋恒

阅读原文

本文为云栖社区原创内容,未经允许不得转载。

  原标题:锐参考|被参议员警告“中国项目有风险”后,这所美国高校的回应真“刚”

  “旧金山州在联邦政府的压力下关闭了中文项目。”美国《洛杉矶时报》7月29日的报道中这样写道。

  这个“中文项目”,指的正是当地的旧金山州立大学孔子学院。

▲《洛杉矶时报》报道截图

  关闭该孔子学院的决定一出,几乎立刻遭到了当地居民的强烈反对,也让旧金山州立大学倍感无奈。

  一段时间以来,美国政府及部分政客频频对高校施压,威逼利诱学校关闭孔子学院。

  然而,这些举动却正在引发部分美国高校的反弹,多地大学纷纷展开了反击……

  旧金山民众:“对联邦政府失望!”

  “美国官员正在瞄准孔子学院和其他中国政府支持的计划。”美国《洛杉矶时报》7月29日报道称。

  据报道,美国旧金山州立大学“突然结束了”与中方长达14年的合作,即关闭了与北京师范大学合作建设的美国旧金山州立大学孔子学院。

  之所以如此,则正是“迫于联邦政府的压力”。

  报道介绍称,美国国会此前发出“最后通牒”,要求旧金山州立大学关闭孔子学院,否则该大学将失去用于外语培训项目的联邦资金。

  去年,美国国会通过一项开支法案,除非五角大楼给予豁免,否则美国国防部将不再对开设有孔子学院的大学的“中文领航”教学项目进行资助。

  换言之,这些美国大学必须在美国政府出资的汉语课程和孔子学院举办的汉语课程之间做取舍。  

▲资料图片:孔子学院位于北京的总部

  面对“二选一”,旧金山州政府“经过艰苦的讨论”,最终屈服,但“他们对无法同时保留这两个课程表示失望”。

  同样难以接受这一结果的,还有当地居民。不少民众第一时间站出来,反对这项决定。

  《洛杉矶时报》报道称,居住在美国加利福尼亚州雷丁市的奥弗顿一家认为联邦政府的行为“太过分了”,并为孩子被剥夺学习中文的机会感到失望。

▲资料图片:学生在美国中田纳西州立大学孔子学院协办的中国新年文化艺术嘉年华上感受中国书法。

  “它(孔子学院)为建立更好的关系而敞开大门,也让人们有机会摆脱在电视和电影中看到的刻板印象。”目前为注册护士的塞斯·奥弗顿说。

  另一名17岁的学生凯莉·多蒂则对孔子学院老师帮助她赢得2017年中国昆明举行的国际汉语比赛记忆犹新。

  她还感谢孔子学院让她发现了对中国弦乐器古筝的热爱,并表示孔子学院“鼓励我们研究不同的话题,并看待问题的不同方面”。

  韦伯斯特大学回怼参议员:所谓的“风险”听不懂

  旧金山州立大学的遭遇并不是孤立事件。

  但面对美国政府的“新政”,多所美国高校也开始了“花式”反击。

  美国西肯塔基大学7月1日在网站上表示,将该大学孔子学院课程转移到了辛普森郡学校。

▲西肯塔基大学网站截图

  由于未能获得五角大楼的豁免,西肯塔基大学不得不结束孔子学院项目。但该大学随即向当地保证,“将努力寻找新的主办机构”。

  最终,学校与辛普森郡大学合作,许多此前与西肯塔基大学孔子学院有联系的学校将继续与辛普森郡学校建立伙伴关系。

  “新的孔子学院将向超过18个郡的47所学校提供中文课程,覆盖全州超过2.2万名学生。”西肯塔基大学网站称。

  州立大学“移花接木”,私立大学更是正面“硬刚”。

  美国《哥伦比亚每日论坛报》网站7月25日报道称,位于密苏里州的韦伯斯特大学捍卫孔子学院。

  此前,该大学收到美国参议员乔什·霍利的信,劝告韦伯斯特大学“重新考虑与孔子学院的关系”。

▲《哥伦比亚每日论坛报》网站报道截图

  霍利给出的理由是,孔子学院“有风险”。

  对于这一冠冕堂皇的说辞,韦伯斯特大学回信称:

  “我们没有理由认为韦伯斯特大学孔子学院会制造你信中所说的风险;然而,如果你知道有人出于邪恶目的利用韦伯斯特大学孔子学院,请毫不拖延地与我们分享此类证据。”

  回怼之后,信中更是强调:我们非常重视学术自由,不会为了任何关系而牺牲它。

  “孔子学院让美国校园文化和知识体系更加多元化”

  “美国联邦政府要求高校关闭孔子学院的行为与其一直以来倡导的学术自由相悖。”接受小锐采访时,中国现代国际关系研究院美国研究所学者孙成昊表示。

  在他看来,孔子学院无疑让校园文化和知识体系更加多元化,这也是美国高校所优先追求的。

  一位曾在乔治·华盛顿大学孔子学院工作过的汉语教师也告诉小锐,除了汉语教学,孔子学院还在校园里举办一系列弘扬中国传统文化的活动,受到当地师生一致好评。

  正因如此,“乔治·华盛顿大学孔子学院的学生不仅有来自本校的师生,还有哥伦比亚特区热衷学习汉语的居民们。”这位汉语教师说道。

▲乔治·华盛顿大学校内雕塑(乔治·华盛顿大学官方推特)

  孙成昊认为,美国政府胁迫一些高校关停孔子学院,此举并没有考虑到美国学生和家长对于语言学习以及了解中国文化具有相当浓厚的兴趣,迫使学生和家长失去了一个很好的选择。

  “是否设立孔子学院,应该是由学校自身说了算。”他说。

  一方面是美国高校“智斗”联邦政府;另一方面,众多美国网友正在社交媒体上“声援”孔子学院:

◆ 这位来自西方国家的大使看透了:亚洲不需要西方文明教诲◆ 继续施压对中国无用,对磋商无益

微信编辑 | 李赛

微信审核|朱舜

>>

]article_adlist-->

责任编辑:张迪