Apache Beam 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache Beam 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache Beam 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 大数据其他
开源组织 Apache
地区 不详
投 递 者 王练
适用人群 未知
收录时间 2016-11-13

软件简介

Apache Beam 是 Apache 软件基金会越来越多的数据流项目中最新增添的成员,是 Google 在2016年2月份贡献给 Apache 基金会的孵化项目。

这个项目的名称表明了设计:结合了批处理(Batch)模式和数据流(Stream)处理模式。它基于一种统一模式,用于定义和执行数据并行处理管道(pipeline),这些管理随带一套针对特定语言的SDK用于构建管道,以及针对特定运行时环境的Runner用于执行管道。

Apache Beam 的主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。Apache Beam项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam希望基于Beam开发的数据处理程序可以执行在任意的分布式计算引擎上。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(9) 发布并加入讨论🔥
2021/11/23 07:05

Apache Beam 2.34.0 发布,大数据流处理与批处理编程范式

Apache Beam 是一种用于批处理和流式处理的统一编程模型,包含一套构建管道的特定语言 SDK 和在分布式处理后端执行管道的运行器。 亮点 用于 Calcite SqlTransform 的 Beam Java API 不再是实验性的 (BEAM-12680). Python 的 ParDo 转换现在支持 with_exception_handling 选项 I/O ReadFromBigQuery 和 ReadAllFromBigQuery现在默认以 BATCH 优先级运行查询。 query_priority 参数被引入到相同的转换中,以允许配置查询优先级 ...

0
1
发表于AI & 大数据专区
2021/02/26 07:37

Apache Beam 2.28.0 发布,大数据流处理与批处理编程范式

Apache Beam 2.28.0 已发布,Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 更新亮点 与 Parquet 支持相关的大量改进 (BEAM-11460, BEAM-8202 和 BEAM-11526) BeamSQL 中的哈希函数 (BEAM-10074) ZetaSQL 中的哈希函数 (BEAM-11...

0
7
2021/01/10 07:32

Apache Beam 2.27.0 发布,大数据流处理与批处理编程范式

Apache Beam 2.27.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 此版本主要更新内容如下: Highlights Java 11 Containers 现已随所有 Beam 版本一起发布。 有一个新的转换ReadAllFromBigQuery,可以在管道运行时接收多...

0
4
2020/10/25 10:44

Apache Beam 2.25.0 发布,大数据流处理与批处理编程范式

Apache Beam 2.25.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 此版本主要特性变更包括: 在 ReadFromBigQuery 的 JSON 解码器中增加了对可重复字段的支持。(Python) 为 Python SDK 添加了一个 opt-in、performance...

2
2
发表于AI & 大数据专区
2020/09/21 07:31

Apache Beam 2.24.0 发布,大数据流处理与批处理编程范式

Apache Beam 2.24.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 此版本主要特性变更包括: Python SDK 添加了一个共享库,用于简化对大型共享对象的管理。 将数据流流计时器设置为较早的 mid-bundle 时并没有严格的时间...

1
1
2020/07/31 07:28

Apache Beam 2.23.0 发布,大数据批处理和流处理标准

Apache Beam 2.23.0 现已发布。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 主要更新内容:...

0
2
发表于AI & 大数据专区
2020/02/06 07:54

Apache Beam 2.19.0 发布,大数据批处理和流处理标准

Apache Beam 2.19.0 发布了。 Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 主要更新内容: ...

0
7
发表于AI & 大数据专区
2018/12/16 07:54

Apache Beam 2.9.0 发布,大数据批处理和流处理标准

Apache Beam 2.9.0 发布了。Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 下载地址:https://bea...

0
7
发表于AI & 大数据专区
2018/10/20 08:04

Apache Beam 2.7.0 发布,大数据批处理和流处理标准

Apache Beam 2.7.0 发布了。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 下载地址:https:/...

0
5
2018/02/20 07:26

Apache Beam 2.3.0 发布,大数据批处理和流处理标准

Apache Beam 2.3.0 发布了。主要更新内容如下: full Java 8 support Spark 2.x support in Spark runner Amazon WS S3 filesystem support General-purpose writing to files (FileIO) Splittable DoFn support in Python SDK Improvements on Portability layer Improvements on SDKs & runners Improvements on several IOs 更多内容可以查看发布说明或者 Issue 下载地址: https://beam.apache.org/get-started/downloads/...

0
3
发表了资讯
2017/05/20 08:48

Apache Beam 2.0 发布,首个稳定版本

Apache Beam在官方博客上正式发布了Beam 2.0.0。这是Beam有史以来的第一个稳定版本,根据Beam社区的声明,Beam意欲为未来版本发布保持API的稳定性,并让Beam适用于企业的部署。 Beam的第一个稳定版本是Beam社区发布的第三个重要里程碑。Beam在2016年2月成为Apache孵化器项目,并在同年12月升级成为Apache基金会的顶级项目。经过从开始至今的15个月全神贯注的努力,从一个有点混乱的代码库开始,从各大组织合并代码,成就了如今的...

1
22
发表了资讯
2017/03/18 07:08

Apache Beam 0.6.0,大数据批处理和流处理标准

Apache Beam 0.6.0 发布了,该版本为 Python 编程语言引入了一个新的 SDK。 此外,该版本为 Apache HBase 在 Java SDK 中添加了一个新的 IO 链接器,以及一些常见的错误修复和改进。 最后,还改进了对 Beam 模型的支持,包括支持最近推出的 State 和 Timer API,以及 Beam 链接到分布式文件系统的链接器。 发布主页 和 发布说明 Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处...

0
14
发表了资讯
2017/02/10 07:44

Apache Beam 0.5.0 发布,大数据批处理和流处理标准

Apache Beam 0.5.0 发布了,Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 更新内容: Bug [BEAM-56...

0
14
发表了资讯
2017/01/12 07:43

Apache 基金会宣布 Apache Beam 成为顶级项目

1月10日,Apache 软件基金会宣布,Apache Beam 已经成功地从孵化毕业,成为基金会的一个新的顶级项目。 Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会孵化的项目。项目的名称表明了其设计:结合了批处理(Batch)模式和数据流(Stream)处理模式。它基于一种统一模式,用于定义和执行数据并行处理管道(pipeline),这些管理随带一套针对特定语言的SDK用于构建管道,以及针对特定运行时环境的Runner用于执行管道。 ...

1
18
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
Google TensorFlow 安全漏洞
可达断言
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 TensorFlow 2.4.2,2.3.3,2.2.3,2.1.4存在安全漏洞,攻击者可利用该漏洞可以通过控制num segments张量参数UnsortedSegmentJoin的值来导致拒绝服务。
CVE-2021-29552 MPS-2021-6425
2022-08-08 18:09
Google TensorFlow 数字错误漏洞
除零错误
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 TensorFlow 2.4.2,2.3.3,2.2.3,2.1.4 存在数字错误漏洞,该漏洞源于TFLite操作符SpaceToBatchNd 容易受到一个由零分割错误的攻击。
CVE-2021-29597 MPS-2021-6385
2022-08-08 18:09
Google TensorFlow 安全漏洞
缓冲区大小计算不正确
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 TensorFlow 2.4.2,2.3.3,2.2.3,2.1.4版本存在安全漏洞,该漏洞源于tf.raw_ops.RaggedTensorToTensor缺少验证,攻击者可利用该漏洞可以利用一个未定义的行为如果输入参数为空。
CVE-2021-29608 MPS-2021-6377
2022-08-08 18:09
Google TensorFlow 安全漏洞
缓冲区大小计算不正确
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 TensorFlow 2.4.2,2.3.3,2.2.3,2.1.4存在安全漏洞,该漏洞源于tf.raw_ops.SparseCountSparseOutput会导致一个分割错误从标准库抛出。
CVE-2021-29521 MPS-2021-6452
2022-08-08 18:09
Google TensorFlow输入验证错误漏洞
整数溢出或超界折返
TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。Google TensorFlow存在输入验证错误漏洞,攻击者可利用该漏洞导致系统崩溃。
CVE-2022-21729 MPS-2021-37087
2022-08-08 18:09
Google TensorFlow输入验证错误漏洞
使用外部控制的格式字符串
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 Tensorflow 1.15.4之前版本, 2.0.3版本, 2.1.2版本, 2.2.1版本,2.3.1版本中存在安全漏洞,攻击者可以利用该漏洞触发格式字符串漏洞。
CVE-2020-15203 MPS-2020-13690
2022-08-08 18:09
Google Kubernetes API Server 资源管理错误漏洞
循环内过多的平台资源消耗
Google Kubernetes是美国谷歌(Google)公司的一套开源的Docker容器集群管理系统。该系统为容器化的应用提供资源调度、部署运行、服务发现和扩容缩容等功能。API server是其中的一个API(应用编程接口)服务器。 Google Kubernetes 1.15.10之前版本、1.16.7之前版本和1.17.3之前版本中的API Server组件存在资源管理错误漏洞。远程攻击者可借助特制请求利用该漏洞造成拒绝服务。
CVE-2019-11254 MPS-2020-44793
2022-08-08 18:09
Google TensorFlow除零错误漏洞
除零错误
Google TensorFlow是一个端到端开源机器学习平台。 Google TensorFlow 2.6.0之前版本中的tf.raw_ops.ResourceGather存在除零错误漏洞。攻击者可利用该漏洞导致拒绝服务。
CVE-2021-37653 MPS-2021-17241
2022-08-08 18:09
Google TensorFlow代码问题漏洞
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 Google TensorFlow存在安全漏洞,攻击者可利用漏洞通过在所有不需要广播的二进制\"cwise\"操作中绑定对空指针的引用来导致未定义的行为。
CVE-2021-37659 MPS-2021-17269
2022-08-08 18:09
Google TensorFlow缓冲区溢出漏洞
使用未经初始化的指针
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 Google TensorFlow 存在安全漏洞,攻击者可以利用该漏洞导致TensorFlow异常终止。
CVE-2021-37666 MPS-2021-17287
2022-08-08 18:09
Google TensorFlow 输入验证错误漏洞
输入验证不恰当
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 Google TensorFlow 中存在输入验证错误漏洞,该漏洞源于产品的 tf.raw_ops.Dequantize 未对输入的参数做有效验证,攻击者可通过该漏洞导致拒绝服务。以下产品及版本收到影响:TensorFlow 2.5.1、TensorFlow 2.4.3 和 TensorFlow 2.3.4。
CVE-2021-37677 MPS-2021-17305
2022-08-08 18:09
Google TensorFlow 代码问题漏洞
空指针解引用
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 TensorFlow 2.4.2,2.3.3,2.2.3,2.1.4 存在代码问题漏洞,该漏洞源于调用的tf.raw_ops.RaggedTensorToVariant带参数指定无效的不规则张量将导致空指针解引用。
CVE-2021-29516 MPS-2021-6456
2022-08-08 18:09
Google TensorFlow缓冲区溢出漏洞
跨界内存写
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 Tensorflow SparseFillEmptyRowsGrad 1.15.4之前版本, 2.0.3版本, 2.1.2版本, 2.2.1版本,2.3.1版本中存在安全漏洞,该漏洞源于网络系统或产品在内存上执行操作时,未正确验证数据边界,导致向关联的其他内存位置上执行了错误的读写操作。攻击者可利用该漏洞造成缓存区溢出问题。
CVE-2020-15195 MPS-2020-13682
2022-08-08 18:09
Google TensorFlow缓冲区溢出漏洞
跨界内存读
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 Google Tensorflow存在缓冲区溢出漏洞,该漏洞源于ReverseSequence的形状推理的实现并未完全验证batch dim的值,攻击者可利用该漏洞导致读取堆OOB。
CVE-2022-21728 MPS-2021-37086
2022-08-08 18:09
Google TensorFlow 数字错误漏洞
除零错误
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 TensorFlow 2.4.2,2.3.3,2.2.3,2.1.4存在数字错误漏洞,攻击者可利用该漏洞可以导致tf.raw_ops.FractionalAvgPool中的运行时除零错误和拒绝服务。
CVE-2021-29550 MPS-2021-6423
2022-08-08 18:09
Google TensorFlow除零错误漏洞
除零错误
Google TensorFlow是一个端到端开源机器学习平台。 Google TensorFlow 2.6.0之前版本存在除零错误漏洞。攻击者可通过特制参数调用就地操作利用该漏洞导致浮点异常,从而可导致除零错误。
CVE-2021-37660 MPS-2021-17242
2022-08-08 18:09
Google TensorFlow 缓冲区错误漏洞
跨界内存写
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 TensorFlow 2.4.2,2.3.3,2.2.3,2.1.4 存在缓冲区错误漏洞,该漏洞源于tf.raw_ops.AvgPool3DGrad容易出现堆缓冲区溢出。
CVE-2021-29577 MPS-2021-6402
2022-08-08 18:09
Google TensorFlow输入验证错误漏洞
整数溢出或超界折返
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 Google Tensorflow存在输入验证错误漏洞,攻击者可利用该漏洞导致拒绝服务。
CVE-2022-21733 MPS-2021-37091
2022-08-08 18:09
Google TensorFlow 代码问题漏洞
对因果或异常条件的不恰当检查
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 TensorFlow 2.4.2,2.3.3,2.2.3,2.1.4版本存在代码问题漏洞,该漏洞源于SparseAdd中不完整的验证会导致攻击者可利用该漏洞利用未定义的行为(对空指针进行解引用),以及写入堆分配数据的边界之外。
CVE-2021-29607 MPS-2021-6376
2022-08-08 18:09
Google TensorFlow 缓冲区错误漏洞
跨界内存写
Google TensorFlow是美国谷歌(Google)公司的一套用于机器学习的端到端开源平台。 TensorFlow 2.4.2,2.3.3,2.2.3,2.1.4存在缓冲区错误漏洞,该漏洞源于攻击者提供了特殊的输入,tf.raw_ops.MaxPoolGradWithArgmax可能导致读取超出堆分配数据的边界。
CVE-2021-29571 MPS-2021-6406
2022-08-08 18:09
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
9 评论
251 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部