强人随笔PostgreSQL变更事件捕获 (CDC)

数据库在本质上是一个状态集合,任何对数据库的变更(增删改)本质上都是对状态的修改。 在实际生产中,我们经常需要把数据库的状态同步到其他地方去,例如同步到数据仓库进行分析,同步到消息队列供下游消费,同步到缓存以加速查询。总的来说,搬运状态有两大类方法:ETL与CDC。

wangliyun 发布于 2019-06-18 09:06:15
评论:0    浏览:44
顶:3    踩:3

强人随笔pgrouting图关系插件在存储配置管理系统的应用

作者简介: 帅宇,资深DBA,从事Oracle数据库管理和SQL开发超过15年,3年+PG数据库开发经验,擅长数据库建模设计,SQL开发,SQL性能调优。现就职于平安科技数据库技术部,云数据库架构师,负责平安云数据库产品配置管理系统设计和后台SQL开发。 1.RDS的图之尴尬 图是一种应用广泛但比较复杂的数据结构。但传统的关系型数据库很难处理图的一些问题,例如求最短路径。让我们看一个简单的例子:

wangliyun 发布于 2019-06-15 08:56:34
评论:0    浏览:115
顶:5    踩:5

强人随笔增加索引真能提升查询性能吗?

众所周知,当创建一个新的索引之后,数据的修改操作会变慢并且该索引会占据一定的磁盘存储空间,这是我们创建一个新索引必须付出的代价。这也是为什么你需要尝试没有创建多余索引的原因。

wangliyun 发布于 2019-06-14 09:08:32
评论:0    浏览:124
顶:5    踩:5

社区活动[武汉] 云栖TechDay - PG天天象上活动 - 武汉站

活动时间:2019-06-22 09:15 ~ 18:00 报名时间:截至 2019-06-22 00:00 活动地点:湖北省武汉市东湖高新区关山大道465号光谷创意B座一楼dream+咖啡厅 活动报名链接:https://yq.aliyun.com/event/481/join/pre

wangliyun 发布于 2019-06-13 09:00:37
评论:0    浏览:114
顶:5    踩:5

强人随笔PostgreSQL的Tuple内幕探索

PostgreSQL的堆表由多个页组成。业内结构如上图所示(代码readme中),由5部分构成,如下。 模块 描述 页头 24字节长,包含页内的总体信息与空闲空间的位置。 行指针 每个行指针占4个字节,由两项信息构成(offset,length) ,指向实际的Tuple数据。 空闲空间 页内未分配的空间,如果FreeSpace剩下的空间放不下一个元组,那么该页就是满了。新的行指针从空闲空间的头部开始分配,相应的Tuple数据从空闲空间的尾部开始分配。 Tuple 实际的Tuple数据 特殊空间 如果是索引页,那么根据索引类型的不同存储的数据也不同。

wangliyun 发布于 2019-06-12 08:05:46
评论:0    浏览:161
顶:6    踩:7

每周新闻综述杭州大会干货分享

作为全球技术最先进、功能最丰富的开源数据库——PostgreSQL,以及源于PostgreSQL的分布式数据库Greenplum,一直是热爱开源数据库技术的IT从业人员讨论的热点。2019年6月1日,大家欢聚杭州滨江,共同学习、讨论PostgreSQL 以及Greenplum的相关技术,进一步推动PostgreSQL、Greenplum在中国的开枝散叶、开花结果, 让PostgreSQL更好的服务广大的技术小伙伴们。

wangliyun 发布于 2019-06-11 08:45:53
评论:0    浏览:163
顶:7    踩:6

其他错过南京大会怎么办

PostgreSQL是功能最强的的开源关系型数据库,MongoDB是DB-Engines排名第一的NoSQL数据库,是全球领先的开源数据库,也是发展趋势最快的,未来可期!5月24日MongoDB携手PostgreSQL在“六朝古都”金陵城举办线下技术交流会,这是MongoDB社区和PostgreSQL社区第一次携手在南京举办大会。来自各地的MongoDB和PostgreSQL的技术大咖一起畅谈数据库相关技术,共度充实的一天。

wangliyun 发布于 2019-06-04 08:45:11
评论:0    浏览:312
顶:14    踩:13

社区活动云栖TechDay - PG天天象上活动 - 杭州站

活动介绍 贸易摩擦、中兴事件、以及近期某银行收到Oracle 6亿罚单等等的热点事件,引发了企业对核心技术安全合规、自主可控的深度思考。安全合规、自主可控,成本等也已经成为企业迫在眉睫要解决的问题。 Oracle中国研发中心解散,什么数据库最适合替代Oracle,在技术架构上领先于传统数据库,支持企业的长期发展? PostgreSQL作为最先进的企业级开源数据库(类似BSD的开源许可,可以自用和分发不需要担心法律风险,不需要担心PG被收购,不用担心PG被一家独大的公司控制。),在稳定性、性能、可用性、可靠性、容灾、安全性、扩展性等方面比肩Oracle,被业界称为“开源界的Oracle”。我们熟知的平安集团、邮储银行、中国人寿、苏宁、中兴、华为、阿里巴巴、亚信... ...等众多大型企业已纷纷将PG应用于企业业务系统,同时在云上提供PG的开源或兼容PG的自研的数据库服务。

wangliyun 发布于 2019-05-31 08:46:46
评论:0    浏览:531
顶:21    踩:21

强人随笔PostgreSQL 使用clickhousedb_fdw插件访问ClickHouse

摘要 数据库管理系统旨在容纳数据,但偶尔也可能需要与另一个DBMS通信。我们访问的外部服务器可能托管了另外的DBMS。随着这样的异构环境变得越来越普遍,用于这些服务器之间的桥梁被建立了。我们将此称为称为“外部数据包装器”(FDW)。 PostgresSQL在2013年发布的9.3的版本中完成了对SQL/MED的支持。 外部数据封装器是由PostgreSQL服务器加载的共享库。它允许在PostgreSQL中创建外部表,作为另一个数据源的代理。 查询外表时,Postgres将请求传递给关联的外部数据封装器。 FDW创建连接并检索或更新外部数据存储中的数据。由于PostgreSQL规划器也涉及所有这个过程,因此当从数据源检索时,它可能执行某些操作,如聚合或连接数据。我将在本文稍后介绍其中一些内容。

wangliyun 发布于 2019-05-28 08:19:19
评论:0    浏览:353
顶:21    踩:20

强人随笔如何使用VSCode进行PostgreSQL开发及调试

Visual Studio Code (VSCode)是一个轻量级但功能强大的源代码编辑器,可在桌面上运行,适用于Windows,macOS和Linux。 它内置了对JavaScript,TypeScript和Node.js的支持,并具有丰富的其他语言(如C++,C#,Java,Python,PHP,Go)和运行时(如.NET和Unity)的扩展生态系统。本文介绍如何使用VSCode进行PostgreSQL开发

redraiment 发布于 2019-05-25 00:01:58
评论:0    浏览:625
顶:24    踩:20

强人随笔为什么你应当选择PostgreSQL而不是Oracle?

早在20世纪80年代,得益于像Linux这样的平台,技术世界经历了第一波开源软件浪潮。开源软件在充满活力的开发人员和用户社区的帮助下不断完善和调整,受到了程序员、业余爱好者和其他开源技术支持者的热捧。然而,公司很难想象开源解决方案能够为其执行关键任务的应用程序提供动力。他们对于是否能信任某人在地下室开发的软件深表怀疑。

wangliyun 发布于 2019-05-21 08:59:16
评论:0    浏览:890
顶:24    踩:21

社区活动2019PostgreSQL 象行中国(杭州站)沙龙活动

杭州沙龙活动是由PostgreSQL中文社区举办的一次行业交流盛会。致力于为广大数据库技术爱好者提供活跃的交流平台,增强PostgreSQL在中国的影响力。为此我们特地邀请了行业内经验丰富的技术大牛们来分享他们的实战经验。活动内容精彩,不容错过哦。

wangliyun 发布于 2019-05-15 08:36:46
评论:0    浏览:409
顶:133    踩:26

社区活动芒果和大象在哪里呢?

PG小伙伴们,南京技术大会的活动场地终于揭晓啦——南京市玄武区珠江路498号的INNO未来城。各位参会者朋友直接搭乘地铁可达,活动当天到INNO未来城2号门步行至2楼,期待与大家相见哦!

wangliyun 发布于 2019-05-11 08:45:39
评论:2    浏览:447
顶:28    踩:30

强人随笔Greenplum: 基于PostgreSQL的分布式数据库内核揭秘(下篇)

上篇介绍了集群概述、分布式数据存储和分布式查询优化。本篇继续介绍分布式查询执行、分布式事务、数据洗牌和集群管理等方面。 一、分布式执行器 现在有了分布式数据存储机制,也生成了分布式查询计划,下一步是如何在集群里执行分布式计划,最终返回结果给用户。 Greenplum 执行器相关概念

wangliyun 发布于 2019-05-09 08:25:28
评论:0    浏览:809
顶:42    踩:42

强人随笔Greenplum: 基于PostgreSQL的分布式数据库内核揭秘(上篇)

一、数据库内核揭秘 Greenplum 是最成熟的开源分布式分析型数据库(今年6月份预计发布的 Greenplum 6 之OLTP性能大幅提升,将成为一款真正的HTAP数据库,评测数据将于近期发布),Gartner 2019 最新评测显示 Greenplum 在经典数据分析领域位列全球第三,在实时数据分析领域位列并列第四。两个领域中前十名中唯一一款开源数据库产品。这意味着如果选择一款基于开源的产品,前十名中别无选择,唯此一款。Gartner 报告原文。

wangliyun 发布于 2019-05-08 08:35:26
评论:0    浏览:1088
顶:32    踩:28

强人随笔哪些人在2018年度对PostgreSQL作出了贡献?

这是我的第三份有关哪些人对PostgreSQL开发作出贡献的年度报告。我被要求过多次将谁雇佣了这些贡献者也加入报告内容,但我选择暂不包括这些内容,一方面我无法确保这些信息的准确性,另一方面,我也无法完整列出所有人的相关信息,在2018年有几位作出显著贡献的人员,我甚至不知道他们在哪工作。

wangliyun 发布于 2019-05-07 08:46:39
评论:0    浏览:451
顶:31    踩:36

强人随笔如何将一个大规模并行的PostgreSQL数据库移植到Kubernetes上?

如果您曾经想知道哪种类型的应用程序是在Kubernetes上运行的最佳候选者,那么扩展的分布式应用程序(如Greenplum)肯定是我们发现的最重要,最适合的应用程序。 我们的项目始于2017年底,目的是调查Greenplum如何从容器和Kubernetes等容器管理平台中获益。此时,Greenplum已经有了使用UDF(用户定义的函数)的SQL查询触发容器(请参阅PL / Container)。这些容器过去和现在仍然可用于以更精细和精确的方式隔离功能和管理资源。我们的下一步是将所有Greenplum转移到容器中。这是一种不自然的行为,一个可以被视为“提升和切换”遗留应用程序的合适解决方案,还是两种类似手套增强技术的结合?

wangliyun 发布于 2019-05-06 08:51:32
评论:0    浏览:588
顶:32    踩:31

社区活动MongoDB + PostgreSQL中文社区 南京技术大会

MongoDB和PostgreSQL是全球领先的开源数据库,也是发展趋势最快的数据库,未来可期!在春末夏初的五月,MongoDB中文社区携手PostgreSQL中文社区、锦木信息科技有限公司开展MongoDB + PostgreSQL中文社区南京技术大会,为广大数据库爱好者提供活跃的交流平台,推动数据库技术在中国的发展。5月24日,我们将一同走进南京,与特邀嘉宾一同交流全球领先的开源分布式文档数据库。

wangliyun 发布于 2019-05-03 08:18:46
评论:0    浏览:476
顶:34    踩:33

强人随笔对于容器中的数据库和PostgreSQL需要知道的11件事

我们看到数据库管理系统(DBMS)的容器部署开始飞速增加,离开了炒作阶段并成为主流。 容器化数据库趋势的一个迹象是Postgres,一个著名的开源关系数据库,在调查中被列为Docker容器中运行的第三大最受欢迎的技术。

wangliyun 发布于 2019-04-29 08:22:10
评论:0    浏览:550
顶:36    踩:35

其他PGer福利 | 太阳塔科技招聘 PostgreSQL DBA

公司介绍 北京太阳塔信息科技有限责任公司,简称“太阳塔科技”,开源数据库技术(PostgreSQL、MySQL)服务提供商!由知名数据库专家赵振平老师创立。太阳塔科技是北京市海淀区中关村地区(中国硅谷)的一家高新技术企业。我们一直致力于开源数据库技术在中国的推广。目前主要服务于银行,证券,运营商,制造业等客户。除北京总部外,共有武汉、上海、贵州、广州、苏州、沈阳6个分支机构。 主要工作地点:北京,广州,深圳 备注:能够自我驱动者,能力很强的应聘者,可以有股权。 联系方式:db@taryartar.com

wangliyun 发布于 2019-04-26 08:08:58
评论:0    浏览:706
顶:46    踩:45
© 2010 PostgreSQL中文社区