强人随笔用PostgreSQL找回618秒逝去的青春 - 递归收敛优化

  有一个这样的场景,一张小表A,里面存储了一些ID,大约几百个。另外有一张日志表B,每条记录中的ID是来自前面那张小表的,但不是每个ID都出现在这张日志表中,比如说一天可能只有几十个ID会出现在这个日志表的当天的数据中。

  那么我怎么快速的找出今天没有出现的ID呢?这个QUERY会很慢,有什么优化方法呢。

doudou586 发布于 2016-12-06 13:10:48
评论:1    浏览:5047

强人随笔PostgreSQL的信号处理机制

  信号是一种软件中断机制,是linux很重要的一种进程间通信方式,很多重要的应用程序都需要处理信号。

  PostgreSQL在启动Postmaster主进程时注册信号处理函数。

doudou586 发布于 2016-12-02 18:18:18
评论:1    浏览:8958

强人随笔PostgreSQL 透明加密(TDE,FDE) - 块级加密

PostgreSQL 透明加密(TDE,FDE) - 块级加密

doudou586 发布于 2016-12-02 17:28:54
评论:1    浏览:11060

强人随笔distinct xx和count(distinct xx)的变态递归优化方法

  使用场景:一个表中有一个字段是性别, 这个表不管有多少条记录, 性别这个字段一般来说也就2个值,
    select count(distinct sex) from table;
得到的结果当然是2. 但是如果数据量很大的情况下, 这种运算就非常耗时, 需要排序,去重。

  那么有什么优化手段呢?

doudou586 发布于 2016-12-02 17:18:30
评论:1    浏览:5825

强人随笔PostgreSQL 在视频、图片去重,图像搜索业务中的应用

  图像处理的业务场景比较多,例如图像搜索、视频去重、人脸识别、美图、图片去重等。比如,视频去重,一些用户上传了较多的视频,同一部电影可能有不同的版本,分辨率不一样,音轨不一样,压缩比不一样。这种情况会导致服务端重复存储大量的视频。又比如甄别黄色视频或黄色图片,鉴黄师的职业要消失了。

  有什么方法可以得到重复的视频呢? 如何鉴别黄色视频和图片呢? 本文将给你揭晓。

doudou586 发布于 2016-11-28 22:00:29
评论:1    浏览:9344

强人随笔Update returning NEW|OLD在对账|购票|防纂改|原子操作中的妙用

  在数据库中更新记录时,有时为了对账,或者防纂改的目的,需要在更新后立即返回更新前和更新后的值。

  这个动作其实也可以在function中来保证,不过你要扩展FUNCTION的功能...本文要讲的是通过update returning语法来实现类似的对照功能。

doudou586 发布于 2016-11-28 18:13:04
评论:1    浏览:4700

强人随笔门禁广告销售系统需求剖析 与 PostgreSQL数据库实现

  上班打卡是一件很常见的事情,就像小时候的大宝广告,大宝天天见。对于这种每天都要见的事物,也是广告主追逐的地盘,就好像电梯广告一样,门禁广告也悄然流行起来。

  小小的门禁机,每天活跃的时间为上下班高峰,可能也就2小时左右的时间,通常广告不易过长,往往是很简短的广告,也不易放太多广告在门禁内,一般十几个已经足够了,否则2小时都不够轮播的。本文介绍如何利用阿里云RDS for PostgreSQL特性(bitpack)来满足这样的需求。

doudou586 发布于 2016-11-25 22:06:52
评论:1    浏览:4367

强人随笔PostgreSQL SSL链路压缩例子

PostgreSQL SSL链路压缩例子

doudou586 发布于 2016-11-25 21:55:12
评论:1    浏览:116998

强人随笔PostgreSQL 如何实现网络压缩传输或加密传输(openssl)

PostgreSQL 如何实现网络压缩传输或加密传输(openssl)

doudou586 发布于 2016-11-25 21:43:26
评论:1    浏览:14782

强人随笔PostgreSQL9.6检查点柔性优化-在单机多实例下的IO Hang问题浅析与优化

PostgreSQL9.6检查点柔性优化-在单机多实例下的IO Hang问题浅析与优化

doudou586 发布于 2016-11-22 22:48:54
评论:1    浏览:5423

强人随笔PostgreSQL 数组忽略大小写匹配

PostgreSQL 数组忽略大小写匹配

doudou586 发布于 2016-11-22 22:22:48
评论:1    浏览:13929

强人随笔PostgreSQL 收缩膨胀表或索引

表或索引发生膨胀后,用户可以使用vacuum full或rewrite table(如cluster)的方式重建表。 但是vacuum full或者rewrite都需要持有排它锁,会堵塞读操作。为了减少锁冲突,社区有一个名为pg_reorg或pg_repack的插件,使用了增量的方式重组数据,最后通过切换FILENODE完成数据重组。

doudou586 发布于 2016-11-21 18:42:42
评论:1    浏览:13039

强人随笔聊一聊双十一背后的技术 毫秒分词算啥, 试试正则和相似度

  看刑侦剧经常有看到人物拼图,然后到图库搜索的,以前可能靠的是人肉,今天,使用PG,可以靠数据库的图形近似度搜索功能。

  但本文不是写图形搜索,写的是文本搜索,而提到文本搜索,大家一定会想到分词。千万不要以为分词可以搞定一切需求,比如这样的需求就搞不定。 hello world打成了hello word或者hello w0rld,你要让数据库匹配出来,怎么搞???

doudou586 发布于 2016-11-21 18:36:26
评论:1    浏览:9080

热点话题Postgres-10亮点 -pg_basebackup改进

最近,有三个改进和变化添加到pg_basebackup中,这些改进成为Postgres 10的一部分。

beta 发布于 2016-11-21 18:13:23
评论:0    浏览:8157

强人随笔在PostgreSQL中实现按拼音、汉字、拼音首字母搜索的例子

在PostgreSQL中实现按拼音、汉字、拼音首字母搜索的例子

doudou586 发布于 2016-11-18 17:51:47
评论:1    浏览:16109

强人随笔数据库系统概念笔记之存储和文件系统及PostgreSQL实现

  一个数据库被映射到多个不同的文件,这些文件由底层的操作系统来维护。这些文件永久地存在于磁盘上。

  一个文件在逻辑上组织称为记录的一个序列。这些记录映射到磁盘块上。因为文件由操作系统作为一种基本结构提供,所以我们将假定作为基础的文件系统是存在的。我们需要考虑文件表示逻辑数据模型的不同方式。

doudou586 发布于 2016-11-18 17:08:05
评论:1    浏览:22204

强人随笔psql命令行工具与可视化pgAdmin 如何格式化代码

  工欲善其事,必先利其器。对开发者来说,有个好的IDE可以事半功倍。 

  今天开发有个同学问我pgAdmin III有没有办法?先给出答案:pgAdmin III是可以格式化代码的!

doudou586 发布于 2016-11-18 12:47:46
评论:2    浏览:12248

强人随笔聊一聊双十一背后的技术 不一样的秒杀技术, 裸秒 !

  秒杀在商品交易中是一个永恒的话题,从双十一,到一票难求,比的仅仅是手快吗?其实对于交易平台来说,面对的不仅仅是人肉,还有很多脚本,外挂自动化的抢购系统,压力可想而知。

  秒杀的优化手段很多,就拿数据库来说,有用排队机制的,有用异步消息的,有用交易合并的。今天我要给大家介绍一种更极端的秒杀应对方法,裸秒。

doudou586 发布于 2016-11-18 12:22:05
评论:3    浏览:4417

强人随笔PG查询引擎理论基础与实践

PG查询引擎理论基础与实践

doudou586 发布于 2016-11-17 12:59:57
评论:1    浏览:6360

强人随笔PostgreSQL与Oracle兼容性之 plpgsql 自治事务补丁

PostgreSQL Oracle兼容性之 plpgsql 自治事务(autonomous_transaction)补丁

doudou586 发布于 2016-11-17 12:58:00
评论:1    浏览:7126
© 2010 PostgreSQL中文社区