将杭州的一张表每天定时增量同步一次到新加坡的同一张表,如何稳定可靠的解决问题呢?
首先这个场景不需要准时同步,所以并不考虑CDC方案,postgres内置的复制功能对网络要求比较高,容错性不够好。查阅资料后决定尝试下 Seatunnel: https://seatunnel.apache.org/ 过程比较简单,2个小时内完成了任务,中间遇到了字段格式的问题,花了点时间找解决方案, 但最终达到了预期的效果。
[Read More]将杭州的一张表每天定时增量同步一次到新加坡的同一张表,如何稳定可靠的解决问题呢?
首先这个场景不需要准时同步,所以并不考虑CDC方案,postgres内置的复制功能对网络要求比较高,容错性不够好。查阅资料后决定尝试下 Seatunnel: https://seatunnel.apache.org/ 过程比较简单,2个小时内完成了任务,中间遇到了字段格式的问题,花了点时间找解决方案, 但最终达到了预期的效果。
[Read More]在现代数据分析领域,不同的数据库系统各有优点。PostgreSQL(Postgres)因其强大的事务处理和灵活的查询功能而备受欢迎,而ClickHouse则以其超高速的OLAP查询性能著称。虽然Postgres擅长处理关系型数据并提供强大的ACID支持,但在大规模分析查询场景中,ClickHouse显然更具优势。如果我们能在分析过程中将两者结合起来,就能同时利用Postgres的数据管理和ClickHouse的查询性能。
本文将介绍如何通过ClickHouse来关联查询Postgres数据库的数据,实现两种数据库的无缝对接。
[Read More]在大数据领域,任务调度和工作流管理是核心需求。无论是数据的抽取、转化、加载(ETL),还是数据分析任务,管理复杂的任务依赖性、监控任务执行情况并确保任务按时完成都十分重要。Apache Airflow 是一个开源的工作流管理平台,能够帮助你解决这些问题。
[Read More]因为Blog的模版太老,不支持手机,花一点时间快速升级下,选用了hugo这个静态网站模板引擎。
[Read More]Compare VidHub vs Infuse
[Read More]Armbian 是一款基于 Debian 或 Ubuntu 的开源操作系统,专门针对嵌入式 ARM 平台进行优化和定制。它可以运行在多种不同的嵌入式设备上,例如树莓派、R2S,R4S,玩客云等等。Armbian 针对不同的嵌入式平台,提供了相应的硬件支持,可以让用户轻松地在这些平台上搭建自己的嵌入式系统。
刚好有一块闲置了几年的R2S卡片机和树莓派2时代的无线网卡。
[Read More]How to use Rancher to manage k8s cluster?
[Read More]