使用Apache Seatunnel跨境(低带宽丢包率高网络)同步postgres数据表

sync postgres dataa cross-border with apache seatunnel

将杭州的一张表每天定时增量同步一次到新加坡的同一张表,如何稳定可靠的解决问题呢?

首先这个场景不需要准时同步,所以并不考虑CDC方案,postgres内置的复制功能对网络要求比较高,容错性不够好。查阅资料后决定尝试下 Seatunnel: https://seatunnel.apache.org/ 过程比较简单,2个小时内完成了任务,中间遇到了字段格式的问题,花了点时间找解决方案, 但最终达到了预期的效果。

[Read More]

使用clickhouse来关联查询postgres数据库

Use clickhouse to query postgres database

在现代数据分析领域,不同的数据库系统各有优点。PostgreSQL(Postgres)因其强大的事务处理和灵活的查询功能而备受欢迎,而ClickHouse则以其超高速的OLAP查询性能著称。虽然Postgres擅长处理关系型数据并提供强大的ACID支持,但在大规模分析查询场景中,ClickHouse显然更具优势。如果我们能在分析过程中将两者结合起来,就能同时利用Postgres的数据管理和ClickHouse的查询性能。

本文将介绍如何通过ClickHouse来关联查询Postgres数据库的数据,实现两种数据库的无缝对接。

[Read More]

使用Airflow开发大数据生产任务

Use airflow to develop big data task

在大数据领域,任务调度和工作流管理是核心需求。无论是数据的抽取、转化、加载(ETL),还是数据分析任务,管理复杂的任务依赖性、监控任务执行情况并确保任务按时完成都十分重要。Apache Airflow 是一个开源的工作流管理平台,能够帮助你解决这些问题。

[Read More]

R2S妙用:Armbian + docker + openwrt + hostapd,用USB网卡做热点,无线有线接入都通过openwrt做路由

背景

Armbian 是一款基于 Debian 或 Ubuntu 的开源操作系统,专门针对嵌入式 ARM 平台进行优化和定制。它可以运行在多种不同的嵌入式设备上,例如树莓派、R2S,R4S,玩客云等等。Armbian 针对不同的嵌入式平台,提供了相应的硬件支持,可以让用户轻松地在这些平台上搭建自己的嵌入式系统。

刚好有一块闲置了几年的R2S卡片机和树莓派2时代的无线网卡。

[Read More]