fitfluid
本站致力于IT相关技术的分享
构建基于CDC与Redis Streams的实时内容同步管道以驱动Gatsby站点与Weaviate向量索引 构建基于CDC与Redis Streams的实时内容同步管道以驱动Gatsby站点与Weaviate向量索引
项目的痛点始于一个看似简单的矛盾：我们选择Gatsby构建内容平台，是为了极致的前端性能和Jamstack架构带来的运维便利。但这也意味着我们的内容是静态构建的。与此同时，业务需求是为这些内容提供强大的、实时的语义搜索能力，并且内容源——一
2023-10-27 数据工程
CDC Redis Streams Gatsby Weaviate NoSQL
从eBPF探针到TensorFlow模型集成的事件溯源管道构建实践 从eBPF探针到TensorFlow模型集成的事件溯源管道构建实践
我们面临一个棘手的挑战：如何在不牺牲生产服务器性能的前提下，实时捕获并分析高频的系统行为，以检测潜在的、多步骤的恶意活动。传统的auditd或基于日志的方案，在高负载下会产生巨大的IO和CPU开销，甚至导致关键应用性能下降。我们需要一种更接
2023-10-27 系统架构
Event Sourcing Go Terraform eBPF TensorFlow Kubernetes
实现一个基于 Server-Sent Events 的 Zipkin 动态追踪流中继服务 实现一个基于 Server-Sent Events 的 Zipkin 动态追踪流中继服务
在处理线上微服务故障时，分布式追踪系统是定位问题的关键。但传统的 Zipkin 使用模式是“事后分析”：请求完成，Trace 数据被收集、存储、索引，然后我们才能在 UI 上查询。这个流程存在一个无法忽视的延迟。当需要对特定用户或特定请求进
2023-10-27 可观测性
微服务 Go Zipkin Server-Sent Events (SSE) Relay
利用 Google Cloud Functions 和 Tornado 构建 Consul 驱动的实时依赖漏洞扫描与熔断系统 利用 Google Cloud Functions 和 Tornado 构建 Consul 驱动的实时依赖漏洞扫描与熔断系统
CI/CD流水线中的依赖扫描是标准操作，但它本质上是一个静态的、发生在部署前的检查点。一旦服务部署到生产环境，这个检查就结束了。如果某个已部署组件在运行期间被曝出新的高危漏洞（例如Log4Shell），传统的CI扫描对此无能为力。我们面临的
2023-10-27 DevSecOps
Consul Serverless Tornado Google Cloud Functions 依赖扫描 安全架构
构建支持在线推理与离线分析的混合特征存储架构 构建支持在线推理与离线分析的混合特征存储架构
机器学习系统在生产环境中面临一个根本性的矛盾：模型训练与离线分析需要对海量历史数据进行灵活、复杂的批处理查询，而在线推理服务则要求对单点数据进行毫秒级的低延迟查找。试图用单一存储系统满足这两种截然不同的负载模式，通常会导致架构上的妥协和性能
2023-10-27 数据工程
Cassandra PyTorch Trino API Gateway
构建基于RabbitMQ与Buildah的分布式镜像构建系统状态机 构建基于RabbitMQ与Buildah的分布式镜像构建系统状态机
我们团队的CI系统不堪重负。核心问题出在构建阶段：一个巨大的Jenkins实例，通过Docker-in-Docker（DinD）来构建容器镜像。每次并发构建数一多，宿主机的Docker守护进程就成了性能瓶颈和不稳定的根源。更糟糕的是，整个过
2023-10-27 云原生与DevOps
Go 状态管理 Buildah RabbitMQ CI/CD
4 / 5