fitfluid
本站致力于IT相关技术的分享
为实时AI特征平台构建基于Envoy的零信任mTLS数据平面架构 为实时AI特征平台构建基于Envoy的零信任mTLS数据平面架构
一个线上运行的实时特征平台，其核心价值在于能在毫秒级延迟内为成百上千个AI模型提供特征向量。数据从Kafka等流式源头涌入，经过处理服务写入高速存储，再由读取服务提供给模型进行推理。整个链路对延迟极其敏感，同时，特征数据作为企业的核心资产，
2023-10-27 架构与设计
Envoy Proxy AI mTLS 数据科学 大数据
构建从Emotion组件到Azure Service Bus消费者的端到端分布式追踪链路 构建从Emotion组件到Azure Service Bus消费者的端到端分布式追踪链路
我们团队的一个React项目遇到了一个棘手的性能问题。用户反馈，点击一个用于“生成复杂报告”的按钮后，页面有时会卡顿很久，但开发者工具的网络面板显示API请求很快就返回了202 Accepted。后端的API服务也只是简单地将一个任务消息推
2023-10-27 可观测性
可观测性 Node.js OpenTelemetry Emotion Azure Service Bus
实现一个面向Snowflake的BDD数据质量自动化验证框架 实现一个面向Snowflake的BDD数据质量自动化验证框架
我们团队的数据仓库构建在Snowflake之上，ETL流程由dbt驱动。一个持续困扰我们的问题是数据质量的验证。业务分析师在Confluence上用自然语言描述数据规则，数据工程师再将其手动翻译成dbt的测试或独立的SQL脚本。这个过程不仅
2023-10-27 数据工程
Python BDD Snowflake 敏捷开发 数据质量
基于Go-Fiber与SSE构建动态可配的数据库主从复制延迟监控与异常告警系统 基于Go-Fiber与SSE构建动态可配的数据库主从复制延迟监控与异常告警系统
在生产环境中，数据库读写分离架构下的主从复制延迟是一个潜藏的风险。当从库数据延迟过高时，业务端可能会读取到过时的数据，引发数据不一致问题，甚至在主库故障切换时导致数据丢失。被动地等待问题发生是不可接受的，我们需要一个主动、实时、可配置的监控
2023-10-27 后端架构
NumPy Server-Sent Events (SSE) 读写分离 Go-Fiber 配置中心
构建基于 LangChain 与 Milvus 的多租户 RAG 架构 融合 AWS SQS 实现异步处理与 OAuth 2.0 安全隔离 构建基于 LangChain 与 Milvus 的多租户 RAG 架构 融合 AWS SQS 实现异步处理与 OAuth 2.0 安全隔离
在构建任何面向企业的SaaS产品时，将简单的单用户技术演示转化为一个健壮、安全、可扩展的多租户服务，是架构设计的核心挑战。一个典型的检索增强生成（RAG）应用，若直接暴露同步API接口进行文档处理和向量化，在生产环境中会迅速遭遇瓶颈：API
2023-10-27 后端架构
Python OAuth 2.0 AWS SQS LangChain Milvus RAG Multi-tenancy
基于C++ CDC与Hudi-HBase的金融交易数据分层存储架构实现 基于C++ CDC与Hudi-HBase的金融交易数据分层存储架构实现
我们面临一个棘手的工程问题：一个核心的、高频交易后处理系统，其底层依赖于一个庞大的关系型数据库集群。该系统每天产生数十亿条交易流水、委托变更和清算记录。业务需求被清晰地划分为两个极端：一方面，交易运营团队需要对过去24小时内的任意订单进行亚
2023-10-27 数据工程
Apache Hudi HBase C++ SQL CDC
5 / 5