作者： 数羽

title: “你好，数羽”
date: 2026-06-28
slug: hello-shuyu
summary: “这是数羽的第一篇文章，介绍博客的诞生。”
tags: [技术, 大数据]
category: tech
—

## 为什么叫数羽

数 — 数据、数字、算法，直接指向大数据这个职业。
羽 — 羽毛、羽翼，来自 DimBird 的意象，代表俯瞰全局的视角。

> 数羽 | 数据之翼，俯瞰万物

## 我是谁

我从事大数据开发工作，关注数据工程、AI 应用研究。

## 这个博客会写什么

– 大数据技术的实践心得
– AI 应用的研究和思考
– 工程效率与工具链

一起探索数据的世界。

## 分支策略

我们采用 Trunk-Based Development 的变体：

– `main` — 生产就绪分支
– `feat/xxx` — 功能开发分支
– `fix/xxx` — 紧急修复分支

## Commit 规范

“`
:

feat: 新增 Spark SQL 优化器
fix: 修复内存泄漏问题
docs: 更新 API 文档
refactor: 重构数据管道模块
“`

## Merge vs Rebase

– 公共分支：使用 Merge（保留完整历史）
– 个人分支：使用 Rebase（保持历史干净）
– 关键原则：**永远不要 rebase 已经 push 的提交**

## 总结

好的 Git 工作流能让团队效率提升数倍。原则是：简单、一致、可追溯。

## 简介

Spark Streaming 是 Apache Spark 生态中用于处理实时数据流的组件。它可以将流数据按时间片切分成小批次，然后用 Spark 引擎进行处理。

## 核心概念

### DStream

DStream（Discretized Stream）是 Spark Streaming 的核心抽象，代表连续的数据流。它由一系列连续的 RDD 组成。

“`python
from pyspark.streaming import StreamingContext

ssc = StreamingContext(sc, batchDuration=1) # 1秒批次
lines = ssc.socketTextStream(“localhost”, 9999)
counts = lines.flatMap(lambda line: line.split(” “)) \
.map(lambda word: (word, 1)) \
.reduceByKey(lambda a, b: a + b)

counts.pprint()
ssc.start()
ssc.awaitTermination()
“`

## 性能优化

1. **合理设置批次间隔**：通常设置在 500ms 到 5s 之间
2. **使用 Checkpoint**：确保故障恢复能力
3. **调整并行度**：根据集群资源合理分配
4. **反压机制**：开启 `spark.streaming.backpressure.enabled`

## 总结

Spark Streaming 适合秒级延迟的批处理场景，如果对延迟要求极高，可以考虑 Flink 或 Kafka Streams。

## 前言

2026 年，大模型已经无处不在。但如何将大模型真正落地到业务中，仍然是一个工程挑战。

## API 调用方案

“`python
import openai

client = openai.OpenAI(api_key=”your-key”)

response = client.chat.completions.create(
model=”gpt-4″,
messages=[
{“role”: “system”, “content”: “你是一个数据分析助手”},
{“role”: “user”, “content”: “分析这份销售数据”},
],
temperature=0.7,
)
“`

## RAG 架构

检索增强生成（RAG）是目前企业级应用的主流方案：

– 文档切分 → 向量化 → 存入向量数据库
– 用户提问 → 检索相关文档 → 拼接 Prompt → 大模型生成
– 关键：检索质量 >> 模型能力

> RAG 不是银弹，但它解决了大模型的两大痛点：知识时效性和幻觉问题。

## 成本控制

| 方案 | 成本 | 适用场景 |
|——|——|———|
| API 调用 | 按 token 计费 | 小规模验证 |
| 本地部署 | 硬件一次性投入 | 大规模生产 |
| 模型蒸馏 | 中等 | 平衡方案 |

## 结论

大模型工程化的核心不是模型本身，而是工程基础设施。