雪姐VS直播回放视频，用Golang写个爬虫，把错过的精彩全捞回来

为什么我非得跟“回放”较劲

昨晚又没赶上雪姐的直播，八点开会，九点半应酬，等躺到沙发上打开手机，直播间早散场了，弹幕里全是“雪姐刚才那波操作绝了”“这段必须回放”，可回放在哪儿？官方只留最近三天的，而且画质被压得跟马赛克似的，我气得把手机往沙发上一扔——结果弹到键盘上，Golang的编译器正好开着，一行报错红得刺眼，忽然就想通了：与其等官方施舍回放，不如自己写个东西去抓，反正雪姐用的是固定平台,回放地址肯定有规律可循。

先别急着写代码，摸清楚回放视频的“脾气”

雪姐的直播回放，说白了就是一段HLS流，平台为了省带宽，会把整场直播切成几百个.ts小片段，再用一个.m3u8索引文件串起来，你要看回放，本质上就是先拿.m3u8，再按顺序把.ts下载下来,最后本地拼成一个完整mp4。

但这里头有个坑：回放地址会过期，雪姐人气高，平台只保留最近几场的回放，而且每个.ts文件的URL里都带时间戳签名，你上午抓到的链接，下午可能就403了，所以爬虫得趁热打铁，直播一结束就立刻去抓，我一般是定个闹钟，散场后半小时内必须跑完脚本——那时候平台还没来得及清理缓存。

还有个更坑的：有些片段是加密的，平台偶尔会抽出几个.ts文件加个AES-128加密，密钥藏在m3u8文件里一个叫#EXT-X-KEY的标签后面，你要是只下载不处理，拼出来的视频会有一段段黑屏，怎么判断有没有加密？打开m3u8，搜一下有没有METHOD=AES-128这行字，有，就得额外解析密钥，用Go的crypto/aes库去解密。

Golang爬虫三步走：拿索引、下分片、拼成片

写这个爬虫，我没用什么太复杂的框架，标准库加两个小工具就够，核心思路就三步，跟吃热干面一样，拌一拌，吸溜一口,完事。

第一步：用net/http把m3u8抢到手

雪姐的回放URL规律，我抓了三次包才摸清，格式大概是https://平台域名/live/回放ID/playlist.m3u8，回放ID是一串数字加字母，散场后平台会在直播间的页面源码里塞这个ID，所以我的程序第一步其实是先GET一下直播间页面，用正则把ID抠出来,再拼成m3u8的完整地址。

resp, err := http.Get("https://平台域名/live/" + roomID + "/playlist.m3u8")

注意得带Referer头，不然平台会当你是盗链,直接拒了。

req.Header.Set("Referer", "https://直播平台.com/")

第二步：解析m3u8，把.ts地址全掏出来

m3u8文件内容长这样：

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:10.0,
segment0.ts
#EXTINF:10.0,
segment1.ts

拿Go读这个文本，一行行扫，凡是碰见.ts结尾的行，就拼上基础URL，存进一个切片，别忘了顺便看看有没有#EXT-X-KEY那行,有就记下密钥的URL和IV。

scanner := bufio.NewScanner(strings.NewReader(m3u8Content))
var tsList []string
for scanner.Scan() {
    line := strings.TrimSpace(scanner.Text())
    if strings.HasSuffix(line, ".ts") {
        tsList = append(tsList, baseURL+line)
    }
}

第三步：并发下载分片，注意别点太快

几百个.ts文件，一个一个下得等到猴年马月，我用Go的goroutine开了10个协程同时下，每个文件下完直接写到磁盘上的临时目录，但这里有个教训：得控制并发数，不然平台的反爬机制会立刻把你的IP封了，我试过开50个协程，下了三十几个就被拦了，返回的全是403，后来改成10个,稳得很。

sem := make(chan struct{}, 10)
for i, tsURL := range tsList {
    sem <- struct{}{}
    go func(i int, url string) {
        defer func() { <-sem }()
        // 下载并保存到 temp/s%d.ts
    }(i, tsURL)
}

下完所有分片后，按序号顺序读文件，拼接成一个完整的mp4，Go里用io.Copy，把每个.ts的内容往一个os.File里怼，拼完之后，再用ffmpeg处理一下——不是必须的，但能修正时间戳,避免播放时快进会有卡顿。

避坑指南：雪姐粉丝群里的那些血泪教训

光有代码还不行，写爬虫就像追直播，除了技术,还得懂点人情世故。

• 别在白天跑脚本，平台晚上直播流量大，CDN节点多，抓回放容易成功，白天试过几次，要么超时，要么拿到的是空文件,可能是因为部分CDN节点不缓存旧回放。
• 回放ID有个坑，雪姐偶尔会开分场，雪姐聊后续”和“雪姐实战演示”是两段独立回放，ID不一样，你得去直播间页面里找video_list或replay_list这类字段，全量解析出来,别只拿第一个。
• 加密的密钥可能过期，如果m3u8里#EXT-X-KEY后面带的URI是个相对路径，比如/keys/123.key，那拼基础URL就行，但如果它带的是个带时间戳的完整URL，那你得在回放生成后尽快抓,晚了平台会删掉密钥文件。

代码跑通了，然后呢？

说实话，第一次跑通这个爬虫，看着屏幕上一帧帧拼出雪姐的脸，心里特有成就感，但马上又意识到个问题：拼出来的视频文件动不动就2GB，放手机里太占地方，后来加了段码率转码，用ffmpeg把1080p压成720p，体积能缩一半,画质损失肉眼基本看不出来。

顺手做个定时任务，用cron表达式，每天凌晨两点自动去检查有没有新的回放，有就自动下载并转码，然后丢到NAS里，从此再也没错过雪姐任何一场精彩操作——哪怕第二天早上顶着黑眼圈看,总比没得看强。

一点没说完的话

写完这个爬虫，我忽然觉得直播回放这东西，跟人生挺像的——总是有错过的时候，但只要你愿意折腾，总能找到办法把错过的补回来，Golang的并发模型让下载快得飞起，解密逻辑也就二十来行，最难的反而是摸清平台的URL规律，那得靠耐心,像追剧一样一集集试。

对了，最后提醒一句：技术无罪，但别太贪心，我自己的规矩是，只下载雪姐的公开回放，绝不碰付费内容或私密直播的录屏，平台的版权声明我也看了，个人观看和二次传播是两码事,别做那个被发律师函的倒霉蛋。

雪姐的直播回放视频整整齐齐躺在我的硬盘里，从“第一次连麦翻车”到“深夜吃播聊八卦”，编号排到一百多，有时候半夜醒来随手点开一场，听着她的笑声，恍惚觉得时间又倒回了那个晚上——我正端着泡面，盯着屏幕，等着她喊那句“接下来我们玩个大的”，这回,再也漏不掉了。