Skip to main content

· 5 分钟

Introduction

在这篇博客中,我们将探讨一种正在改变直播体验的创新方法:使用自动语音识别(ASR)来创建实时字幕。您是否曾想过如何使 直播对听力障碍者或说不同语言的人更具包容性?答案在于一项正在重塑我们体验直播内容的创新技术。

我们的重点是ASR领域的一个颠覆性工具——OpenAI的Whisper。这不仅仅是一项技术;它是一个强大的AI服务,能够理解世界上 几乎所有的语言,并以惊人的准确度转录语音。忘掉过去需要昂贵专业人士进行现场翻译和转录的日子。有了OpenAI的Whisper, 这个过程变得自动化、高效且经济。

这个为初学者设计的指南将带您了解如何将Whisper AI整合到您的直播中,实时识别和转录语音。然后,我们将向您展示如何 使用FFmpeg具,将这些字幕无缝叠加到您的直播上。所有这些都通过SRS Stack轻松实现,该技术将这些技术无缝连接, 只需点击一下。

我们一起迈入以AI为动力的直播未来,其中无障碍和包容性至关重要,使您的内容更加愉快,且能触及更广泛的观众。

Step 1: Create SRS Stack by one click

如果您使用腾讯云轻量服务器,只需点击一下即可创建SRS Stack。请参考 SRS Stack - 起步、购买和入门 这个博客。

您还可以使用Docker通过单个命令行创建SRS Stack:

docker run --rm -it -p 2022:2022 -p 2443:2443 -p 1935:1935 \
-p 8080:8080 -p 8000:8000/udp -p 10080:10080/udp --name srs-stack \
-v $HOME/data:/data registry.cn-hangzhou.aliyuncs.com/ossrs/srs-stack:5

创建SRS Stack后,您可以通过 http://your-server-ip/mgmt 访问它。

Step 2: Publish a Live Stream to SRS Stack

您可以使用 OBS 或 FFmpeg 将直播流发布到 SRS Stack。您还可以设置 HTTPS 并通过 WebRTC 发布。

发布流后,您可以使用 H5 播放器或 VLC 预览它。 请参阅如何通过 1-Click 设置视频流服务了解详细信息。

Step 3: Setup OpenAI Secret Key for Whisper ASR

要使用 Whisper ASR,您必须从 OpenAI 获取一个密钥。请在您的浏览器中打开 API 密钥 页面,然后点击 创建新的密钥 按钮。密钥创建后,复制它并在 SRS Stack 中设置。然后,如下图所示,点击 测试OpenAI服务可用性 按钮。

如果测试成功,您可以点击 开启AI字幕 按钮以开始直播自动加字幕。

Step 4: View Live Stream with Subtitles

当生成HLS片段时,SRS Stack使用FFmpeg将TS片段转码为音频MP4文件。然后,它利用OpenAI的Whisper服务将其转换为SRT字幕。 接下来,将字幕覆盖到原始TS文件上,从而创建一个新的直播流。

页面中有链接可以播放带有字幕的新生成的直播流。您可以直接在浏览器中打开此链接,如下图所示。

在浏览器中打开HLS流链接,以看到带有字幕的直播。

您还可以使用HTTP API获取每个HLS片段的ASR结果,并执行诸如翻译或与您的AI系统集成等操作。

Conclusion

SRS Stack将OpenAI的Whisper和FFmpeg整合在一起,彻底改变了直播方式,使观众体验更佳,通过提供包容性的AI驱动字幕。 这种从手动转录到自动化转录的转变既节约成本又扩大了全球可及性,克服了语言和听力障碍。我们正在进入一个AI增强数字包容性 的未来,丰富了我们在线分享和消费内容的方式。

Contact

Welcome for more discussion at discord.

· 5 分钟

Introduction

HEVC(或H.265)与广泛使用的H.264编码相比,可以将带宽使用量减少约50%,而H.264具有最佳的兼容性。在过去的10年里, HEVC的发展速度较慢,因为新的编码需要一个生态系统来支持它,包括解码器和设备硬件。现在,OBS和FFmpeg都支持RTMP和FLV的HEVC, 这些都是直播行业的标准工具。

· 6 分钟

Introduction

在当今的数字世界中,直播流已成为企业、内容创作者和个人的必备工具。随着越来越多的观众收看直播,优化直播流体验和成本变得至关重要, 无论观众的网络速度或设备性能如何。实现这一目标的有效方法之一是通过直播转码,这个过程可以在不影响视频质量的情况下降低带宽并节省成本。 在这篇博客中,我们将探讨使用 SRS Stack 进行高效直播转码的好处,以及它如何带来显著的成本节省。

· 6 分钟

Introduction

虚拟直播是指将录制的视频文件,或者设备,或者网络流,转成直播推送到直播平台。比如在电商直播中,可以先录制好直播内容,商品的讲解。 比如在教育直播中,可以预先录制课程,在直播间播放课程。比如在线演讲和分享,可以将提前录制的内容在直播间播放。

虚拟直播让主播可以有充分的准备时间,让直播内容更加精美,可以避免经验不足的主播的焦虑,可以避免主播网络问题,可以7x24小时在 直播间做直播,可以触达更多的观众,可以让直播有更多的可能性。

· 6 分钟

在当今的数字时代,直播变得越来越受欢迎,像视频号和抖音这样的平台为用户提供了实时直播内容的能力。然而,随着这种越来越受 欢迎的需求,加强安全性和认证措施以保护播放者和观众变得尤为重要。在这篇全面的指南中,我们将深入探讨直播中安全性和认证的重要性, 讨论SRS Stack解决方案以实现安全发布,并提供一步一步的指南来为您自己的直播服务设置SRS Stack。

· 3 分钟

OBS现在支持WHIP功能,最近已经合并了这个补丁。这使得OBS WHIP具有各种新功能和可能性, 因为延迟从1秒降低到200毫秒。

在没有OBS WHIP的情况下,您可以使用RTMP+WebRTC进行直播,这将导致大约500ms的延迟。 然而,通过使用OBS WHIP,您可以实现低延迟直播,延迟大约为200ms。

· 10 分钟

发掘SRS服务器的能力,这是一款全能的开源媒体服务器解决方案,可以实现无缝的直播流媒体、内容创作和AI等系统集成, 支持视频号、抖音、B站和快手等平台上的多平台直播。