live555多线程改造方案
博主已经使用live555近10年,用作客户端可以每个线程一路live555 rtsp client,但是用作服务端,一直是单个线程处理,并发能力受限。
今年笔者所在公司对并发量有要求,200路,不得不研究对其进行多线程改造。
经过1个月的开发调试,终于实现,现在把基本思路分享一下:
1. 不改动live555的处理框架和逻辑
2. 处理sdp的生成函数,把同步等待修改为定时器等待。(不修改会导致新的请求导致前一路视频可能卡顿)
3. 增加N个Rtp发送线程,处理rtcp和rtp的发送
4. 修改类MultiFramedRTPSink,增加rtp发送线程的派发处理:
MultiFrame[......]
opus编码 SDP如何协商采样率?
Reading more in the rfc7587, you will find out that, in SDP, you will always see the codec being using “OPUS/48000/2″, no matter the real sampling rates.
无论采样率为多少,codec采样的参数都是”OPUS/48000/2″
实际的采样率协商可以使用以下附加参数,见第三行:
m=audio 54312 RTP/AVP 101
a=rtpmap:101 opus/48000/2
a=fmtp:101 maxplaybackrate=8000; sprop-m[......]
音视频开发入门基础知识ppt
可供有意从事音视频相关开发的程序员小伙伴参考!
PPT的部分内容和图片摘自互联网的博客,如有侵权,就当是开源精神,望网开一面。
stm32 H750开发疑难问题记录
开发过程遇到2个奇怪的问题,记录一下。
问题1. 读区spi Flash数据读取后,校验数据读取不正确,底层驱动函数,把读取函数的超时时间由1000修改为2000就解决了。
//SPI2 读写一个字节
//TxData:要写入的字节
//返回值:读取到的字节
u8 SPI1_ReadWriteByte(u8 TxData)
{
u8 Rxdata;
HAL_SPI_TransmitReceive(&SPI1_Handler,&TxData,&Rxdata,1, 2000); //此处超时时间由1000修改为2000
return Rxdata;
}
问题2. Flash的延时和CPU的频率不匹配,导致程序运行随机异常,可以通过者降低主频或增加flash的延时周期解决
RCC_OscInitStruct.PLL.PLLN = 160;//降低主频 192修改为160
或者
HAL_RCC_ClockConfig(&RCC_ClkInitStruct, FLASH_LATENCY_5)
(由FLASH_LATENCY_4增加1个周期延[......]
SIP协议文档或资源
pjsip实现h265视频编码扩展方法
H265逐渐成为音视频领域的主流,特别是在手机上,已经支持H265的硬编硬解。目前为止,pjsip协议栈还只支持h264的编码,并且是软编解码的方式。笔者提前扩展实现了pjsip 支持H265的方案。其最根本的思路是在流程处理逻辑上彻底参考pjsip源码中H264的实现,把H264的相关部分拷贝一份,修改为H265。主要修改点为sdp相关逻辑处理和编码器增加。
sdp的处理主要是在媒体协商层面支持h265的编码方式。
编解码器的增加可以参考openh264的实现,拷贝一份,修改为自己的h265的实现,然后修改对应的pjmedia中makefile及在pjsua_vid.c中增加h265编码[......]
pjsip实现h264视频硬编硬解
大家都知道,pjsip对h264视频的支持实现比较弱,只支持openh264和ffmpeg的软编软解,在一些嵌入式平台中,如何实现硬编硬解呢?答案是肯定的,笔者就实现了h264的硬编硬解功能。其基本思路是参考openh264实现一个自己的h264 codec编解码器和参考ffmpeg_dev实现一个自己的h264 dev采集设备,然后在自己增加的2个模块中实现h264数据及yuv数据的透传,从而实现真正的硬编码,硬解码。其思路主要是通过内部数据结构,在不破坏pjsip原有media处理流程的基础上,实现h264的硬编硬解。
其数据流如下:
my_h264_codec编码 my_h264_dev
如果[......]
工作室主要产品或案例列表
1. Android视频会议软终端产品,详情请查看以下文档:
2. PC BullSip软件下载,详情请查看以下文档:
3. Android SipTerm产品,详情请查看以下文档:
4.基于linux centos 6.5系统的三棵杏IPC录播服务器,支持上千路并发录制,了解产品请查看产品手册
pjsip移植到stm32(freertos系统)
项目目标:基于stm32 H750构建带SIP通话的UI应用系统
单片机硬件: stm32 H750 主频480M
实时操作系统:freertos
开发工具:keil uVison 5.23
编译器: armcc
编译的包:freertos + lwip + FreeRTOS_Plus_POSIX + pjproject-2.7.2 + emwin 5.x
pjsip pjporject-2.7.2编译方法步骤:
1.在linux ubuntu系统下安装arm-none-eabi编译工具链,进行配置和初步编译
2.把已经配置好的pjporject-2.7.2目录,拷贝到windows中,修改各个子[......]
编码器及解码器音视频同步技巧
最近在海思3531D平台上重构了5年前写的编解码器代码。丢掉了很多为了实现音视频同步而写的很多冗余算法。任何时候都要遵循简单为美的原则。
无论编码端还是解码端,在音视频同步中,选定音频的pts为基准。原因是音频对pts的连续性更敏感,视频慢1/3 frame time或快1/3 frame time,人眼觉察不到。
一言概之:音频pts按帧率计算累加,视频pts在按帧计算累加基础上,再加上一个适当波动值进行调节(可以是正,或者复数,波动值一定要小于 frame time)。
编码器中音视频同步算法:视频的pts要以音频的pts为基准, diff = video_pts – audio_pts; 确保视频[......]