目前,AI在运动场景中的应用主要集中在动作类型的精准识别和定位上。该技术面临以下挑战:
1、体育行为复杂度高:运动类别间方差小,类别内方差大,隐蔽性高。目前的人类动作识别解决方案很难在运动数据集上工作。
2、长视频处理难度:在复杂动作处理难度的基础上,如何从未经处理的包含大量背景信息的原始视频中准确定位识别短时间内发生的人体动作也引起了人们的广泛关注。受到业界关注。
PaddleVideo开源了一套通用的运动动作识别解决方案。该方案不仅可以准确识别动作类型,还可以准确定位动作的开始和结束时间。该方案已在线上业务中得到充分验证。 PaddleVideo目前已开源其足球动作识别算法FootballAction、篮球动作识别算法BasketballAction、乒乓球动作识别算法和花样滑冰动作识别算法。篮球和足球使用相同的框架。动作识别后,可以轻松实现下游任务,如动作识别分析、智能评分、智能编辑、事件分析等。
⭐项目链接⭐
PaddleVideo的所有源代码和教程都是开源的。欢迎大家使用。明星鼓励一下~
FootballAction 基于比赛视频构建数据集。每个视频时长约40分钟,共包含8个动作类别:背景、进球、角球、任意球、黄牌、红牌、换人、界外球。该解决方案分为三个部分:特征提取、时序提名生成、动作分类和后处理模块。该模型的动作识别准确率达到94%,F1分数达到82%。
BasketballAction的整体解决方案与FootballAction类似,共包括7个动作类别,分别为:背景、三分球、两分球、扣篮、罚球、跳球。准确率超过90%,F1-score达到80.14%
乒乓球动作识别与定位
过去,为了给运动员提供有针对性的技战术分析数据,需要反复观看历史视频,统计分析每个球的得分和失分原因、每个板块使用了哪些技术、哪些动作等。成功率是。这是一项耗时且非常辛苦的工作。为此,飞桨与北京大学基于超过500G的游戏视频构建了标准的训练数据集。标签涵盖发球、拉动、挥拍等8大类动作。 PaddleVideo 开源了其乒乓球动作识别模型和基于 BMN 的动作定位模型,包括 Video Swin Transformer。
基于Video Swin Transformer的乒乓球动作识别模型,目前动作识别准确率已达到74%以上。
视频 Swin Transformer 功能
基于百度自研的BMN在乒乓球挥杆定位模型上,对比主流动作定位数据集ActivityNet1.3-67.10%、THUMOS14-43.54%的SOTA效果,目前AUC准确率在验证集。
花样滑冰动作识别
花样滑冰因其优美的舞蹈动作而深受年轻人的喜爱。但由于舞蹈动作的专业性,非专业选手很难判断运动员具体的舞蹈动作类型。与其他竞技运动相比,花样滑冰运动轨迹复杂、速度快、类别多,这对识别任务来说是很大的挑战。
2021年,飞桨联合中国计算机学会(CCF)举办第九届CCF大数据与计算智能大赛。其中,花样滑冰动作识别比赛吸引了来自300所高校、200家企业的3800余名参赛者。锦标赛解比基准解更准确。提升12分,竞赛前3名的解决方案已开源。
我们使用基于联合点的动作识别来识别动作。花样滑冰锦标赛数据集,其动作由专业人士注释。对于输入视频,首先统一其帧率,然后利用姿态估计算法提取关节点数据,最后将关节点数据输入到时空图卷积网络ST-GCN模型中进行动作分类,可以实现30种动作的分类。
算法性能强
丰富的应用案例
PaddleVideo期待您的使用和反馈:
精彩课程预览
1月17日至21日每晚20:15至21:30,飞桨将携手百度智能云、百度研究院数十位高级工程师带来直播分享,剖析行业痛点,深度解读工业级智能视频在体育、互联网、医疗、媒体等行业的技术解决方案和应用案例,并提供实践项目实施。扫描二维码或点击“阅读原文”即可报名,我们直播间见~
扫描二维码报名直播课并加入技术交流群
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请联系本站,一经查实,本站将立刻删除。如若转载,请注明出处:http://hdymy.com/html/tiyuwenda/7088.html