【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 )
文章目錄
- 安卓直播推流專欄博客總結(jié)
- 一、 音頻數(shù)據(jù)采集、編碼
- 二、 AAC 高級(jí)音頻編碼
- 三、 FAAC 編碼器
- 四、 Ubuntu 18.04.4 交叉編譯 FAAC 編碼器
安卓直播推流專欄博客總結(jié)
Android RTMP 直播推流技術(shù)專欄 :
0 . 資源和源碼地址 :
- 資源下載地址 : 資源下載地址 , 服務(wù)器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫(kù) , 本專欄 Android 直播推流源碼 ;
- GitHub 源碼地址 : han1202012 / RTMP_Pusher
1. 搭建 RTMP 服務(wù)器 : 下面的博客中講解了如何在 VMWare 虛擬機(jī)中搭建 RTMP 直播推流服務(wù)器 ;
- 【Android RTMP】RTMP 直播推流服務(wù)器搭建 ( Ubuntu 18.04.4 虛擬機(jī) )
2. 準(zhǔn)備視頻編碼的 x264 編碼器開源庫(kù) , 和 RTMP 數(shù)據(jù)包封裝開源庫(kù) :
-
【Android RTMP】RTMPDumb 源碼導(dǎo)入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構(gòu)建腳本 )
-
【Android RTMP】Android Studio 集成 x264 開源庫(kù) ( Ubuntu 交叉編譯 | Android Studio 導(dǎo)入函數(shù)庫(kù) )
3. 講解 RTMP 數(shù)據(jù)包封裝格式 :
-
【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標(biāo)簽 Tag 分析 | 視頻標(biāo)簽 Tag 數(shù)據(jù)分析 )
-
【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )
4. 圖像數(shù)據(jù)采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數(shù)據(jù) , 并預(yù)覽該數(shù)據(jù) ;
-
【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 視頻采集相關(guān)概念 | 攝像頭預(yù)覽參數(shù)設(shè)置 | 攝像頭預(yù)覽數(shù)據(jù)回調(diào)接口 )
-
【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對(duì)比 | NV21 轉(zhuǎn) I420 算法 )
-
【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動(dòng)態(tài)權(quán)限申請(qǐng) )
5. NV21 格式的圖像數(shù)據(jù)編碼成 H.264 格式的視頻數(shù)據(jù) :
-
【Android RTMP】x264 編碼器初始化及設(shè)置 ( 獲取 x264 編碼參數(shù) | 編碼規(guī)格 | 碼率 | 幀率 | B幀個(gè)數(shù) | 關(guān)鍵幀間隔 | 關(guān)鍵幀解碼數(shù)據(jù) SPS PPS )
-
【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( Camera 圖像數(shù)據(jù)采集 | NV21 圖像數(shù)據(jù)傳到 Native 處理 | JNI 傳輸字節(jié)數(shù)組 | 局部引用變量處理 | 線程互斥 )
-
【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( NV21 格式中的 YUV 數(shù)據(jù)排列 | Y 灰度數(shù)據(jù)拷貝 | U 色彩值數(shù)據(jù)拷貝 | V 飽和度數(shù)據(jù)拷貝 | 圖像編碼操作 )
6. 將 H.264 格式的視頻數(shù)據(jù)封裝到 RTMP 數(shù)據(jù)包中 :
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 封裝 SPS / PPS 數(shù)據(jù)包 )
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 關(guān)鍵幀數(shù)據(jù)格式 | 非關(guān)鍵幀數(shù)據(jù)格式 | x264 編碼后的數(shù)據(jù)處理 | 封裝 H.264 視頻數(shù)據(jù)幀 )
-
【Android RTMP】RTMPDump 推流過程 ( 獨(dú)立線程推流 | 創(chuàng)建推流器 | 初始化操作 | 設(shè)置推流地址 | 啟用寫出 | 連接 RTMP 服務(wù)器 | 發(fā)送 RTMP 數(shù)據(jù)包 )
7. 階段總結(jié) : 阿里云服務(wù)器中搭建 RTMP 服務(wù)器 , 并使用電腦軟件推流和觀看直播內(nèi)容 ;
-
【Android RTMP】RTMP 直播推流 ( 阿里云服務(wù)器購(gòu)買 | 遠(yuǎn)程服務(wù)器控制 | 搭建 RTMP 服務(wù)器 | 服務(wù)器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )
-
【Android RTMP】RTMP 直播推流階段總結(jié) ( 服務(wù)器端搭建 | Android 手機(jī)端編碼推流 | 電腦端觀看直播 | 服務(wù)器狀態(tài)查看 )
8. 處理 Camera 圖像傳感器導(dǎo)致的 NV21 格式圖像旋轉(zhuǎn)問題 :
-
【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 問題描述 | 圖像順時(shí)針旋轉(zhuǎn) 90 度方案 | YUV 圖像旋轉(zhuǎn)細(xì)節(jié) | 手機(jī)屏幕旋轉(zhuǎn)方向 )
-
【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 圖像旋轉(zhuǎn)算法 | 后置攝像頭順時(shí)針旋轉(zhuǎn) 90 度 | 前置攝像頭順時(shí)針旋轉(zhuǎn) 90 度 )
9. 下面這篇博客比較重要 , 里面有一個(gè)快速搭建 RTMP 服務(wù)器的腳本 , 強(qiáng)烈建議使用 ;
- 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 快速搭建 RTMP 服務(wù)器 Shell 腳本 | 創(chuàng)建 RTMP 服務(wù)器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉(zhuǎn)效果展示 )
10. 編碼 AAC 音頻數(shù)據(jù)的開源庫(kù) FAAC 交叉編譯與 Android Studio 環(huán)境搭建 :
-
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( 音頻數(shù)據(jù)采集編碼 | AAC 高級(jí)音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )
-
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 頭文件與靜態(tài)庫(kù)拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )
11. 解析 AAC 音頻格式 :
- 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( AAC 音頻格式解析 | FLV 音頻數(shù)據(jù)標(biāo)簽解析 | AAC 音頻數(shù)據(jù)標(biāo)簽頭 | 音頻解碼配置信息 )
12 . 將麥克風(fēng)采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :
-
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 音頻編碼參數(shù)設(shè)置 | FAAC 編碼器創(chuàng)建 | 獲取編碼器參數(shù) | 設(shè)置 AAC 編碼規(guī)格 | 設(shè)置編碼器輸入輸出參數(shù) )
-
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )
-
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數(shù)據(jù) | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )
Android 直播推流流程 : 手機(jī)采集視頻 / 音頻數(shù)據(jù) , 視頻數(shù)據(jù)使用 H.264 編碼 , 音頻數(shù)據(jù)使用 AAC 編碼 , 最后將音視頻數(shù)據(jù)都打包到 RTMP 數(shù)據(jù)包中 , 使用 RTMP 協(xié)議上傳到 RTMP 服務(wù)器中 ;
視頻推流 : 之前的一系列博客中完成手機(jī)端采集視頻數(shù)據(jù)操作 , 并將視頻數(shù)據(jù)傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉(zhuǎn)為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數(shù)據(jù)包中 , 上傳到 RTMP 服務(wù)器中 ;
音頻推流 : 開始進(jìn)行音頻直播推流操作 , 先采集音頻 , 將音頻編碼為 AAC 格式 , 將編碼后的音頻打包成 RTMP 包 , 然后推流到服務(wù)器中 ;
一、 音頻數(shù)據(jù)采集、編碼
1 . 音頻數(shù)據(jù)采集 : Android 中有兩種方式可以采集音頻數(shù)據(jù) ;
① Java 層使用 AudioRecord ;
② Native 層使用 OpenSL ES ;
2 . 音頻數(shù)據(jù)編碼 :
① 視頻數(shù)據(jù)回顧 : 手機(jī)使用 Camera 采集 NV21 格式的圖像數(shù)據(jù) , x264 編碼庫(kù)將圖像數(shù)據(jù)編碼成 H.264 格式的視頻數(shù)據(jù) ;
② 音頻數(shù)據(jù)編碼 : 手機(jī)端采集 PCM 音頻采樣數(shù)據(jù) , FAAC 編碼庫(kù)將 PCM 采樣編碼成 AAC 格式的音頻數(shù)據(jù) ;
二、 AAC 高級(jí)音頻編碼
1 . 高級(jí)音頻編碼 ( Advanced Audio Coding , AAC ) :
① MPEG-2 AAC 編碼 : 初期 AAC 編碼時(shí)基于 MPEG-2 有損數(shù)字音頻壓縮編碼標(biāo)準(zhǔn) , 稱為 MPEG-2 AAC 編碼 ;
② MPEG-4 AAC 編碼 : 后期 AAC 編碼又基于 MPEG-4 標(biāo)準(zhǔn)基礎(chǔ)上添加了 PNS 技術(shù) , 稱為 MPEG-4 AAC 編碼 ;
③ 與 MP3 編碼對(duì)比 : AAC 壓縮編碼音質(zhì)要高于 MP3 格式 ;
一般情況下 , 多媒體壓縮格式 , 視頻采用 H.264 格式壓縮編碼 , 音頻采用 AAC 格式壓縮編碼 ;
三、 FAAC 編碼器
1 . FAAC 編碼器 : 在 Android 平臺(tái)推薦使用 FAAC 編碼器 , 免費(fèi) ; FAAC ( Freeware Advanced Audio Coder ) ;
2 . FAAC 編碼器下載 :
① 官方網(wǎng)站 : 可以在 FAAC 官網(wǎng) 下載 FAAC 開源庫(kù) ;
② 下載 FAAC 編碼庫(kù) : 點(diǎn)擊此處 , 進(jìn)入下載頁面
上述界面中 FAAD2 是解碼庫(kù) , FAAC 是編碼庫(kù) ;
這里下載 FAAC Source code 中的 TAR.GZ 文件 ;
四、 Ubuntu 18.04.4 交叉編譯 FAAC 編碼器
1 . 將下載的 FAAC 編碼器源碼拷貝到 Ubuntu 的 /root/rtmp 目錄下 ;
2 . 解壓源碼 :
$ tar xvf faac-1.29.9.2.tar.gz3 . 查看源碼路徑 : 該源碼中也有 configure 腳本 , 用于配置生成 Makefile 文件 ;
root@octopus:~/rtmp# cd faac-1.29.9.2 root@octopus:~/rtmp/faac-1.29.9.2# ls aclocal.m4 ChangeLog compile config.h.in configure COPYING docs include install-sh ltmain.sh Makefile.in NEWS TODO AUTHORS common config.guess config.sub configure.ac depcomp frontend INSTALL libfaac Makefile.am missing README4 . 查看 configure 幫助信息 : 執(zhí)行 ./configure --help 命令 , 可以查看編譯配置信息 ;
$ ./configure --help# 默認(rèn)情況下, 編譯 FAAC 時(shí), 會(huì)同時(shí)編譯靜態(tài)庫(kù)和動(dòng)態(tài)庫(kù), Android 交叉編譯推薦只編譯靜態(tài)庫(kù) --enable-shared[=PKGS] build shared libraries [default=yes] --enable-static[=PKGS] build static libraries [default=yes]# Android 中使用動(dòng)態(tài)庫(kù)時(shí), 必須指定 pic, 表示編碼出與位置無關(guān)的代碼段 --with-pic[=PKGS] try to use only PIC/non-PIC objects [default=useboth]5 . 交叉編譯工具鏈 :
① 其它開源庫(kù)的慣例 : 在 FFMPEG 和 x264 交叉編譯時(shí) , 都指定了 --cross-prefix 交叉編譯工具鏈前綴 ;
② FAAC 中指定交叉編譯工具鏈的方法 : 在 FAAC 中沒有提供該配置 , 那就只能通過環(huán)境變量設(shè)置 , 將交叉編譯工具鏈的 gcc 設(shè)置成環(huán)境變量 ;
③ 解析說明 FAAC 中的環(huán)境變量 :
Some influential environment variables:# C 編碼器命令行, 即 gcc, 這里可以直接指定交叉編譯工具鏈的 gccCC C compiler command# 指定傳遞給 gcc 的參數(shù)CFLAGS C compiler flags# 傳遞給鏈接器的參數(shù)LDFLAGS linker flags, e.g. -L<lib dir> if you have libraries in anonstandard directory <lib dir># 傳遞給鏈接器的庫(kù)LIBS libraries to pass to the linker, e.g. -l<library>CPPFLAGS (Objective) C/C++ preprocessor flags, e.g. -I<include dir> ifyou have headers in a nonstandard directory <include dir># C++ 編譯器CXX C++ compiler command# C++ 編譯器參數(shù)CXXFLAGS C++ compiler flagsLT_SYS_LIBRARY_PATHUser-defined run-time library search path.CPP C preprocessorCXXCPP C++ preprocessor6 . 交叉編譯腳本 : 寫一個(gè) Shell 腳本 , 輔助交叉編譯 FAAC 靜態(tài)庫(kù) ;
參考之前的 FFMPEG 和 x264 的 Shell 編譯腳本 ;
版本注意事項(xiàng) : 基于 android-17 版本進(jìn)行編譯, Android Studio 開發(fā)時(shí)可以將最小兼容版本配置到 17 ;
#!/bin/bash# NDK 根目錄 NDK_ROOT=/root/NDK/android-ndk-r17c# TOOLCHAIN 變量指向 gcc g++ 等交叉編譯工具所在的目錄 TOOLCHAIN=$NDK_ROOT/toolchains/arm-linux-androideabi-4.9/prebuilt/linux-x86_64 # 具體的交叉編譯工具鏈前綴 CROSS_COMPILE=$TOOLCHAIN/bin/arm-linux-androideabi# gcc 編譯器參數(shù), 這里指定使用 android-17 版本的庫(kù)進(jìn)行編譯 FLAGS="-isysroot $NDK_ROOT/sysroot -isystem $NDK_ROOT/sysroot/usr/include/arm-linux-androideabi -D__ANDROID_API__=17 -g -DANDROID -ffunction-sections -funwind-tables -fstack-protector-strong -no-canonical-prefixes -march=armv7-a -mfloat-abi=softfp -mfpu=vfpv3-d16 -mthumb -Wa,--noexecstack -Wformat -Werror=format-security -std=c++11 -O0 -fPIC"# 編譯結(jié)果輸出路徑 # 注意這里不能使用 ./android/armeabi-v7a, 報(bào)錯(cuò) error: expected an absolute directory name # 改成絕對(duì)路徑, 或者使用下面的方法 PREFIX=`pwd`/android/armeabi-v7a# FAAC 中沒有指定交叉編譯工具鏈的選項(xiàng), 只能在此處通過環(huán)境變量的方式進(jìn)行指定 # 這里指定使用 android-17 版本的庫(kù)進(jìn)行編譯 export CC="$CROSS_COMPILE-gcc --sysroot=$NDK_ROOT/platforms/android-17/arch-arm" # 指定 gcc 編譯器的參數(shù) export CFLAGS="$FLAGS"# 配置 Makefile 生成規(guī)則 ./configure \ --prefix=$PREFIX \ --host=arm-linux \ --with-pic \ --enable-shared=no # 清除之前的編譯內(nèi)容 make clean# 開啟新的 FFMPEG 編譯安裝過程 make install7 . 執(zhí)行編譯腳本 :
# 賦予 build.sh 腳本 執(zhí)行權(quán)限 $ chmod -R 777 build.sh# 執(zhí)行編譯腳本 $ ./build.sh8 . 編譯完畢 :
root@octopus:~/rtmp/faac-1.29.9.2# ls aclocal.m4 build.sh compile config.h.in config.sub COPYING frontend install-sh ltmain.sh Makefile.in README android ChangeLog config.guess config.log configure depcomp include libfaac Makefile missing stamp-h1 AUTHORS common config.h config.status configure.ac docs INSTALL libtool Makefile.am NEWS TODO root@octopus:~/rtmp/faac-1.29.9.2# cd android/ root@octopus:~/rtmp/faac-1.29.9.2/android# tree . └── armeabi-v7a├── bin│ └── faac├── include│ ├── faaccfg.h│ └── faac.h├── lib│ ├── libfaac.a│ └── libfaac.la└── share└── man└── man1└── faac.17 directories, 6 files root@octopus:~/rtmp/faac-1.29.9.2/android#總結(jié)
以上是生活随笔為你收集整理的【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 )的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【Android RTMP】NV21 图
- 下一篇： 【Android RTMP】音频数据采集