Android PC投屏简单尝试- 自定义协议章(Socket+Bitmap)
代码地址 :https://github.com/deepsadness/MediaProjectionDemo
效果预览
投屏效果预览
简单说明:
- 使用Android MediaProjection Api来完成视频的截图
- 通过WebSocket进行链接。将图片传递给网页
想法来源
看到vysor
,觉得特别好玩,于是就想着自己能不能试着做一个类似的功能出来。搜索了相关实现。发现网上已经有网友针对vysor
做了分析。于是就照着思路,按图索骥,当作对MediaProjection Api的练习,来完成这个小项目
主要思路
1. 获取屏幕的截屏
- 创建VirtualDisplay
Android在Api 21以上为我们已经提供了系统的Api可以进行操作。
主要是这几个类的相互配合
MediaProjection
和VirtualSurface
,还有截图的话,使用ImageReader
,三个类配合使用。配套使用示意图.png
public RxScreenShot createImageReader() {//注意这里使用RGB565报错提示,只能使用RGBA_8888mImageReader = ImageReader.newInstance(width, height, PixelFormat.RGBA_8888, 1000);mSurfaceFactory = new ImageReaderSurface(mImageReader);createProject();return this;}private void createProject() {mediaProjection.registerCallback(mMediaCallBack, mCallBackHandler);//通过这种方式来创建这个VirtualDisplay,并将数据传递给ImageReader提供surfacemediaProjection.createVirtualDisplay(TAG + "-display", width, height, dpi, DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC,mSurfaceFactory.getInputSurface(), null, null);}
- 获取屏幕截图
可以通过ImageReader
类。配套Image
来获奖获得的数据转成Bitmap
/*
封装成了Observable对象。
*/
public class ImageReaderAvailableObservable extends Observable<ImageReader> {public static ImageReaderAvailableObservable of(ImageReader imageReader) {return new ImageReaderAvailableObservable(imageReader, null);}public static ImageReaderAvailableObservable of(ImageReader imageReader,Handler handler) {return new ImageReaderAvailableObservable(imageReader, handler);}private final ImageReader imageReader;private final Handler handler;private ImageReaderAvailableObservable(ImageReader imageReader, Handler handler) {this.imageReader = imageReader;this.handler = handler;}@Overrideprotected void subscribeActual(Observer<? super ImageReader> observer) {Listener listener = new Listener(observer, imageReader);observer.onSubscribe(listener);//设置准备好的监听事件imageReader.setOnImageAvailableListener(listener, handler);}static class Listener implements Disposable, ImageReader.OnImageAvailableListener {private final AtomicBoolean unsubscribed = new AtomicBoolean();private final ImageReader mImageReader;private final Observer<? super ImageReader> observer;Listener(Observer<? super ImageReader> observer, ImageReader imageReader) {this.mImageReader = imageReader;this.observer = observer;}@Overridepublic void onImageAvailable(ImageReader reader) {if (!isDisposed()) {//将准备好的reader发送出去,进行处理observer.onNext(reader);//注意:这里如果不调用onCompleted事件。其实这个监听会不断回调事件
// observer.onComplete();}}@Overridepublic void dispose() {if (unsubscribed.compareAndSet(false, true)) {mImageReader.setOnImageAvailableListener(null, null);}}@Overridepublic boolean isDisposed() {return unsubscribed.get();}}
}/*
调用开始截屏的方法
*/
public Observable<Object> startCapture() {return ImageReaderAvailableObservable.of(mImageReader).map(imageReader -> {String mImageName = System.currentTimeMillis() + ".png";Log.e(TAG, "image name is : " + mImageName);Bitmap bitmap = null;//从imageReader中获取到最新的ImageImage image = imageReader.acquireLatestImage();if (image == null) {} else {//将Image对象转成bitmapint width = image.getWidth();int height = image.getHeight();//byteBuffer都保存在image.Plane中final Image.Plane[] planes = image.getPlanes();final ByteBuffer buffer = planes[0].getBuffer();int pixelStride = planes[0].getPixelStride();int rowStride = planes[0].getRowStride();int rowPadding = rowStride - pixelStride * width;bitmap = Bitmap.createBitmap(width + rowPadding / pixelStride, height, Bitmap.Config.ARGB_8888);bitmap.copyPixelsFromBuffer(buffer);bitmap = Bitmap.createBitmap(bitmap, 0, 0, width, height);//这里使用完要记得close.如果没有close,当imageReader达到max_count上限时将会抛出异常image.close();}return bitmap == null ? new Object() : bitmap;});}
这里需要注意的是,需要通过这个回调,每当屏幕发生变化,就会回调这个接口,可以得到最新的截图。
ImageReader::setOnImageAvailableListener
2. 搭建Socket连接,将图片的数据进行传递
node 部分的代码在 https://github.com/deepsadness/MediaProjectionDemo/tree/master/sockt
因为我们的目标是在网页内打开,所以需要和网页进行通信。
可以简单的使用WebSocket
进行双方通向
简单示意图Again.png
通过Socket.io
https://socket.io/ 就可以简单的实现
- Android端的代码
通过WebSocket将Bitmap的字节码发送出去
private fun sendBitmap(it: Bitmap) {val byteArrayOutputStream = ByteArrayOutputStream()it.compress(Bitmap.CompressFormat.JPEG, 60, byteArrayOutputStream)val byteArray = byteArrayOutputStream.toByteArray()SocketIoManager.getInstance().send(byteArray)}public void send(byte[] bitmapArray) {if (!mSocketReady) {return;}if (bitmapArray != null) {mSocket.emit("event", bitmapArray);}}
- Node端的代码
简单的SocketIo实现.代码在/sockt/io-server.js
var io = require('socket.io')();
var clients = []
io.on('connection', function (client) {clients.push(client);console.log('connection!');client.emit('join', 'welcome to join!!')client.on('chat message', function (msg) {console.log("receive msg=" + msg);});client.on('event', function (msg) {// console.log("event", msg);console.log("event", "send image~~");//通过event事件出去clients.forEach(function (it) {it.emit('event', msg)})});
});
io.on('disconnect', function (client) { })
io.listen(9000);
3. 如何将图片显示出来
代码在 /sockt/index.html
中
html
中的src
就可以直接对传递byte[]
的进行解析。
socket.on('image', function (msg) {var arrayBufferView = new Uint8Array(msg);var blob = new Blob([arrayBufferView], { type: "image/jpeg" });var urlCreator = window.URL || window.webkitURL;var imageUrl = urlCreator.createObjectURL(blob);var img = document.getElementById("screen");// var img = document.querySelector("#photo");img.src = imageUrl;
4. 下一步
下一步,就是使用 录制的Api,来做录屏直播了。
投屏尝试系列文章
- Android PC投屏简单尝试- 自定义协议章(Socket+Bitmap)
- Android PC投屏简单尝试(录屏直播)2—硬解章(MediaCodec+RMTP)
作者:deep_sadness
链接:https://www.jianshu.com/p/ce37330365f2
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。
Android PC投屏简单尝试- 自定义协议章(Socket+Bitmap)相关推荐
- Android PC投屏简单尝试—最终章2
源码地址:https://github.com/deepsadness/AppRemote 上一章中,我们简单实现了PC的投屏功能. 但是还是存在这一些缺陷. 屏幕的尺寸数据是写死的 不能通过PC来对 ...
- Android PC投屏简单尝试—最终章1
回顾之前的几遍文章,我们分别通过RMTP协议和简单的Socket 发送Bitmap图片的Base64编码来完成投屏. 回想这系列文章的想法来源-Vysor,它通过 USB来进行连接的.又看到了 scr ...
- Android PC投屏简单尝试(录屏直播)2—硬解章(MediaCodec+RMTP)
代码地址 :https://github.com/deepsadness/MediaProjectionDemo 想法来源 上一边文章的最后说使用录制的Api进行录屏直播.本来这边文章是预计在5月份完 ...
- Android PC投屏简单尝试(录屏直播)3—软解章(ImageReader+FFMpeg with X264)
使用FFmpeg进行软件解码并通过RTMP进行推流 编译带有x264的FFmpeg 编写FFmpeg代码进行推流 通过ImageReader的回调,我们就可以得到截屏的数据了.第一遍文章是通过自定义的 ...
- java无线投屏代码,Android PC投屏功能实现的示例代码
本文介绍了Android PC投屏功能实现的示例代码,分享给大家,具体如下: 效果预览 投屏效果预览 简单说明: 使用Android MediaProjection Api来完成视频的截图 通过Web ...
- C++版Android实时投屏软件系统源码,安卓手机投屏软件源码,无需root权限
QtScrcpy QtScrcpy 可以通过 USB / 网络连接Android设备,并进行显示和控制.无需root权限. 同时支持 GNU/Linux ,Windows 和 MacOS 三大主流桌面 ...
- 如何将 Android 手机投屏在 Ubuntu/LinuxMint/Debian 上
Scrcpy 介绍 首先,我们来认识一下Scrcpy. Scrcpy是一个开源的命令行工具软件,被设计用于使计算机用户能通过android adb或通过usb数据线控制其Android设备,支持通过鼠 ...
- android 投屏 app 三星,[图]为何Windows 10的Android应用投屏功能仅限于三星手机?
原标题:[图]为何Windows 10的Android应用投屏功能仅限于三星手机? 在 Windows 10 May 2020(20H1/Version 2004)功能更新中,微软引入了名为" ...
- ADB投屏_如何将 Android 手机投屏在 Ubuntu/LinuxMint/Debian 上
你知道如何将 Android 手机投屏到Linux系统吗?本文就以 Scrcpy 软件为例,来讲解一下如何将Android手机投屏到Ubuntu系统. Scrcpy 介绍 首先,我们来认识一下Scrc ...
最新文章
- php smarty模板引擎 性能,smarty性能低?直接使用php模板引擎吧
- java 发送邮件 菜鸟_Java发送邮件的方法
- 重写selenium 的 click()操作,使得脚本更稳定
- ---------愿 青春与我皆不付---------------------
- pdf温度记录仪开发_蔬菜、鲜果、奶制品冷链温度监控系统监控食品让客户放心...
- LeetCode 437. 路径总和 III(双重递归)
- 计算机指令要素,【计算机系统】CPU指令执行流程与指令流水线原理
- C/C++——一些与输入有关的istream类成员函数
- 收藏:PCWorld:火狐浏览器已宣告死亡
- MySql如何使用索引(二)
- 酷狗显示服务器失败怎么回事,酷狗音乐上传音乐失败怎么回事
- 主板开启网络唤醒_主板远程唤醒设置
- oeasy教您玩转vim - 4 - # 深入帮助
- python123 测验6:组合数据类型
- 基于PHP和YII框架技术的班级管理系统 | 饭饭博客
- unity3d 角色 武器 动画 和 blender 工作流
- PTA(Java类与对象 方法,方法重载) 7-1 设计一个风扇Fan类
- 事件的三个阶段:捕获阶段 目标阶段 冒泡阶段
- Android Jetpack系列之LiveData
- TOR交换机和普通交换机有什么区别?