虚幻和现实到底相隔多远,相信很多人都无法回答这个问题,如果你了解AR Cut & Paste,那就知道他们之间只差一个软件。我们平时要拍摄一件物体就需要先把它用手机或者相机拍摄下来,然后导入到Photoshop进行抠图,现在有了AR Cut & Paste这些流程都不再需要了,我们可以一步到位,也许很多人都会感觉到莫名其妙,不知道小编到底在说些什么,让我们先来看下效果图:
大家都明白了吧,是不是觉得很不可思议,这简直就是魔法的存在,所有的东西可见即可拷,一件挪到电脑中变为素材,完全就是设计师们的福音。
AR Cut & Paste 工具是一个AR+ML的原型,可以将周围的元素剪下,然后粘贴到图像编辑软件中。
虽然目前只处理Photoshop,但未来可能会处理不同的输出。
这个原型以3个独立模块的形式运行。
1.移动应用程序
2.本地服务器
3.对象检测/背景移除服务
首先,用户需要在手机上预装 AR Cut & Paste:
一个Expo / React Native移动应用。请按照Expo官网的说明,查看如何使用Expo应用在手机上预览应用。
安装
npm install
然后将component/Server.tsx中的IP地址更新为运行本地服务器的计算机的IP地址。
3: const URL = “http://192.168.1.29:8080”;
运行
npm start
本地服务器
安装
virtualenv -p python3.7 venv
source venv/bin/activate
pip install -r requirements.txt
source venv/bin/activate
pip install -r requirements.txt
运行
BASNET_SERVICE_HOST是可选的(只有当你在使用Knative/Cloud Run等入口网关的平台上部署了服务时才需要)。
将123456替换成你的Photoshop远程连接密码。
python src/main.py \
–basnet_service_ip=”http://X.X.X.X” \
–basnet_service_host=”basnet-http.default.example.com” \
–photoshop_password 123456
–basnet_service_ip=”http://X.X.X.X” \
–basnet_service_host=”basnet-http.default.example.com” \
–photoshop_password 123456
对象检测/背景移除服务
目前来说,突出性检测和背景去除都是委托给外部服务来完成的。
如果直接在移动应用中使用DeepLap这样的东西会简单很多。但这还没有在这个repo中实现。