Harbeth 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Harbeth 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Harbeth 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 MIT
开发语言 Swift
操作系统 iOS
软件类型 开源软件
所属分类 iOS代码库图像(Image)
开源组织
地区 国产
投 递 者 Condy_
适用人群 未知
收录时间 2022-03-19

软件简介

Harbeth 是 Apple 的 Metal 框架上的一小部分实用程序和扩展,专用于使您的 Swift GPU 代码更加简洁,让您更快地构建管道原型。

Harbeth 专注于图形处理和滤镜制作,目前最重要的特点可以总结如下:

  • 支持运算符函数式操作
  • 支持快速设计滤镜
  • 支持合并多种滤镜效果
  • 支持输出源的快速扩展
  • 支持相机采集特效
  • 支持视频添加滤镜特效
  • 支持矩阵卷积
  • 滤镜部分大致分为以下几个模块:

总结下来目前共有 100+ 种滤镜供您使用。

  • 代码零侵入注入滤镜功能,
原始代码:
ImageView.image = originImage

注入滤镜代码:
let filter = C7ColorMatrix4x4(matrix: Matrix4x4.sepia)

var filter2 = C7Granularity()
filter2.grain = 0.8

var filter3 = C7SoulOut()
filter3.soul = 0.7

let filters = [filter, filter2, filter3]

简单使用
ImageView.image = try? originImage.makeGroup(filters: filters)

或者运算符操作
let AT = C7FilterTexture.init(texture: originImage.mt.toTexture()!)
let result = AT ->> filter ->> filter2 ->> filter3
ImageView.image = result.outputImage()

甚至函数式编程高级用法
var texture = originImage.mt.toTexture()!
filters.forEach { texture = texture ->> $0 }
ImageView.image = texture.toImage()
  • 相机采集生成图片
注入边缘检测滤镜:
var filter = C7EdgeGlow()
filter.lineColor = UIColor.red

注入颗粒感滤镜:
var filter2 = C7Granularity()
filter2.grain = 0.8

生成相机采集器:
let camera = C7CollectorCamera(callback: { [weak self] (image) in
    self?.ImageView.image = image
})
camera.captureSession.sessionPreset = AVCaptureSession.Preset.hd1280x720
camera.filters = [filter, filter2]

主要部分

  • 核心,基础核心板块

    • C7FilterProtocol:滤镜设计必须遵循此协议
      • modifier:编码器类型和对应的函数名称
      • factors:设置修改参数因子,需要转换为Float
      • otherInputTextures:多个输入源,包含MTLTexture的数组
      • outputSize:更改输出图像的大小
  • 输出,输出板块

    • C7FilterOutput:输出内容协议,所有输出都必须实现该协议
      • make:根据滤镜处理生成数据
      • makeGroup:多个滤镜组合,请注意滤镜添加的顺序可能会影响图像生成的结果
    • C7FilterImage:基于C7FilterOutput的图像输入源,以下模式仅支持基于并行计算的编码器
    • C7FilterTexture: 基于C7FilterOutput的纹理输入源,输入纹理转换成滤镜处理纹理
    • C7CollectorCamera:相机数据采集器,直接生成图像,然后在主线程返回
    • C7CollectorVideo:视频图像桢加入滤镜效果,直接生成图像

设计滤镜

  • 举个例子,如何设计一款灵魂出窍滤镜🎷

  1. 遵循协议 C7FilterProtocal

    public protocol C7FilterProtocol {
        /// 编码器类型和对应的函数名
        ///
        /// 计算需要对应的`kernel`函数名
        /// 渲染需要一个`vertex`着色器函数名和一个`fragment`着色器函数名
        var modifier: Modifier { get }
            
        /// 制作缓冲区
        /// 设置修改参数因子,需要转换为`Float`。
        var factors: [Float] { get }
            
        /// 多输入源扩展
        /// 包含 `MTLTexture` 的数组
        var otherInputTextures: C7InputTextures { get }
            
        /// 改变输出图像的大小
        func outputSize(input size:C7Size) -> C7Size
    }
  2. 配置额外的所需纹理

  3. 配置传递参数因子,仅支持Float类型

    • 这款滤镜主要需要三个参数:
      • soul:调整后的灵魂,从 0.0 到 1.0,默认为 0.5
      • maxScale:最大灵魂比例
      • maxAlpha:最大灵魂的透明度
  4. 编写基于并行计算的核函数着色器

    kernel void C7SoulOut(texture2d<half, access::write> outputTexture [[texture(0)]],
                          texture2d<half, access::sample> inputTexture [[texture(1)]],
                          constant float *soulPointer [[buffer(0)]],
                          constant float *maxScalePointer [[buffer(1)]],
                          constant float *maxAlphaPointer [[buffer(2)]],
                          uint2 grid [[thread_position_in_grid]]) {
        constexpr sampler quadSampler(mag_filter::linear, min_filter::linear);
        const half4 inColor = inputTexture.read(grid);
        const float x = float(grid.x) / outputTexture.get_width();
        const float y = float(grid.y) / outputTexture.get_height();
        
        const half soul = half(*soulPointer);
        const half maxScale = half(*maxScalePointer);
        const half maxAlpha = half(*maxAlphaPointer);
        
        const half alpha = maxAlpha * (1.0h - soul);
        const half scale = 1.0h + (maxScale - 1.0h) * soul;
        
        const half soulX = 0.5h + (x - 0.5h) / scale;
        const half soulY = 0.5h + (y - 0.5h) / scale;
        
        const half4 soulMask = inputTexture.sample(quadSampler, float2(soulX, soulY));
        const half4 outColor = inColor * (1.0h - alpha) + soulMask * alpha;
        
        outputTexture.write(outColor, grid);
    }
  5. 简单使用,由于我这边设计的是基于并行计算管道,所以可以直接生成图片

    var filter = C7SoulOut()
    filter.soul = 0.5
    filter.maxScale = 2.0
    
    /// Display directly in ImageView
    ImageView.image = try? originImage.make(filter: filter)
  6. 至于上面的动效也很简单,添加一个计时器,然后改变soul值就完事,简单嘛 0 0.

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
0 评论
3 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部