xmake是否支持类似 foreach 这样的循环控制，能动态批量定义 target？ #1940

cjun714 · 2021-12-23T09:46:10Z

cjun714
Dec 23, 2021

希望支持类似 foreach 这样的循环控制，能动态批量定义 target

需求描述

很多项目自带example，数目可能达到上百。
以raylib为例，examples目录结构类似这样：

├── physics
│      └── demo1.c
│      └── demo2.c
├── texture
│      └── demo3.c
│      └── demo4.c
├── shader
│      └── demo5.c
│      └── demo6.c
├── raygui
│

每个 demoXXX.c 生成一个执行文件 demoXXX.exe

它的 CMakeLists 是用这样的语句处理：

foreach (example_source ${example_sources})
    # Create the basename for the example
    get_filename_component(example_name ${example_source} NAME)
    string(REPLACE ".c" "" example_name ${example_name})
    
    # Setup the example
    add_executable(${example_name} ${example_source})
    
    target_link_libraries(${example_name} raylib)
    
    string(REGEX MATCH ".*/.*/" resources_dir ${example_source})
    string(APPEND resources_dir "resources")
    
    if (${PLATFORM} MATCHES "Web" AND EXISTS ${resources_dir})
        # The local resources path needs to be mapped to /resources virtual path
        string(APPEND resources_dir "@resources")
        set_target_properties(${example_name} PROPERTIES LINK_FLAGS "--preload-file ${resources_dir}")
    endif ()
endforeach ()

这个 ${example_sources} 中的条目也是通过另一个 foreach 读取指定的文件夹读到的。

期望的需求是：xmake.lua 可以根据给定文件夹，读取文件列表，动态生成等效几百个类似下面的配置：

target("demo1")
  add_files("examples/models/demo1.c")
  set_rundir("examples/models/")

target("demo2")
  add_files("examples/models/demo2.c")
  set_rundir("examples/models/")

........

我快速看了遍 xmake 文档，似乎还没有特性支持这类需求，也没类似example参考。
我试了下类似下面这样的语句无法直接在 xmake.lua 运行(错误好像是找不到 io)。

for dir in io.popen([[dir "g:\examples\" /b /ad]]):lines() do print(dir) end

请问是否有简单的方案或例子，能在 xmake.lua 已有的配置功能上完成这个目标？
谢谢！

waruqi · 2021-12-23T10:05:37Z

waruqi
Dec 23, 2021
Maintainer

参考下 https://github.com/idealvin/co/blob/4a33724b91edabce231e699464fc775db1bc547c/test/xmake.lua#L13

0 replies

cjun714 · 2021-12-23T17:11:25Z

cjun714
Dec 23, 2021
Author

谢谢！很有用的参考，解决了。

function get_files(pattern)
  local res = {}
  for _, fi in ipairs(os.files(pattern)) do
    Item = {path = "", dir = "", filename = "", basename = "", ext = ""}
    local item = Item
    item.path = fi
    item.dir, item.filename, item.ext = fi:match("^(.-)([^\\/]-%.([^\\/%.]-))%.?$")
    item.basename = item.filename:gsub("%."..item.ext.."$","")
    table.insert(res, item)
  end
  return ipairs(res)
end

for _, fi in get_files("examples/audio/*.c") do
target(fi.basename)
  add_files(fi.fullpath)
  set_rundir(fi.dir)
end

能否考虑把上面的 get_files() 加到 xmake 的 api 里。
这个函数比较琐碎也不好记，而且这种场景也挺常见。
只要给个类似例子，用户即使不懂 lua 也能一下看明白，也不用额外再写函数。

另外中间发现个问题，请看下为啥print()会被执行多次？

每运行一次xmake，会打印4遍，有时是6遍，linux/window 都如此。
xmake --version 也会打印

0 replies

waruqi · 2021-12-23T23:40:08Z

waruqi
Dec 23, 2021
Maintainer

能否考虑把上面的 get_files() 加到 xmake 的 api 里。
这个函数比较琐碎也不好记，而且这种场景也挺常见。
只要给个类似例子，用户即使不懂 lua 也能一下看明白，也不用额外再写函数。

不考虑，每个用户需求各不相同，这种自己搞下也没几行

另外中间发现个问题，请看下为啥print()会被执行多次？

仔细看下文档描述域，脚本域说明。描述域仅用于简单配置，是会执行解析多次，正常。

复杂脚本请走脚本域
https://xmake.io/#/zh-cn/guide/syntax_description?id=%e6%8f%8f%e8%bf%b0%e5%9f%9f

0 replies

waruqi · 2021-12-24T05:51:24Z

waruqi
Dec 24, 2021
Maintainer

另外，这个实现有点复杂了，有 path.basename, path.extension, path.directory, path.filename 直接可用，文档里面也有接口说明

0 replies

cjun714 · 2021-12-24T08:52:30Z

cjun714
Dec 24, 2021
Author

我的意思不是merge我这段代码，这个代码不够健壮也不够灵活，但这类case其实挺多，比如

  for _, fi in get_files("src/**.h") do
    rename(fi.path,replace_suffix(fi.path,".hpp"))
  end

  for _, fi in get_files("image1/*.jpg", "image2/*.png") do
    cmd("tool/2webp", fi.path, "image3/"..fi.basename..".webp")
  end

和提供的 add_files() 类似，对不懂lua的人更友好。
不需要知道 path.xxx()，string.gsub() match() 这些api也能遍历文件，代码短也容易复用。
也包括copy mv rm mkdir basename这些常见的文件操作，xmake api能包装下就更好，用户不用碰os.xxx() 。
这种用法给个sample in doc一看就懂，靠常识就能搞定很多事。

https://xmake.io/#/zh-cn/guide/syntax_description?id=%e6%8f%8f%e8%bf%b0%e5%9f%9f 这个文档写的很好，但对于不懂lua的人比如我，其实没太大帮助，因为建立不起来概念。解决了这个问题再看，我才明白文档表达的概念和细节。

书的代码，很多都是类似这样的结构，比如
https://github.com/PacktPublishing/3D-Graphics-Rendering-Cookbook
每个demo就是一个xx.cpp，或者一个叶子目录包含几个.cpp，工程有几十甚至上百个，前置批处理工作还包括下载模型，贴图转换，解压。xmake用类似方式几行应该就能搞定编译。

for _, fi in get_files("examples/**.c") do
target(basename(fi.path))
  add_files(fi.dir.."*.cpp")
  set_rundir(fi.dir)
end

或者
for _, dir in get_leaf_dirs("examples/") do
target(dir.basename)
  add_files(dir.path.."*.cpp")
  set_rundir(dir.path)
end

同样 raylib 和 raygui 的 examle 结构还有点差异，一个是所有demo_xxx.c混在一个目录，一个是每个demo一个目录。
我直接合并了两个repo文件夹，不用考虑差异结构，也是几行就可以代替原先编译脚本。
https://github.com/raysan5/raygui/blob/master/examples/Makefile
https://github.com/raysan5/raylib/blob/master/examples/CMakeLists.txt

for _, fi in get_files("examples/**.c") do
target(fi.basename)
  add_files(fi.path)
  set_rundir(fi.dir)
end

xmake 能集成这些简单函数好处是可以统一规范化和简化脚本，不需要用户重复编写查询 lua doc，可读性也不错。xmake来保障这种遍历逻辑的健壮性，还搞不定再落到 lua api 解决。
这个问题我花了几个小时，先扫了遍文档，然后学lua api，github提问，看到回复和参考，再调试修改。
但如果内置+sample code in doc，这会是一个2分钟的成本。

anyway，个人意见，感谢提供这么好的工具，也感谢指导！

4 replies

waruqi Dec 24, 2021
Maintainer

你的版本

function get_files(pattern)
  local res = {}
  for _, fi in ipairs(os.files(pattern)) do
    Item = {path = "", dir = "", filename = "", basename = "", ext = ""}
    local item = Item
    item.path = fi
    item.dir, item.filename, item.ext = fi:match("^(.-)([^\\/]-%.([^\\/%.]-))%.?$")
    item.basename = item.filename:gsub("%."..item.ext.."$","")
    table.insert(res, item)
  end
  return ipairs(res)
end

for _, fi in get_files("examples/**.c") do
target(fi.basename)
  add_files(fi.path)
  set_rundir(fi.dir)
end

就算不用任何辅助函数，不也就两、三行代码的事情么，跟你刚封装的一堆对比下么，你用不用 get_files 一点区别都没有

因为 xmake 提供的任何基础接口，都已经完整针对性简化过得，并不是原生 lua

完全裸写的版本：

for _, filepath in ipairs(os.files("examples/**.c")) do
target(path.basename(filepath))
  add_files(filepath)
  set_rundir(path.directory(filepath))
end

我刚的意思是，你现在的需求，明明两三行代码的事情，连辅助函数都是完全没必要的。。完全可以用 path 接口更加精简

而且你对比 cmake 的那个版本，复杂度一目了然。。

另外，刚也说了，每个用户的需求各不相同，这种辅助函数的需求也是各不相同的，没法提供，而且自己特殊的一些常用接口，你也可以自己封装搞个 helper.lua 什么的，includes 引入进来使用

所以，不要因为我一开贴了个 example links 给你，里面用了 helper function ，你就必须这么用，很多需求场景，完全可以精简不需要搞这么复杂

cjun714 Dec 24, 2021
Author

我遇到这个问题面对的是一系列的小问题。
lua语法，
迭代必须要ipairs转一道，
io不能用，
lfs不能用，
path在其他语言和os，io都是并列标准库提供的，
那么path能不能用，作用范围是不是也和io一样受限，我不清楚，
如果不是你的指导，我也不知道path可不可用，sample里用path也都是只出现在内部作用域。

path的可用性是放在 api 文档里体现的，它是xmake内置实现，所以到处可用，也就可以用在描述域。
这对你来说是常识，因为你用作者眼光来看，是从上往下，差什么细节补什么细节。
但用户是从下往上，盲人摸象，不知道哪条是死路，不知道这条路再接哪条路是通的，也很难把这些碎片化的知识马上组织清楚。

同样我提的本质是类似其他语言里的 dir walkthrough 这样的api设计，回调塞给你每个遍历文件的 fileinfo，属性都剥好了放进了fileinfo对象，用户直接从对象上把属性拿出来用就行了，modtime，size这些属性都可以放。
用户只用关注 walkthrough 这个 api 用法和塞的fileinfo对象提供了哪些具体属性就可以了。
而且这在文档里也更容易被用户定位到。
你不用关心有没有 path.xxx()，stat 这种 api 、是否可用、作用范围是什么，用户也不用拿到文件名后，再自己一个个找 api 来剥离每个具体属性。
确实这很简单，但不熟悉你设计概念的人，完全不懂lua的人，走通还是费功夫的。
我理解也尊重你的取舍，谢谢。

waruqi Dec 24, 2021
Maintainer

io fs 都能用啊，请在脚本域用先看下文档了解脚本域和描述域的用途，和当前设计思想，里面都有说明

https://xmake.io/#/zh-cn/guide/syntax_description?id=%e6%8f%8f%e8%bf%b0%e5%9f%9f

你可以在脚本域干任何事情，甚至写个app出来都可以

io模块：https://xmake.io/#/zh-cn/manual/builtin_modules?id=io

另外，每个构建系统都有自己的设计规范，你觉当前设计不符合你的要求，lua阻碍了你的进一步使用，可以继续用 cmake

cjun714 Dec 24, 2021
Author

意见没价值无视就行了，动不动呛人，何必呢

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

xmake是否支持类似 foreach 这样的循环控制，能动态批量定义 target？ #1940

{{title}}

Replies: 5 comments 4 replies

{{title}}

{{title}}

{{title}}

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

Select a reply

xmake是否支持类似 foreach 这样的循环控制，能动态批量定义 target？ #1940

cjun714 Dec 23, 2021

需求描述

Replies: 5 comments · 4 replies

waruqi Dec 23, 2021 Maintainer

cjun714 Dec 23, 2021 Author

waruqi Dec 23, 2021 Maintainer

waruqi Dec 24, 2021 Maintainer

cjun714 Dec 24, 2021 Author

waruqi Dec 24, 2021 Maintainer

cjun714 Dec 24, 2021 Author

waruqi Dec 24, 2021 Maintainer

cjun714 Dec 24, 2021 Author

cjun714
Dec 23, 2021

Replies: 5 comments 4 replies

waruqi
Dec 23, 2021
Maintainer

cjun714
Dec 23, 2021
Author

waruqi
Dec 23, 2021
Maintainer

waruqi
Dec 24, 2021
Maintainer

cjun714
Dec 24, 2021
Author

waruqi Dec 24, 2021
Maintainer

cjun714 Dec 24, 2021
Author

waruqi Dec 24, 2021
Maintainer

cjun714 Dec 24, 2021
Author