Cuneiform语言

Cuneiform

编程范型	纯函数式すうしき, 数かず据すえ流りゅう程ほど
設計せっけい者しゃ	Jörgen Brandt
发行时间	2013年ねん​（2013）
当とう前ぜん版本はんぽん	3.0.5 (2022年ねん5月がつ27日にち)
型かた態たい系統けいとう	简单类型
實じつ作さく語ご言げん	Erlang
操作そうさ系けい统	Linux, Mac OS
許可きょか證しょう	Apache许可证 2.0
文ぶん件けん扩展名めい	.cfl
網あみ站	cuneiform-lang.org
啟發けいはつ語ご言げん
Swift (并行脚本きゃくほん语言)

Cuneiform是ぜ用よう于大规模科学かがく数すう据すえ分析ぶんせき的てき开源工作こうさく流りゅう程ほど语言。 它是促进并行计算的てき静せい态类型がた的てき纯函数式すうしき编程语言。它的特とく征せい是ぜ有ゆう个全功こう能のう的てき外界がいかい函数かんすう接せっ口こう，允まこと许用户集成しゅうせい来らい自じ很多外部がいぶ编程语言的てき软件。Cuneiform在ざい组织层面上じょう提供ていきょう了りょう一いち些设施ほどこせ，如条件じょうけん分ぶん支ささえ和わ通用つうよう递归，使つかい其具有ぐゆう图灵完かん备性。

概がい述じゅつ

Cuneiform尝试拉ひしげ近在きんざい科学かがく工作こうさく流りゅう程ほど系けい统如Apache Taverna、KNIME或あるGalaxy，与あずか大だい规模数すう据すえ分析ぶんせき程ほど序じょ模型もけい如MapReduce或あるPig Latin之これ间的间隙，同どう时提供ていきょう函数かんすう式しき编程语言的てき通用つうよう性せい。

Cuneiform是ぜ用よう分布ぶんぷ式しきErlang实现的てき。如果运行在ざい分布ぶんぷ式しき模も态下，它导出で一いち个遵循POSIX的てき分布ぶんぷ式しき文ぶん件けん系けい统，如Gluster或あるCeph（用ようFUSE集成しゅうせい某ぼう个其他た文ぶん件けん系けい统例如HDFS）。作さく为替代だい选择，Cuneiform脚本きゃくほん可か以执行ぎょう在ざいHTCondor或あるApache Hadoop顶上。

Cuneiform受到了りょうPeter Kelly的てき工作こうさく的てき影かげ响，他た提ひさげ议函数式すうしき编程作さく为科学かがく工作こうさく流りゅう程ほど执行的てき模型もけい。 故こ而，Cuneiform不同ふどう于其他た的てき基もと于数かず据すえ流りゅう程ほど编程的てき工作こうさく流りゅう程ほど语言，如并行脚本きゃくほん语言Swift。

扩展软件集成しゅうせい

外部がいぶ工具こうぐ和わ库（比ひ如R或あるPython库）是ぜ通どおり过外界がいかい函数かんすう接せっ口こう来らい集成しゅうせい的てき。通つう过它可か以组合あい，比ひ如允许通过snippet节点使用しよう外部がいぶ软件的てきKNIME，或ある为集成しゅうせいJava软件提供ていきょうBeanShell服ふく务的Apache Taverna。通つう过定义采用よう外界がいかい语言的てき任にん务，就可能かのう使用しよう一个外部工具或库的API。这种方式ほうしき下か，工具こうぐ可か以直接ちょくせつ集成しゅうせい而不需要じゅよう写うつし包装ほうそう器き或ある重おも新しん实现工具こうぐ。

目前もくぜん支持しじ的てき外界がいかい编程语言有ゆう：

• Bash
• Elixir
• Erlang
• Java
• JavaScript
• MATLAB
• GNU Octave
• Perl
• Python
• R
• Racket

计划增加ぞうか外界がいかい语言AWK和わgnuplot。

类型系けい统

Cuneiform提供ていきょう简单的てき、静せい态检查的类型系けい统。虽然Cuneiform提供ていきょう列れつ表作おもてさく为复合数すう据すえ类型，它省略りゃく了りょう传统的てき列れつ表ひょう访问子こ（head和わtail），以避免めん在ざい访问空列くうれつ表ひょう时，可能かのう引起的てき运行时间错误的てき可能かのう性せい。转而列れつ表ひょう只ただ能のう通どおり过在其上map或あるfold，以全有ゆう或ある全ぜん无方式しき访问。此外，Cuneiform（在ざい组织层面）省略しょうりゃく了りょう算さん术，这排除はいじょ了りょう除じょ以零的てき可能かのう性せい。省略しょうりゃく任にん何なん的てき部ぶ份定义运算さん，允まこと许保证运行ぎょう时间错误只ただ能のう在ざい外界がいかい代だい码中引发。

基もと础数据すえ类型

Cuneiform提供ていきょう的てき基もと础数据すえ类型有ゆう布ぬの尔值、字じ符ふ串くし和わ文ぶん件けん。这里的てき文ぶん件けん被ひ用もちい来らい以任意にんい格式かくしき在外ざいがい界かい函数かんすう之の间交换数据すえ。

记录和わ模も式しき匹ひき配はい

Cuneiform提供ていきょう记录（结构）作さく为复合ごう数すう据すえ类型。下面かめん的てき例れい子こ展示てんじ定てい义一个变量りょうr，作さく为有两个字じ段だんa1和わa2的てき记录，第だい一个是字符串，而第二に个是布ぬの尔值：

let r : <a1 : Str, a2 : Bool> =
  <a1 = "my string", a2 = true>;

记录可か以要么通过投影とうえい（projection）要よう么通过模も式しき匹ひき配はい来らい访问。下面かめん的てき例れい子こ从记录r，提ひっさげ取ど两个字じ段だんa1和わa2：

let a1 : Str = ( r|a1 );

let <a2 = a2 : Bool> = r;

列れつ表ひょう和わ列れつ表ひょう处理

进一いち步ほ的てき，Cuneiform提供ていきょう列れつ表ひょう作さく为复合ごう数すう据すえ类型。下面かめん的てき例れい子こ展示てんじ定てい义一个变量りょうxs，作さく为一个有三个元素的一个文件：

let xs : [File] =
  ['a.txt', 'b.txt', 'c.txt' : File];

列れつ表ひょう可か以通过for和わfold算さん子来こらい处理。这里的てきfor算さん子こ可か以接受せつじゅ多た个列表ひょう，来らい逐个元素げんそ的てき处置列れつ表ひょう（类似于Racket中なか的てきfor/list、Common Lisp中なか的てきmapcar或あるErlang中なか的てきzipwith）。

下面かめん的てき例れい子こ展示てんじ如何いか在ざい一个单一的列表上map，结果是ぜ一个文件列表：

for x <- xs do
  process-one( arg1 = x )
  : File
end;

下面かめん的てき例れい子こ展示てんじ如何いかzip两个列れつ表ひょう，结果也是一个文件列表：

for x <- xs, y <- ys do
  process-two( arg1 = x, arg2 = y )
  : File
end;

最さい后きさき，列れつ表ひょう可か以使用しようfold算さん子来こらい做聚集しゅう。下面かめん的てき例れい子こ合ごう计一个列表ひょう的てき元素げんそ：

  fold acc = 0, x <- xs do
    add( a = acc, b = x )
  end;

并行执行

Cuneiform是ぜ纯函数式すうしき语言，就是说它不ふ支持しじ可か变引用いんよう。作さく为结论，它可以使用しよう独立どくりつ子こ项，将はた一个程序分解成可并行的各部份。Cuneiform调度器き分布ぶんぷ这些部ぶ份到做工节点。此外，Cuneiform采さい用よう传名调用求もとめ值策略さくりゃく，值只在ざい它对计算结果有ゆう贡献时计算さん。最さい后きさき，外界がいかい函数かんすう应用是ぜ记忆化か的てき，用よう来らい加速かそく包含ほうがん以前いぜん推导结果的てき计算。

例れい如，下しも列れつCuneiform程ほど序ついで允まこと许f和わg的てき应用平行へいこう的てき运行，而h是ぜ有ゆう依よ赖的，它只在ざいf和わg二者完成的时候可以开始：

let output-of-f : File = f();
let output-of-g : File = g();

h( f = output-of-f, g = output-of-g );

下しも列れつCuneiform程ほど序じょ通どおり过将函数かんすうf映うつ射い到いた一个三元素列表，创建了りょう三さん个并行ぎょう应用：

let xs : [File] =
  ['a.txt', 'b.txt', 'c.txt' : File];

for x <- xs do
  f( x = x )
  : File
end;

类似的てき，在ざい记录r的てき构造中ちゅう，f和わg的てき应用是ぜ独立どくりつ的てき，因いん此可以并行ぎょう运行：

let r : <a : File, b : File> =
  <a = f(), b = g()>;

例れい子こ

下面かめん是ぜ一いち个hello-world脚本きゃくほん：

def greet( person : Str ) -> <out : Str>
in Bash *{
  out="Hello $person"
}*

( greet( person = "world" )|out );

这个脚本きゃくほん定てい义了采さい用ようBash的てき一いち个任务greet，它对其字符ふ串くし实际参さん数すうperson预加上じょう"Hello "。这个函数かんすう产生具有ぐゆう一个单一字符串字段的记录out。应用greet，绑定实际参さん数すうperson到いた字じ符ふ串くし"world"，产生记录<out = "Hello world">。将はた这个记录投影とうえい为它的てき字じ段だんout，求もとめ值出字じ符ふ串くし"Hello world"。

可か以通过定义采用ようBash的てき一个任务来集成命令行工具：

def samtoolsSort( bam : File ) -> <sorted : File>
in Bash *{
  sorted=sorted.bam
  samtools sort -m 2G $bam -o $sorted
}*

在ざい这个例れい子中こなか定てい义了任にん务samtoolsSort。它调用よう了りょう工具こうぐSAMtools，处置一いち个BAM格式かくしき的てき输入文ぶん件けん，并产生せい一个排序了也是BAM格式かくしき的てき输出文ぶん件けん。

发行历史

版本はんぽん	出で现日期き	实现语言	发布平台ひらだい	外界がいかい语言
1.0.0	2014年ねん5月がつ	Java	Apache Hadoop	Bash, Common Lisp, GNU Octave, Perl, Python, R, Scala
2.0.x	2015年ねん3月がつ	Java	HTCondor, Apache Hadoop	Bash, BeanShell, Common Lisp, MATLAB, GNU Octave, Perl, Python, R, Scala
2.2.x	2016年ねん4月がつ	Erlang	HTCondor, Apache Hadoop	Bash, Perl, Python, R
3.0.x	2018年ねん2月がつ	Erlang	分布ぶんぷ式しきErlang	Bash, Erlang, Java, MATLAB, GNU Octave, Perl, Python, R, Racket

在ざい2016年ねん4月がつ，Cuneiform的てき实现语言从Java切きり换成了りょうErlang，并且在ざい2018年ねん2月がつ，它的主要しゅよう发布执行平台ひらだい从Apache Hadoop变更为分布ぶんぷ式しきErlang。此外，从2015年ねん到いた2018年ねん，HTCondor曾被作さく为可替がえ代だい执行平台ひらだい来らい维护。

Cuneiform的てき外表そとおもて语法修おさむ订过两次，这反映はんえい在ざい主しゅ版本はんぽん号ごう上じょう。

版本はんぽん1

在ざい2014年ねん5月がつ发布的てき最初さいしょ草案そうあん中ちゅう，Cuneiform密みつ切きり关联于Make，它构造づくり解かい释器在ざい执行期き间要遍へん历的静せい态数据すえ依よ赖图。与あずか后きさき来らい版本はんぽん的てき主要しゅよう区く别，是ぜ缺乏けつぼう条件じょうけん、递归或ある静せい态类型がた检查。区分くぶん文ぶん件けん和字わじ符ふ串くし，是ぜ通どおり过同波浪はろう号ごう~形成けいせい一个单一引用的字符串。脚本きゃくほん的てき查询表ひょう达式，通つう过target关键字じ来らい介入かいにゅう。Bash是ぜ缺かけ省しょう外界がいかい语言。函数かんすう应用必须使用しようapply形式けいしき来らい完成かんせい，它接受せつじゅtask作さく为第一个关键字实际参数。一いち年ねん之の后きさき，这种外表そとおもて语法被はっぴ一种精简却类似的版本所替代。

下面かめん的てき例れい子こ脚本きゃくほん从一个FTP服ふく务器下か载一个参考さんこうgenome：

declare download-ref-genome;

deftask download-fa( fa : ~path ~id ) *{
    wget $path/$id.fa.gz
    gunzip $id.fa.gz
    mv $id.fa $fa
}*

ref-genome-path = ~'ftp://hgdownload.cse.ucsc.edu/goldenPath/hg19/chromosomes';
ref-genome-id = ~'chr22';

ref-genome = apply(
    task : download-fa
    path : ref-genome-path
    id : ref-genome-id
);

target ref-genome;

版本はんぽん2

基もと于Swing的てき编辑器き和わCuneiform 2.0.3的てきREPL

Cuneiform外表そとおもて语法的てき第だい二に个草案あん，首しゅ次じ发表于2015年ねん3月がつ，在ざいCuneiform的てき实现语言从Java到いたErlang的てき迁移期き间，持もち续使用しよう了りょう三さん年ねん。求もとめ值不同どう于早期き方式ほうしき，解かい释器归约一いち个表达式，而非遍へん历一个静态图。在外ざいがい表ひょう语法保持ほじ使用しよう这段时期，解かい释器被ひ形式けいしき化か和わ简化，这导致了第だい一いち个Cuneiform的てき语义规定。语法特とく征せい是ぜ有ゆう了りょう条件じょうけん。但ただし是ぜ，布ぬの尔值被ひ编码为列表ひょう，再度さいど利用りよう空列くうれつ表ひょう为布尔值false，非ひ空列くうれつ表ひょう为布尔值true。递归后きさき来らい作さく为形式しき化か的てき副ふく产品而增加ぞうか。但ただし是ぜ，静せい态类型がた检查，只ただ在ざい后きさき来らい的てき版本はんぽん3中ちゅう介入かいにゅう。

下しも列れつ脚本きゃくほん解かい压一个压缩文件，并把它分解ぶんかい为大小しょう均ひとし匀的划分：

deftask unzip( <out( File )> : zip( File ) ) in bash *{
  unzip -d dir $zip
  out=`ls dir | awk '{print "dir/" $0}'`
}*

deftask split( <out( File )> : file( File ) ) in bash *{
  split -l 1024 $file txt
  out=txt*
}*

sotu = "sotu/stateoftheunion1790-2014.txt.zip";
fileLst = split( file: unzip( zip: sotu ) );

fileLst;

版本はんぽん3

Cuneiform外表そとおもて语法的てき当とう前ぜん版本はんぽん，比ひ较于早期そうき的てき草案そうあん，是ぜ尝试拉ひしげ近きん与あずか主流しゅりゅう函数かんすう式しき编程语言的てき间隙。它的特とく征せい是ぜ简单的てき静せい态检查的类型系けい统，并在列れつ表ひょう之の外そと介入かいにゅう记录作さく为第二个复合数据结构类型。布ぬの尔值独立どくりつ为基础数据すえ类型。

下しも列れつ脚本きゃくほん解かい包つつみ一いち个文件けん，结果为一个文件列表：

def untar( tar : File ) -> <fileLst : [File]>
in Bash *{
  tar xf $tar
  fileLst=`tar tf $tar`
}*

let hg38Tar : File =
  'hg38/hg38.tar';

let <fileLst = faLst : [File]> =
  untar( tar = hg38Tar );

faLst;