ソースなしのオレオレ解釈ですが。。

http://research.microsoft.com/fsharp/manual/spec2.aspx#_T...

Draft にも、Try-catch Expressions と Try-finally Expressions で別々の項が設けられていて、Try-catch-finally Expressions という項はありませんね。そして、実際に両方指定してコンパイルするとエラーになる。ならば、そういう書き方はできないのでしょう。
やるのならネストですね。

> try
-   try
-     failwith "exception"
-   with
-     e -> printfn "Catch - %s" e.Message
- finally
-   printfn "Finally";;
Catch - exception
Finally
val it : unit = ()

Don Syme の意図としては、「F# は既に use（C# でいうところの using 構文）を持ってるんだから、可能な限りそっちを使ってね」ってことなのかなーとか思ったり。

IDisposable なクラスのインスタンスを変数に束縛する場合、let でなく use を使うことができます。

http://research.microsoft.com/fsharp/manual/spec2.aspx#_T...

open System.IO;;

let read_first_line(file) =
    use reader = new StreamReader(File.OpenRead(file)) in
    reader.ReadLine();;

これは次のコードと等価です。

open System.IO;;

let read_first_line(file) =
    let reader = new StreamReader(File.OpenRead(file)) in
    try
      reader.ReadLine()
    finally
      ( match (reader :> obj) with
          null -> ()
        | _    -> (reader :> System.IDisposable).Dispose() );;

.NET Framework において、アンマネージ リソース（外部リソース）を扱うクラスは、たいていの場合 IDisposable インターフェースを実装していますから（すべてがそうであるかは知らないです）、ほとんどの場合において、finally 句が必要なコードを use によって書き換えることは妥当です。

open System.IO;;

let read_first_line_byUse(file) =
    use reader = new StreamReader(File.OpenRead(file)) in
    try
      reader.ReadLine()
    with
      e -> failwith "IO error!";;

let read_first_line_byFinally(file) =
    let reader = new StreamReader(File.OpenRead(file)) in
    try
      try
        reader.ReadLine()
      with
        e -> failwith "IO error!"
    finally
      ( match (reader :> obj) with
          null -> ()
        | _    -> (reader :> System.IDisposable).Dispose() );;

「アンマネージ リソースを扱うのに IDisposable を実装していないクラス」を扱う場合には、finally が必要になりますね。たとえば、COM オブジェクトを扱うコードでは、finally 句で ReleaseComObject しなければならない、とか。