fray at/around the edges/seams

Fray at/around the edges/seams で "to start to come apart or to fail" つまり「崩れ始める」のような意味になります。

fray_1 verb - Definition, pictures, pronunciation and usage notes | Oxford Advanced Learner's Dictionary at OxfordLearnersDictionaries.com

Fray がシンプルな単語なのに馴染みがなかったのですが、rub に似た意味のある「擦り切らす」「ほぐす」「ほつれる」「すれてぼろぼろになる」のような意味があるそうです。

語源を見るにラテン語の fricare が rub という意味だそうで、そこから来てるようです。これに似た単語ですと、friction が真っ先に思い当たります。調べてみたところ、やはり語源も同じようです。

Friction はちなみに「摩擦」や「衝突」「不和」などを表し、こちらも「何かが擦れていること」に関連がありますね。Fray は布など意外にも精神や神経などの擦れを表し、自動詞では "somebody's nevers or tempers frays"、他動詞では something frays their nerves/tempers などのように「神経がすり減る」や「神経がすり減らされる」というように get annoyed の意味で使えます。

布などをと一緒に使う場合も自動詞でも他動詞でも使えるようです。

標題のフレーズですが、直訳すると「端/縫い目（の周り）からほつれ始める」という意味になります。縫い目がほつれ始めると最終的には崩れてしまいますよね。そうではなくても、崩れの始まりです。それが転じて、「崩れ始める」「駄目になってくる」「失敗し始める」の意味になります。