Downside/upsideは会議でのマネージャーの発表でよく聞きます。例文をまとめてみます。
They are very slow in decision making.
That's the only downside to this company.
(彼らは意思決定に時間がかかるんです。それがこの会社の唯一の難点ですね。) "to"が前置詞として使われてるのは、ニュアンスとして"of"とどう違うのか気になる。。
The downside of this product is to consume a lot of electric power.
(この製品の欠点は消費電力が大きいこと。)
The upside of this customer is they have bright future in terms of new business.
On the downside, they are facing cash flow problems now.
(新規ビジネスについては将来明るいのがこの会社の良いところです。マイナス面としては、現在キャッシュフローの問題を抱えている事です。) “on the downside"でマイナス面、欠点を話す際に使う言葉です。