借用まわりで質問させてくれ

struct Foo {
　data: Option<Vec<u8>>
}

impl Foo {
　fn do_something(&mut self) -> &mut [u8] {
　　if let Some(x) = &mut self.data {
　　　return x;
　　}

　　// `self.data` is assigned to here but it was already borrowed
　　self.data = Some(vec![0u8; 10]);
　　self.data.as_mut().unwrap()
　}
}

これで self.data への代入の際に「既に借用されている」というエラーが出るんだけど、これって回避できない？
最初の借用が if let Some(x) = ... の箇所で行われていることは理解できるんだけど、
if let のスコープを抜けても借用された状態が続く (以降のコードでの借用ができない) のが腑に落ちない